La letra de la canción pinta un cuadro vívido de la vida del hombre. Se le describe como una "sombra de un hombre" y un "fantasma de un hombre", y está constantemente buscando comida y refugio. También lo atormentan los recuerdos de su pasado y no puede escapar del sentimiento de soledad y aislamiento que conlleva no tener hogar.
El título de la canción, "Brown Arms in Houston", es significativo porque enfatiza el color de la piel del hombre. En una ciudad con una gran población hispana, los brazos marrones del hombre sirven como recordatorio de su condición de forastero y la discriminación que enfrenta.
En definitiva, la canción "Brown Arms in Houston" es un retrato poderoso y conmovedor de las luchas que enfrentan las personas sin hogar en los Estados Unidos. La canción arroja luz sobre un tema que a menudo se pasa por alto y anima a los oyentes a considerar la humanidad y la dignidad de los menos afortunados.