La letra de la canción resalta la agitación emocional y el conflicto interno que está experimentando el hombre. Admite que todavía piensa en su ex "todos los días y las noches" y que "no puede evitar preguntarse" si ella también está pensando en él. Él reconoce que debería seguir adelante, pero se ve incapaz de hacerlo, ya que su corazón todavía está atado a ella.
El coro enfatiza la incapacidad del hombre para devolver el amor que otra persona le ofrece. Él canta:"No puedo amarte a pesar de que lo intentas con todas tus fuerzas" y "Todavía me aferro al fantasma de lo que teníamos". Esto sugiere que no está emocionalmente disponible para una nueva relación y todavía está consumido por sus sentimientos hacia su expareja.
A lo largo de la canción, el hombre expresa su añoranza por el pasado y su deseo de volver a estar con su ex. Canta:"Ojalá pudiera volver atrás y deshacer todas las cosas que hicimos" y "Ojalá pudiera volver a tenerte en mis brazos". Esto sugiere que se arrepiente de la ruptura y está luchando por aceptar la realidad de su separación.
En general, "I Can't Love You Back" es una canción conmovedora sobre el desamor, la pérdida y los desafíos de superar una relación pasada. Capta la agitación emocional y la vulnerabilidad de alguien que todavía está lidiando con las consecuencias de una ruptura y no puede encontrar el amor nuevamente.