En la canción, Taylor canta sobre cómo se quedaba despierta hasta tarde con él, pensando que estaría con él para siempre. También canta sobre cómo pensó que podía cambiarlo y cómo solía pensar que él era perfecto. Sin embargo, Taylor finalmente se dio cuenta de que no podía cambiarlo y que no era perfecto. También se dio cuenta de que estaba mejor sin él.
The Way I Loved You es una canción sobre aceptar que una relación ha terminado y aprender de ella. La canción también trata sobre darte cuenta de que no puedes cambiar a alguien y que estás mejor sin esa persona.