Un pequeño grupo de judíos babilónicos permaneció en Babilonia después de la conquista persa y posteriormente desempeñaron un papel importante en el desarrollo de la cultura y la religión judías durante el período del Segundo Templo. El Talmud babilónico, uno de los textos más importantes de la ley judía, fue compilado en Babilonia durante esta época.
En el siglo VII d.C., Babilonia fue conquistada por los árabes musulmanes y pasó a formar parte del mundo islámico. La ciudad siguió decayendo y, en el siglo X, estaba en gran parte abandonada. Hoy en día, las ruinas de Babilonia se encuentran cerca de la ciudad de Hillah en el actual Irak.