Mala skupina babilonskih Židova ostala je u Babilonu nakon perzijskog osvajanja, a kasnije su odigrali važnu ulogu u razvoju židovske kulture i religije tijekom razdoblja Drugog hrama. Babilonski Talmud, jedan od najvažnijih tekstova židovskog zakona, sastavljen je u Babilonu u to vrijeme.
U 7. stoljeću nove ere Babilon su osvojili arapski muslimani i on je postao dio islamskog svijeta. Grad je nastavio propadati i do 10. stoljeća bio je uglavnom napušten. Danas se ruševine Babilona nalaze u blizini grada Hillaha u današnjem Iraku.