U četvrtom stoljeću sveti Ambrozije, biskup Milana, uveo je antifono pjevanje, gdje zbor pjeva naizmjenične stihove psalma ili himne. U petom stoljeću, sveti Grgur Veliki, rimski papa, standardizirao je liturgiju i uspostavio sustav od osam glazbenih načina. Ovaj sustav, poznat kao gregorijansko pjevanje, stoljećima je postao primarni oblik glazbe u Katoličkoj crkvi.
Tijekom srednjeg vijeka počinju se razvijati razni drugi oblici crkvene glazbe, poput liturgijskih drama, polifonije i glazbe za orgulje. Polifonija, gdje se dvije ili više glazbenih linija pjevaju istovremeno, postala je važna u 12. stoljeću.
U 16. stoljeću Martin Luther je pokrenuo protestantsku reformaciju. To je dovelo do razvoja različitih stilova crkvene glazbe, poput luteranskih korala i anglikanskog pjevanja. Ovi žanrovi i danas ostaju važni dijelovi kršćanskog bogoslužja.
U 19. i 20. stoljeću došlo je do obnovljenog interesa za proučavanje i izvođenje rane crkvene glazbe, poput gregorijanskog pjevanja i Palestrininih djela. Također je došlo do izljeva nove duhovne glazbe skladane u različitim stilovima.