Costello je rođen u Patersonu, New Jersey, u obitelji talijanskih imigranata. Svoju karijeru u show businessu započeo je kao tinejdžer, nastupajući u vodviljima i burleskama. Upoznao je Buda Abbotta 1936. i njih su dvojica formirali komičarsku ekipu. Brzo su postali jedna od najpopularnijih komičara na svijetu, nastupajući u noćnim klubovima, na radiju i u filmovima.
Komediju Abbotta i Costella karakterizirala je njihova slapstick rutina te Costellov visok glas i pretjerani izrazi lica. Pojavili su se u ukupno 36 filmova zajedno, uključujući "One Night in the Tropics" (1940.), "Buck Privates" (1941.) i "Abbott and Costello Meet Frankenstein" (1948.).
Costellovo zdravlje počelo se pogoršavati početkom 1950-ih, pa je bio podvrgnut nekoliko operacija srca. Umro je od srčanog udara 1959. godine u dobi od 52 godine.
Unatoč preranoj smrti, Costello se smatra jednim od najutjecajnijih komičara 20. stoljeća. Njegov rad s Budom Abbottom pomogao je u definiranju žanra komedije i nadahnuo bezbroj drugih komičara.