Hirt je rođen u New Orleansu, Louisiana, od oca glazbenika i majke domaćice. Počeo je svirati trubu sa šest godina, a do srednje škole već je profesionalno svirao u lokalnim klubovima. Nakon što je služio u mornarici Sjedinjenih Država tijekom Drugog svjetskog rata, Hirt se vratio u New Orleans i nastavio svoju glazbenu karijeru.
Godine 1950. Hirt se pridružio bendu trubača Louisa Prime, s kojim je nekoliko godina bio na turneji. Godine 1957. Hirt je napustio Primin bend i osnovao vlastitu grupu. Brzo je postao jedan od najpopularnijih jazz trubača na svijetu, a snimio je niz hit albuma.
Osim glazbene karijere, Hirt je bio i uspješna televizijska ličnost. Vodio je vlastitu estradnu emisiju, "The Al Hirt Show," od 1964. do 1968. Također se pojavljivao u brojnim drugim televizijskim emisijama, uključujući "The Tonight Show Starring Johnny Carson", "The Ed Sullivan Show," i "The Merv Griffin Pokazati."
Hirt je umro od raka u New Orleansu 1999. Imao je 76 godina.