Johnson je rođen u Indianapolisu, Indiana. Počeo je svirati trombon u dobi od 11 godina. Studirao je na Glazbenom konzervatoriju Arthur Jordan i Glazbenoj školi Sveučilišta Indiana.
Johnson se preselio u New York City 1942. i ubrzo postao jedan od najtraženijih trombonista u gradu. Svirao je s Charliejem Parkerom, Dizzyjem Gillespiejem, Budom Powellom i drugim legendama bebopa.
1950-ih Johnson je počeo istraživati hard bop, noviji, agresivniji stil jazza. Snimio je nekoliko utjecajnih albuma sa svojim bendovima, uključujući "The Eminent Jay Jay Johnson Volume 1" (1954.) i "Jay Jay Johnson with Clifford Brown" (1955.).
Johnson je nastavio s turnejama i snimanjima tijekom 1960-ih i 1970-ih. Također je predavao na Berklee College of Music i Manhattan School of Music.
Johnson je umro od srčanog udara u Indianapolisu 2001. godine. Imao je 77 godina.
Johnson je bio majstor trombona. Imao je jedinstven zvuk koji je odmah bio prepoznatljiv. Bio je i daroviti improvizator i skladatelj. Njegova je glazba utjecala na bezbrojne tromboniste diljem svijeta.
Evo nekih od Johnsonovih najpoznatijih skladbi:
* "Jadikovka"
* "Ezz-thetic"
* "Enigma"
* "Zvjezdana prašina"
* "Blue Funk"