Johnson je rođen u Cantonu u Južnoj Dakoti i odrastao je na farmi. Diplomirao je političke znanosti na Sveučilištu Južna Dakota 1982. godine. Nakon nekoliko godina rada kao zakonodavni pomoćnik, izabran je u Zastupnički dom Južne Dakote 1986. U Domu je služio šest godina, uključujući dvije godine kao predsjednik.
Godine 1996. Johnson je izabran u Senat Sjedinjenih Država, pobijedivši sadašnjeg republikanca Larryja Presslera. Ponovno je izabran za drugi mandat 2002. i treći mandat 2008. godine.
Johnson je bio poznat po svojim umjerenim političkim stavovima i spremnosti na suradnju i s republikancima i s demokratima. Također je bio snažan zagovornik poljoprivrede i ruralnog razvoja.
Godine 2014. Johnson je najavio da se neće kandidirati za četvrti mandat u Senatu. Kao razlog svoje odluke naveo je zdravstvene probleme, uključujući moždani udar koji je doživio 2006. godine.
Johnson je napustio Senat 2015. Sada je u mirovini i živi u Vermillionu u Južnoj Dakoti.