Njegov najznačajniji rad bio je s Cannonball Adderley Quintetom 1970-ih, no radio je i s mnogim drugim poznatim jazz glazbenicima, uključujući Theloniousa Monka, Milesa Davisa, Dizzyja Gillespieja, Dextera Gordona i Herbieja Hancocka.
Uz svoj rad kao sideman, Poole je također objavio nekoliko solo albuma, uključujući "The Essence of John Poole" (1977.), "Sweet Lucy" (1978.) i "Blue Planet Man" (1980.).
Poole je također skladatelj i aranžer, a napisao je glazbu za film i televiziju. Također je predavao jazz i latino udaraljke na Sveučilištu Južne Kalifornije i Kalifornijskom institutu za umjetnost.
Poole je 2004. i 2005. godine dobio nagradu "Bubnjar godine" Udruge jazz novinara, a također je član Nacionalne akademije za snimanje umjetnosti i znanosti (NARAS).