Su trabajo más notable fue con el Cannonball Adderley Quintet en la década de 1970, pero también ha trabajado con muchos otros músicos de jazz notables, incluidos Thelonious Monk, Miles Davis, Dizzy Gillespie, Dexter Gordon y Herbie Hancock.
Además de su trabajo como acompañante, Poole también ha lanzado varios álbumes en solitario, entre ellos "The Essence of John Poole" (1977), "Sweet Lucy" (1978) y "Blue Planet Man" (1980).
Poole también es compositor y arreglista y ha escrito música para cine y televisión. También ha enseñado jazz y percusión latina en la Universidad del Sur de California y el Instituto de las Artes de California.
Poole recibió el premio "Baterista del año" de la Asociación de Periodistas de Jazz en 2004 y 2005, y también es miembro de la Academia Nacional de Artes y Ciencias de la Grabación (NARAS).