Johnson nació en Indianápolis, Indiana. Comenzó a tocar el trombón a la edad de 11 años. Estudió en el Conservatorio de Música Arthur Jordan y en la Escuela de Música de la Universidad de Indiana.
Johnson se mudó a la ciudad de Nueva York en 1942 y rápidamente se convirtió en uno de los trombonistas más solicitados de la ciudad. Tocó con Charlie Parker, Dizzy Gillespie, Bud Powell y otras leyendas del bebop.
En la década de 1950, Johnson comenzó a explorar el hard bop, un estilo de jazz más nuevo y agresivo. Grabó varios álbumes influyentes con sus propias bandas, incluidos "The Eminent Jay Jay Johnson Volume 1" (1954) y "Jay Jay Johnson with Clifford Brown" (1955).
Johnson continuó de gira y grabando durante las décadas de 1960 y 1970. También enseñó en el Berklee College of Music y en la Manhattan School of Music.
Johnson murió de un ataque cardíaco en Indianápolis en 2001. Tenía 77 años.
Johnson era un maestro del trombón. Tenía un sonido único que era reconocible al instante. También fue un talentoso improvisador y compositor. Su música ha influido en innumerables trombonistas de todo el mundo.
Estas son algunas de las composiciones más famosas de Johnson:
* "Lamento"
* "Ezz-tético"
* "Enigma"
* "Polvo de estrellas"
* "Funk azul"