Johnson nació en Canton, Dakota del Sur y se crió en una granja. Se graduó en ciencias políticas en la Universidad de Dakota del Sur en 1982. Después de trabajar durante varios años como asistente legislativo, fue elegido miembro de la Cámara de Representantes de Dakota del Sur en 1986. Sirvió en la Cámara durante seis años, incluidos dos años como presidente.
En 1996, Johnson fue elegido miembro del Senado de los Estados Unidos, derrotando al actual republicano Larry Pressler. Fue reelegido para un segundo mandato en 2002 y un tercer mandato en 2008.
Johnson era conocido por sus opiniones políticas moderadas y su voluntad de trabajar tanto con republicanos como con demócratas. También fue un firme partidario de la agricultura y el desarrollo rural.
En 2014, Johnson anunció que no buscaría un cuarto mandato en el Senado. Mencionó problemas de salud, incluido un derrame cerebral que había sufrido en 2006, como motivo de su decisión.
Johnson dejó el Senado en 2015. Ahora está jubilado y vive en Vermillion, Dakota del Sur.