Costello nació en Paterson, Nueva Jersey, de inmigrantes italianos. Comenzó su carrera en el mundo del espectáculo cuando era adolescente, actuando en vodevil y burlesco. Conoció a Bud Abbott en 1936 y los dos formaron un equipo de comedia. Rápidamente se convirtieron en uno de los actos de comedia más populares del mundo, actuando en clubes nocturnos, en la radio y en películas.
La comedia de Abbott y Costello se caracterizó por sus rutinas de payasadas y la voz aguda y las expresiones faciales exageradas de Costello. Aparecieron juntos en un total de 36 películas, incluidas "One Night in the Tropics" (1940), "Buck Privates" (1941) y "Abbott and Costello Meet Frankenstein" (1948).
La salud de Costello comenzó a deteriorarse a principios de la década de 1950 y se sometió a varias cirugías cardíacas. Murió de un infarto en 1959 a la edad de 52 años.
A pesar de su muerte prematura, Costello es considerado uno de los comediantes más influyentes del siglo XX. Su trabajo con Bud Abbott ayudó a definir el género de la comedia e inspiró a muchos otros comediantes.