Joe Mantegna voit le jour le 13 novembre 1947 à Chicago (Illinois, USA), d'un père vendeur d'assurances et d'une mère commis d'expédition. Passionné par les arts, il s'adonne à la musique et au théâtre. Jouant de la basse dans des groupes, il suit des études de Lettres et décroche une licence de théâtre à la Goodman School of Drama de Chicago.
Il effectue ses débuts sur les planches en 1969 dans une adaptation de la comédie musicale
Hair. Sa carrière au théâtre finit par le mener devant les caméras, où il commence timidement par des rôles dans des téléfilms à la fin des années 70.
Il obtient un rôle important dans la série TV
Soap, où il apparaît dans sept épisodes. Il continue à apparaître sur le petit écran dans les années 80, mais c'est finalement le grand qui lui offre une première consécration grâce à sa prestation dans
Parrain d'un jour, de David Mamet (1988), pour laquelle il obtient le prix du meilleur acteur au Festival de Venise.
Toujours au cinéma, Joe Mantegna apparaît ensuite dans
Le Parrain 3, de Francis Ford Coppola (1990),
Alice de Woody Allen (1990). Il mène sa barque tout au long des années 90 sans faire de coup d'éclat mais en se formant une filmographie solide.
De 2003 à 2005, le public le retrouve dans la série
Le Monde de Joan et les amateurs des
Simpson peuvent reconnaître la voix de l'acteur en version originale lors des interventions de Gros Tony, le mafieux de la série animée.
En 2007, la carrière de Joe Mantegna prend un nouvel essor quand il remplace à la surprise générale l'imposant Mandy Patinkin, leader charismatique de la série à succès
Esprits criminels. Encore plus étonnant, il réussit à faire oublier son prédécesseur.
Joe Mantegna est marié depuis 1975 et a deux filles, l'une actrice et l'autre autiste.