Gandolfini nació en Westwood, Nueva Jersey. Su madre, Santa, una cocinera de escuela secundaria, nació en Estados Unidos y fue criada en Nápoles, Italia. Su padre, James Gandolfini, Sr., originario de Borgotaro, Italia, era albañil y más tarde el guardián principal de la Paramus Catholic High School, New Jersey.
Gandolfini creció en Park Ridge, Nueva Jersey, y se graduó en la Park Ridge High School en 1979, donde jugaba baloncesto y actuaba en las obras escolares.
Trabajó como camarero y manager de un club antes de iniciar su carrera en el mundo de la interpretación. Su primer acercamiento a la actuación fue de joven viviendo en Nueva York, cuando acompañó a un amigo, Roger Bart, a una clase de actuación en técnica Meisner.
Se casó en 2008 con su novia, Deborah Lin, en Hawái, según informó People .
De acuerdo con la misma revista citando a un invitado a la ceremonia, quien pidió reserva de su nombre, el actor, en ese entonces de 46 años, contrajo matrimonio con Deborah, de 40 años, en una ceremonia religiosa de 20 minutos en Honolulú.