İtalyan asıllıdır. Gençken kız kardeşinin berber dükkânında çalışmaya başladı. 1929 yılında ailesi Fransız vatandaşlığına geçti. Limanlarda, barlarda çalışmaya başladı ve sonra salon şarkıcısı olarak gösteri dünyasında kariyerine başladı.

1944'te Paris'te Édith Piaf tarafından keşfedildi. Piaf onun için hem bir yol gösterici hem de sevgili oldu. Ancak bir sene sonra Piaf, onu terk etti.

1951 yılında aktris Simone Signoret ile evlendi. Hatta bir kaç filmde başrolü birlikte oynadılar. 1985 yılında eşini kaybetti. 2. evliliğini Carole Amiel ile yaptı. Bu evlilikten 1988 yılında Valentin dünyaya geldi.

"Gel Sevişelim" (Let's Make Love, 1960) filminde rol arkadaşı olan Marilyn Monroe ile kısa, yasak bir ilişki yaşadı.

1990 yılında Aurore Drossard isimli 22 yaşında bir kız, Montand'ın kızı olduğunu iddia ederek babalık davası açtı. Fakat Montand 1990 yılında DNA testi yaptırmayı reddetti. Bunun üzerine ölümünden sonra 1998 yılında kazanılan davayla Pere Lachaise Mezarlığı'ndaki mezarı açılarak kemik örneği alındı.