oyunculuk kariyerine "Dokunulmazlar" gibi televizyon dizileri ile başladı. Aldığı ilk önemli rol, bir caniyi canlandırdığı gerilim filmi "Kafesteki Kadın" (Lady in a Cage, 1964) oldu. "El Dorado" (1967) filminde John Wayne ile birlikte rol aldı.

İlk olumlu eleştirilerini 1969 yılında , beyin engelli bir futbolcuyu canlandırdığı, Francis Ford Coppola'nın yönetmiş olduğu "Buhranlı Günler" (The Rain People) ile aldı. Bundan birkaç yıl sonra Coppola, "Baba" (The Godfather, 1972) filmindeki 'Sonny Corleone' rolü için kendisini seçti. Bu film, ona En İyi Yardımcı Erkek Oyuncu Akademi Ödülü adaylığını getirdi.

Caan, 1973'ten 1982'ye dek birçok sinema filminde rol aldı. 'Mafya oyuncusu' kalıbından kurtulmak için çok çeşitli karakterleri canlandırdı. İlk ve tek yönetmenlik denemesini 1980 yılında, tanık koruma programındayken kaybolan oğlunu arayan bir babanın hikâyesinin anlatıldığı "Hide In Plain Sight" filmi ile gerçekleştirdi.

1981 yılında Caan, Michael Mann'in yönettiği "Hırsız" (Thief) filminde başrol oynadı. Profesyonel bir hırsızı canlandırdığı bu film, film noir klasikleri arasına girmeyi başardı.

1982'den 1987'ye kadar hiçbir filmde rol almadı. 1987'de Vietnam Savaşı'nın konu edildiği, Francis Ford Coppola tarafından yönetilen "Taş Mezarlar" (Gardens of Stone) filminde rol aldı.

1988 ile 1990 yılları arasında; "Yabancılar" (Alien Nation, 1988), "Dick Tracy" (1990), "Ölüm Kitabı" (Misery, 1990) gibi popüler filmlerde rol aldı. 1992'de "Vegas'ta Balayı" (Honeymoon in Vegas) filminde Nicolas Cage ve Sarah Jessica Parker ile başrollerde yer aldı.

Oynadığı diğer filmlerden bazıları ise; "Silici" (Eraser, 1996), "Belalı Aşk" (Mickey Blue Eyes, 1999), "Çeteler Savaşı" (The Yards, 2000), "Hayaletler Şehri" (City of Ghosts, 2002), "Dogville" (2003) ve "Elf" (2003) olarak sıralanabilir.

James Caan, 6 Temmuz 2022'de Los Angeles'da 82 yaşında yaşama veda etti.