Beyaz perdede ilk deneyimi, To Kill a Mockingbird (1962) filmi ile oldu ama onu büyük kitlelere tanıtan filmi bundan tam on yıl sonra Tom Hagen karakterini canlandırdığı Baba (The Godfather) oldu. Bu film ile ilk kez 'en iyi yardımcı erkek oyuncu' kategorisinde Oscara aday oldu. Aynı filmin devamı olan Baba 2 (The Godfather Part Two) filminde de yine aynı karakteri canlandırdı.

Akademi Ödüllerine toplam 6 kez aday olan Duvall, bu ödüle Tender Mercies (1984) filmi ile 'en iyi erkek oyuncu' dalında Oscar alarak erişti.