Mark Ruffalo 2004 yapımı "Tetikçinin Gecesi" isimli filmde Tom Cruise'a karşı canlandırdığı "Fanning" karakteri ve 2007 yapımı Zodiac'taki dedektif Dave Toschi rolleriyle ile tanınır.Ruffalo 1996 yapımı The Dentist, 1998 yapımı "Safe Men" gibi filmlerde küçük rollerde yer aldı. Yazar Kenneth Lonergan ile tanıştıktan sonra onunla çalışmaya başladı ve yazarın birçok oyununda oynadı. Bu oyunlardan biri de "This is Our Youth" (1998) idi. Bu oyundaki rolü Ruffalo'ya başrolünü Laura Linney ile paylaştığı ve Linney'nin kafası karışık, problemli kardeşi Terry'i canlandırdığı "You Can Count on Me" filminde oynamasını sağladı. Film en iyi senaryo ve en iyi kadın oyuncu dallarında Akademi Ödülleri'ne aday gösterildi. Mark Ruffalo, bu filmdeki performansı ile büyük beğeni aldı ve Marlon Brando'nun gençliği ile karşılaştırıldı. Ayrıca Los Angeles Film Eleştirmenleri Derneği ve Montreal Dünya Film Festivali'nde ödüllendirildi. 2007'de ise "Zodiac" isimli filmde dedektif "Dave Toschi" rolündeydi. 2007'de John Burnham Schwartz'ın aynı isimli romanından uyarlanan "Terry George" filmi Reservation Road'da yanlışlıkla bir çocuğu öldüren boşanma avukatı "Dwight Arno" karakterini canlandırdı. Son olarak 2012 yılında vizyona giren "The Avengers" filminde "Bruce Banner/Hulk" karakterini canlandırdı.