Cem Yılmaz ilköğretiminin ardından Etiler Anadolu Otelcilik ve Turizm Meslek Lisesi'ni tamamladı ve Boğaziçi Üniversitesi'nde Turizm ve Otel Yönetimi bölümünü bitirdi. Kariyerine mizah dergisi Leman'da çizer olarak başlayan, çizerliğin sonrasında BKM'de sahne almaya başladı. Komedyenlik alanında büyük bir üne kavuşan Yılmaz, günümüze dek 4000'in üzerinde stand-up şovu gerçekleştirdi.Cem Yılmaz'ın sinema kariyeri 1998 yapımı Ömer Vargı imzalı "Her Şey Çok Güzel Olacak" filmiyle başladı. Senenin en ilgi çeken yapıtlarından biri olan bu filmde Mazhar Alanson ile beraber başrolleri paylaştı. Bu filmi 2000 yılındaki "Vizontele" izledi. Cem Yılmaz'ın sinemalardaki ilk önemli yapımı, senaryosunu yazıp başrolünde yer aldığı G.O.R.A. (2004) filmiyle gerçekleşti. Ünlü komedyenin Ömer Faruk Sorak ile yapacağı işbirliklerinin ilki olan "G.O.R.A." tüm zamanların en ses getiren yapıtlarından birine dönüşürken Yılmaz'ın kariyerinin sürekliliği için de önemli bir adım oldu. Bu filmin ardından A.R.O.G.'un da senaryosunu yazıp başrolünde yer alan Cem Yılmaz, aynı zamanda Ali Taner Baltacı ile birlikte filmin yönetmenliğini de üstlendi. 2006 senesindeki "Hokkabaz" filmiyle draması daha çok bir filmle izleyicisiyle buluştu. Filmin başrolü ve senaryosunun yanı sıra ikinci kez Ali Taner Baltacı ile birlikte yönetmen koltuğuna oturdu. 2009 yılında yapımı gerçekleşen "Yahşi Batı" filminin yine senaristliğini ve başrolünü üstlenirken yönetmen olarak bir kez daha Ömer Faruk Sorak ile çalıştı. Cem Yılmaz yaratıcı ekibinde yer aldığı bu filmlerin yanından farklı filmlerde de oyuncu olarak izleyiciyle buluştur. Bunlar; "Organize İşler", "Av Mevsimi", "Şahane Misafir", "İftarlık Gazoz" ve "Son Umut" gibi önemli yapımlardır. Ayrıca CM101MMXI FUNDAMENTALS şovunu sinema ekranlarına taşıyarak bir ilke imza atan Cem Yılmaz, yazıp yönettiği ve başrolünde yer aldığı "Pek Yakında" filmiyle beyazperdeye geri döndü.