Művészcsaládba született: apja festőművész, anyja zongorista volt. Természetes volt, hogy édesanyjától tanuljon meg zongorázni. A Párizsi Conservatoire-ba 18 évesen vették fel, ahol Halévy tanítványa lett. 1839-ben elnyerte minden növendék álmát, a Római nagydíjat, s ennek köszönhetően három évet tölthetett a római Villa Mediciben. Különösen az egyházi zene volt rá nagy hatással, főleg Palestrina. Ettől kezdve munkásságának fontos területe lett a vallás és az egyházi zene (1846 és 1849 között még papnak is tanult).

A római tanulmányút után, 1842-ben, német körútra ment, amelynek során találkozott és barátságot kötött Mendelssohnnal. Hazatérve orgonistaként helyezkedett el. 1852-ben megnősült, és az egyházzenei művek mellett operákat írt (Sapho, 1851; La nonne sanglante, 1854, Le médicin malgré lui, 1858). Stílusa először Meyerbeerére emlékeztetett, később könnyedebb vígjátékokat írt, de a remélt siker nem következett be.

1859-ben megírta Goethe nyomán, Jules Barbier és Michel Carré librettójára a Faustot. Az operát először a Théatre Lirique-ben mutatták be. Nagy siker volt, a franciák mai napig nemzeti operájuknak tartják. Sikerét a jó szerepeknek, a remek dallamfűzésnek, a nézőt, hallgatót lekötő történetnek köszönheti. Gounod-t becsületrenddel tüntették ki, egy csapásra a francia zene elismert tekintélye lett.

Gounod-nak a Faust sikerét következő műveivel nem sikerült megismételnie, de az 1867-es Romeo et Juliette még sikert aratott. 1871-ben három évre Londonban telepedett le a német–francia háború miatt. Saját kórust alapított és vezetett, Viktória királynő kedvelte. Londonban bemutatott La rédemption című oratóriumát kedvezően fogadták, a világkiállításra pedig megírta a Gallia című motettáját. Párizsba visszatérve utolsó operái, a Cinq-Mars (1877), a Polyeucte (1878), vagy a Le tribut de Zamora (1881) és a többi, teljesen visszhang nélkül maradtak.

Gounod-t egyműves zeneszerzőnek tartják. Faustja azonban olyan keresett darabja a világ operaszínpadainak, ami mindenképpen a francia operazene fontos szereplőjévé emeli. Erős melodikus tehetség, de a drámai erőnek híján van. A hangzatos operapátosz helyébe a gazdagon áradó dallamot állította.

Művei közül megemlíthető még a nagyközönség körében népszerű Méditation vagy Ave Maria, amit Bach C-dúr prelúdiumára írt.