Kelet-Morvaország vlachok lakta részén (Lašsko) született, közel a sziléziai határhoz. Nagyapja és apja kántortanító volt, anyja, Amalie posztókészítő dinasztiából származott. Mindkét szülője nagy zenei tehetséget árult el.

Leoš első zenei leckéit apjától, Jiří Janáčektől kapta, majd tizenegy éves korától a brnói Ágoston-rend papi iskolájában tanult apja volt tanítványánál és barátjánál, Pavel Křižkovskýnál. A növendékek fő tantárgya a kóruséneklés volt, amelyet zenekari gyakorlat is kiegészített.

1879-ben rövid időt töltött a lipcsei konzervatóriumban, majd 1880-ban Bécsben, de elégedetlen volt az itteni oktatási módszerekkel is.

1880-ban véglegesítették tanítóképzői állását. 1881-ben feleségül vette fiatal tanítványát, Zdeňka Schulzovát. Saját zenetanítási módszert dolgozott ki, 1882-től elvállalta a brnói orgonaiskola igazgatását. 1883-ban megismerkedett Antonín Dvořákkal, akihez később a zeneszerző haláláig (1904) szoros barátság fűzte.

1889-től a nyelvész és népdalgyűjtő František Bartošsal tudományos alapossággal elkezdte a morva folklór feldolgozását. A népdalok egy részét 1892 és 1901 között zongorakíséretes formában is feldolgozta. 1895-ben a prágai Néprajzi kiállításon morva folklórbemutatót rendezett. 1904-ben megvált tanári állásától, hogy minden erejét a zeneszerzésnek szentelhesse.

Életművéből operái a legjelentősebbek. A mai világsikerből életében kevés jutott neki. Első dalműve a Šárka 1887-re elkészült, de bemutatójára csak 1925 novemberében (!) került sor. Második operája, a Počátek románu (Egy románc kezdete, 1891) sikertelen volt. Először harmadik színpadi műve hozott ismertséget neki, az 1894 és 1903 között komponált Její pastorkyňa (A mostohalány), melynek külföldön a főszereplő neve nyomán Jenůfa a címe. 1916-ra sikerült elérnie, hogy Prágában bemutassák, de végre sikert aratott, s ez Janáček legtermékenyebb korszakát indította el. Külföldre is ez a műve jutott leghamarabb.

1916-tól a zeneélet szervezésébe is be- vagy inkább visszakapcsolódott, különböző fórumokon kampányolt a zeneoktatásért és a morva népzene kutatásáért. 1919-től 1925-ig a prágai konzervatórium brnói mesteriskolájában újra tanított, az állami népdalintézet morva bizottságában elnökölt.

Ebben az időben is maradt rajongott szülőföldjén, szerény emberként élt, utolsó éveiben áramló bel- és külföldi elismerései ellenére is.

Élete utolsó évtizedében figyelt fel rá az európai modern zenei élet. Közös koncerten szerepelt Bartókkal és Schönberggel.

Hirtelen jött, súlyos tüdőgyulladás okozta halálát.