Nejprve byl v letech 1848 - 1849 žákem Christiana Rubena na pražské akademii. V roce 1849 odjel přes Mnichov, Drážďany, Berlín a Düsseldorf do Antverp, kde se zapsal na malířskou akademii do ateliéru G. Wapperse, kde setrval v letech 1849 - 1850. Dále cestoval do Nizozemí a Francie, kde se školil v letech 1850 - 1854 v ateliérech Louise Gallaita v Bruselu a v Paříži.
V první polovině šedesátých let podnikl cesty do jihoslovanských zemí, zvláště do Černé Hory a do Dalmácie, které se mu po vzoru lorda Byrona staly námětem romantických obrazů, zvláště pro nadvládu Turků a následný osvobozenecký boj. Ve druhé polovině šedesátých let cestoval po Francii, Riviéře a Pyrenejích. 1865-1867 pobýval v Itálii. 1869 se usídlil v Roscoffu v Bretani. Dostal také nabídku k převzetí místa ředitele pražské Akademie, ale odmítl ji a raději zůstal v cizině.
Jako student vystavil na slavném pařížském Salonu roku 1853 obraz Šimon Lomnický žebrá na pražském mostě. Je to první obraz českého autora, který tehdy třiadvacetiletému umělci z Prahy zajistil místo mezi významnými osobnostmi francouzského uměleckého světa.
Byl autorem heroických a romantických historických obrazů s náměty z jihoslovanských tradic (Zajaté Černohorky, Raněný Černohorec, Bosna roku 1877, Dalmatská svatba, Únos odalisky), historických obrazů (Husité bránící průsmyk; Po bitvě na Bílé Hoře - Protireformace) a venkovských námětů, zejména z Bretaně (Marina z Roscoffu, Život na pobřeží Roscoffu). Mimo to maloval zátiší (např. Zátiší s rybami), podobizny (např. Jan Evangelista Purkyně, paní H. Gallaitová, umělcova sestra M. Czartoryská) a kreslil.

Jaroslav Čermák byl jeden z prvních českých malířů, kteří okouzlili Paříž, kde strávil většinu svého života a kde také zemřel. Jeho ostatky pak byly převezeny do Prahy, kde byl uspořádán velkolepý pohřeb na Olšanských hřbitovech. V hrobě s ním jsou také jeho bratři MUDr. Josef Čermák - univerzitní profesor a Carl Čermák - německý spisovatel.