Josef Hlávka byl druhorozeným synem purkmistra Antonína Hlávky a Anny Hlávkové, rozené Stachové (jenž pocházela z přeštické linie šlechtického rodu Stachů z Hrádku).

V roce 1862 se oženil s Marií Čermákovou, kterou znal již od studentských let. Zemřela na tuberkulózu v roce 1882. V roce 1886 se znovu oženil. Jeho druhou manželkou byla Zdeňka Havelková, klavíristka a pěvkyně, dcera rytíře Havelky.

Vystudoval gymnázium v Klatovech. Studoval rovněž na gymnáziu v Kolíně. Pak od roku 1846 v Praze stavovskou reálku, kterou absolvoval roku 1847.

Otec si všiml synova zájmu o architekturu od raného dětství a nechal jej zapsat na pražskou polytechniku. Zde studoval obor pozemní stavitelství (samostatný obor architektura se totiž tehdy ještě neexistoval). Posléze mu i umožnil studovat ve Vídni. Vídeňskou Akademii výtvarných umění (obor architektura) vystudoval Hlávka v letech 1851–1854. Díky svým studijním výsledkům roku 1854 získal Státní cenu. Studium však bylo drahé, a tak si Hlávka přivydělával o prázdninách na stavbách jako zednický učeň, pak jako stavbyvedoucí a nakonec coby ředitel kanceláře u česko-vídeňského stavitele Františka Šebka. U Šebka získal výuční list a v roce 1860 i mistrovské vysvědčení. Mezitím po roce 1855 začal působil jako stavitel ve spolupráci s architektem Heinrichem Ferstelem. Seznámil se s nejnovějšími proudy v architektuře, které se v té době šířily většinou z Paříže, velikány jako byli August von Siccardsburg, Eduard van der Nüll, Karl Rössner a Friedrich Schmidt. Roku 1855 obdržel státní cestovní tříleté stipendium (takzvaná Římská cena), které mu umožnilo poznávací cestu po Evropě (Itálie, Sicílie, Řecko, Francie, Anglie, Belgie, Německo), ale po návratu, v neutěšené situaci po prohrané rakousko-pruské válce, nenašel uplatnění jako architekt, nýbrž jako velmi úspěšný stavební podnikatel.

Začátky jeho podnikání velmi usnadnil František Šebek, který Hlávku před jeho cestou zaměstnával jako ředitele své stavební kanceláře. Oblíbil si jej natolik, že mu při odchodu do penze odkázal celou svou stavební kancelář. Hlávka si brzy vydobyl pověst solidního stavitele.

Na sklonku roku 1860 mu ministerstvo kultury a vyučování zadalo vypracování projektu rezidence řeckokatolického biskupa v Černovicích (dnešní ústřední budova tamní university) v Bukovině (dnes Ukrajina) spolu s arménsko-katolickým kostelem, v roce 1861 vyhrál soutěž na výstavbu Dvorní opery ve Vídni (architekti Opery byli jeho někdejší učitelé August von Siccardsburg, Eduard van der Nüll). Stavět začal na podzim téhož roku. Vrací se i do Prahy, kde v roce 1862 přijal zakázku projektu na novou Zemskou porodnici v Apolinářské ulici v Praze (1863, dodnes fungující s nepřetržitou kontinuitou); zde projekt založil na nejpokrokovějším systému své doby, tj. pavilónovém členění, odůvodněném v té době počínající propagací hygienických hledisek. Vedle velkého kapitálu získal za postavení Dvorní opery osobně od císaře titul stavebního rady a za vlastní architektonický projekt rezidence bukovinských metropolitů o velikosti poloviny Versailles obdržel II. cenu na světové výstavě v Paříži v roce 1867. V roce 1866 koupil pro svoji ovdovělou matku zámek v Lužanech u Přeštic, který později sehrál velmi významnou roli v jeho dalším životě.

Hlávkova stavební kancelář postavila v letech 1860–1869 142 staveb. Tím se mohla pochlubit jen málokterá firma. Přestože na to měl své lidi, sledoval vždy každou stavbu osobně. K tomu, aby celý tento jmenovaný výčet mohl být postaven, by nestačila jen jeho neuvěřitelná pracovitost. Bez dobře fungující stavební kanceláře by jen těžko uspěl. Základ kanceláře, získaný tak nečekaně a šťastně od Šebka, značně zvelebil a rozšířil. Zaměstnával 19 architektů, takže posléze byl schopen, díky takto vybavené kanceláři a své neuvěřitelné pracovitosti, mít neustále rozestavěno a vyprojektováno více než padesát staveb najednou, a to často staveb nijak podřadného významu.

V důsledku pracovního vypětí, kterému byl vystaven, a namáhavého cestování mezi Vídní, Prahou a Černovicemi na podzim roku 1869 Hlávka zkolaboval a ochrnuly mu obě nohy. Osmatřicetiletý velmi úspěšný muž se ocitl na invalidním vozíku, musel opustit kancelář a odejít do ústraní na zámek v Lužanech, tři kilometry od rodných Přeštic. Kolem roku 1880 se jeho zdravotní stav natolik zlepšil, že mohl opět chodit.

Poté, co přesídlil do Prahy, se zapojil i do politického života coby člen Národní (staročeské) strany. 4. prosince 1883 složil slib poslance Říšské rady (celostátní zákonodárný sbor), kde reprezentoval městskou kurii, obvod Třeboň, Jindřichův Hradec atd. Do vídeňského parlamentu byl opětovně zvolen ve volbách do Říšské rady roku 1885, nyní za velkostatkářskou kurii. Mandát obhájil rovněž ve volbách do Říšské rady roku 1891, ale tentokrát mandát nepřevzal, protože byl roku 1891 jmenován členem Panské sněmovny (jmenovaná horní komora Říšské rady).

Na Říšské radě se připojil k Českému klubu (jednotné parlamentní zastoupení, do kterého se sdružili staročeši, mladočeši, česká konzervativní šlechta a moravští národní poslanci).Od roku 1885 byl rovněž poslancem Českého zemského sněmu.

Na čas se vrátil do Vídně a seznámil se s hudebně velmi nadanou přítelkyní rodiny Antonína Dvořáka Zdeňkou Havelkovou, která se stala jeho druhou ženou. Poté se s ní vrátil do Lužan, kde přestavěl celý zámek do současné podoby inspirované italskou neorenesancí. Antonín Dvořák pro novou kapli zámku zkomponoval pozoruhodné hudební dílo známé jako Lužanská mše. Na zámku se Hlávkovi podařilo vytvořit útulné prostředí pro všechny hosty navštěvující Lužany. Jejich počet s jeho vzrůstajícím věhlasem mecenáše neustále přibýval. Šlo o zvučná jména předních osobností kulturních, vědeckých i politických kruhů.

Mecenášský věhlas získal svým dokonale promyšleným programem zaměřeným především na kulturu a vzdělanost českého národa. V Lužanech vznikl projekt založení České akademie pro vědu slovesnost a umění. Na jejím vzniku měla jeho finanční účast rozhodující podíl, přispěl totiž anonymně 200 000 zlatých a stal se prvním prezidentem akademie). Inicioval taky stavbu nové budovy Akademie výtvarných umění a mnohé další.

Díky jeho iniciativě vznikla i Hlávkova kolej, coby reakce na tíživou situaci chudších studentů, kteří v Praze těžko sháněli bydlení. Na svou dobu byly koleje velmi moderně vybaveny např. vlastní tělocvičnou, pekárnou, kuchyní, kde se vařilo a kde si každý mohl vzít tolik čerstvého chleba, kolik chtěl, čehož často využívali i mimokolejní studenti. Říká se, že své vlastní hospodyni odmítl zakoupit nový hrnec, ale vybavil nové koleje moderním a drahým měděným nádobím od Rotta. Někdy se objevuje i pojem „Hlávkovi rytíři“ – studenti totiž směli koleje užívat pod podmínkou, že ovládnou perfektně jeden cizí jazyk a umění šermu.

Hlávka hradil i první kompletní překlad Shakespearova díla, podporoval Julia Zeyera, Oskara Nedbala a jeho proslulé kvarteto a mnoho dalších.

Čtyři roky před smrtí završil své mecenášské úsilí tím, že ve své poslední vůli 25. ledna 1904 ustanovuje (dětí nemaje) svým univerzálním dědicem nově založené Nadání Josefa, Marie a Zdenky Hlávkových, které podle statutu přiloženého k závěti mělo být ustanoveno ihned, nejdéle však do dvou roků po jeho smrti.

Právnicky bylo Nadání tak dokonale vytvořeno, že přežilo jak totalitu nacismu, tak komunismu a do dnešních dnů plní nadace velkou část jeho odkazu. Jde o nejstarší nadaci s nepřerušenou kontinuitou v České republice.