Na soutoku Moravské a Německé Dyje na místě původního keltského sídliště bylo postaveno r. 926 slovanské kamenné opevnění, které později vypálili Maďaři. V 11. století byl stejném místě postaven nynější obranný hrad, písemně doložený v roce 1074 jako „castrum Ratgoz“ v držení Gottfrieda von Norimberk (první norimberský purkrabí). Jeho bratr Konrád I. se již r. 1140 píše von Raabs a je často zmiňován v okolí markraběte Jindřicha II. Zřejmě toto oprašování markraběcích klik přineslo Konrádu II. hraběcí titul. Z názvu Ratgoz vzniklo české slovo Rakús a následně slovo Rakousko.

Na přelomu r. 1191 až 1192 je prodána část panství s hradem hrabatům von Hirschberg-Tallenstein. Část s trhovým městečkem je prodána r. 1200 vévodovi Leopoldu VI. V červnu 1260 prodala Markéta Babenberská celé panství českému šlechtici Vokovi z Rožmberka a ten je prodal r. 1282 Habsburkům.

V následujících časech je panství opět rozděleno. „vévodská“ část s městečkem je zastavena r. 1283 Stephan od. Maissau. Část s hradem získala hrabata von Hirschberg. Od r. 1297 je „vévodská“ část udělována jako léno. K „hradní“ části je připojeno město a toto celé drží v zástavě páni von Maissau.

Celé panství je nakonec opět spojeno v jeden celek r. 1385 a koupeno pány von Puchheim. V polovině 17. st. tito držitelé získají zvláštním výnosem pro svůj majetek „volnost“. Díky tomu dochází za Puchheimů k rozsáhlé pozdně gotické přestavbě, která probíhá hlavně v letech 1554 až 1560. Další přestavby zasáhly hradní komplex na přelomu 16. a 17. st.

V letech 1702 až 1718 je panství v držení barona Františka Antonína von Quarient a Raall. Dalšími majiteli byly například páni von Bartenstein (1760 až 1829) nebo baroni von Kaiserstein (1829 až 1873). Koncem 19. st. a začátkem 20. st následují časté změny majitelů. Od 1970 zde probíhají restaurační práce. Současným majitelem je Richadr Pils.