Hrádek se nachází v poloze Na hrádišti (tak je nazývána tato oblast) na levém břehu Jizerky, v jižní části Rychlova.

Hrad není písemnými prameny doložen a ve svém významném díle o hradech se o něm nezmiňuje ani August Sedláček. Přesto se existence hradu stále udržovala v povědomí místního obyvatelstva. Středověké opevnění vzniklo patrně k ochraně ložisek zlata a také jako předsunutá součást soustavy chránící hrad Štěpanice. Vznik hradní stavby lze zcela jistě spojovat se zdejší těžbou zlata na Zákoutí. Z roku 1337 se dochovala zpráva, podle které král Jan Lucemburský udělil Oldřichovi z Rožmberka právo kutat zlato. Ještě roku 1492 se zde uvádí „velké jamniště“. Nelze také opomenout přítomnost důležité zemské stezky vedoucí přes štěpanické panství a procházející přímo nad hradem. To potvrzuje důležitost hrádku jako významného strážního objektu této komunikace. Hrádek zanikl kolem počátku 14. století a nebyl už obnoven.

Plošně neveliký jednodílný hrad vznikl vysoko na vápencovém skalním bloku, tyčícím se přímo nad dnešní Masarykovou silnicí vedoucí do Vítkovic v Krkonoších. Strmá skalnatá stráň vystupuje od západní strany vzhůru z hlubokého údolí toku Jizerky. V širším okolí je tato lokalita pro stavbu hradu jedním z nejvýhodnějších míst, skalní blok částečně poskytuje přirozenou ochranu. Lokalita je dnes porostlá vysokým lesem. Vnitřní plošina překvapuje neobvykle šikmým svahem (asi 25°) směrem směřujícím k západu. Má oválný tvar s malým rozšířením na jižní straně. Byl opatřen nasucho kladenými terasami, ležícími nad sebou. Provedený výzkum dokázal existenci dnes již sesutých tarasů, kde byla na takto upravené ploše zástavba. Jádro hradu bylo pravděpodobně situováno na východní, nejvýše položené a nejméně svažité ploše hradiště. Rozměr této plošiny dosahuje ve směru V–Z asi 23 m a S–J 28 m. Jižní a západní bok chránilo vybíhající vápencové skalisko. Šlo o jednoduchou stavbu s opevněním a obydlím patrně věžovitého charakteru.

Proti zvedajícímu se svahu na severní a východní straně a po bočních stranách se nachází výrazný, do skály zapuštěný srpovitý desetimetrový příkop hluboký 2,5 metru s venkovním dvoumetrovým valem. Val je na severovýchodní straně přerušen, pravděpodobně byla v tomto místě vstupní brána.

Situace přirozené průrvy u dolní západní části nad údolím je nejasná, okraj hrádku, kde mělo být údajně skalisko, patrně ovlivnil lom na kámen, který se ze svahu pod hradem těžil.

Na hrad se lze dostat buď z Horních Štěpanic, nebo z osady Rychlov, nejlépe od čp. 28, kde pod horskou loukou začíná podélný okraj lesa.

V červnu 1987 zde proběhl z popudu redakce časopisu Krkonoše zjišťovací archeologický výzkum prováděný Krajským muzeem v Hradci Králové. Na základě velkého souboru archeologických nálezů bylo stáří lokality datováno do druhé poloviny 13. století. Pro uvedené období svědčí rovněž poloha hradiště, která neposkytuje možnost obrany proti palným zbraním. Poloha byla zvolena před dobou jejich užívání. V okolí nebyly nalezeny žádné další stopy osídlení. Zakladatelem hrádku mohl být některý člen rodu Valdštejnů.

Rychlovský hrádek byl podřízen Štěpanickému hradu, vzdálenému asi 2 km.