Zamek murowany wybudował Kazimierz Wielki. Prawdopodobnie władali nim Tenczyńscy herbu Topór, którzy przybrali nazwisko Rabsztyńskich. Za rządów Władysława Jagiełły panami na zamku stali się Melsztyńscy herbu Leliwa. Spytek Melsztyński był przywódcą husytów polskich. W 1439 r. napadł na radę królewską w Nowym Korczynie, ale pod Grotnikami poległ w przegranej bitwie. Jego majątek skonfiskowano na rzecz skarbu królewskiego, a Rabsztyn zamieniono na starostwo niegrodowe. Jednak król oddał Melsztyn wdowie po Spytku, Beatrycze, i przywrócił rodzinie tytuł szlachecki.
W 1573 r. Seweryn Boner podejmował na zamku króla Henryka Walezego, a 12 czerwca 1853 r. na zamku odbył się ślub i wesele hetmana Jana Zamoyskiego z bratanicą króla Stefana Batorego, księżniczką siedmiogrodzką Gryzeldą.
W 1587 r. dowódca załogi wojskowej w Rabsztynie, kozak, pułkownik Gabriel Hołubek, zasłynął w walkach przeciwko arcyksięciu austriackiemu Maksymilianowi. Arcyksiąże oblegał wówczas Kraków. Jego siły miał wzmocnić oddział złożony z 350 ludzi wiozący zapasy amunicji i żywności. Hołubek z liczącą 100 ludzi załogą zamku urządził zasadzkę i zaatakował z takim impetem, że Austriacy po nieudolnych próbach oporu rzucili się do ucieczki, zostawiając transportowane zaopatrzenie.
Marszałek Mikołaj Wolski został starostą rabsztyńskim w 1592 r., a po nim urząd ten piastował Zygmunt Myszkowski. Oni to rozbudowali zamek i nadali mu wygląd renesansowej siedziby. Zamek posiadał wtedy ponad 40 pokoi.
W 1657 r. zamek został spalony przez wycofujących się Szwedów. Od tamtej pory był tylko częściowo zamieszkany, a kolejni starostowie zbudowali u jego podnóża dwór starościński. w XVII wieku istniała już tylko połowa zamku, a w 1853 r. stała jeszcze wysoka wieża na skale. W 1918 r. przygotowano plan zabezpieczenia i częściowej restauracji ruin, ale nie zakończono rozpoczętych prac.
Dzisiaj widzimy rozległe ruiny zamku na stoku wzgórza. Można się do nich dostać jedynie od północy, gdzie znajduje się fosa, wały i resztki przyczółka mostu zwodzonego, który wiódł do renesansowej bramy wjazdowej. Pod bramą znajdują się sklepione piwnice. Na wschód biegną mury obwodowe dawnego zamku, sięgające pierwszego i drugiego piętra. W ich obrębie widać resztki murów oddzielających niegdyś komnaty. We wschodnim skrzydle znajdowała się klatka schodowa wiodąca na wyższe kondygnacje. Najwyższa część zamku górowała na wyniosłym cyplu skalnym. Miała ona formę czteropiętrowej baszty i była najbardziej obronnym elementem zamku. Niestety, na przełomie XIX i XX wieku została ona wysadzona w powietrze przez poszukiwaczy skarbów.
