Nie wiadomo kiedy dokładnie powstał ten zamek. Według podań istniało tu niegdyś grodzisko, na którego miejscu w XII lub XIII w. zbudowano gród. Pierwszy zamek murowany zbudował Kazimierz Wielki. Król nazwał go "Ociec u skały", na cześć swego ojca, Władysława Łokietka. Osiem wsi miało utrzymywać zamek. Sam Ojców uczynił król starostwem niegrodowym. Jego pierwszym znanym starostą był Jan z Korzkwi, żyjący pod koniec XIV w. Najbardziej znanymi starostami ojcowskimi byli Piotr Szafraniec z pobliskiej Pieskowej Skały, Jan Boner, Myszkowscy z Mirowa. Pod koniec XVI w. starostwo staje się dziedziczne. Ród Korycińskich sprawował ten urząd poprzez cztery pokolenia aż do połowy XVII w.
Mikołaj Koryciński otrzymał starostwo od króla Władysława IV. Przeprowadził naprawę zamku, ozdobił go marmurami, polichromią, rzeźbami, arrasami i wschodnimi kobiercami. W 1633 r. sejm przyznał mu zwrot kosztów poniesionych na naprawę "nadgranicznego grodu". Szwedzi zniszczyli i ograbili zamek z cennych przedmiotów. Odbudował go jednak Stefan Koryciński. Jeden z kolejnych jego właścicieli, Teofil Załuski, hucznie podejmował tutaj ostatniego króla Polski, Stanisława Augusta. Za czasów Królestwa Kongresowego zamek sprzedano Konstantemu Wolickiemu, a ten w 1829 r. rozebrał resztki zamku. To co zostało kupił Wojciech Prendowski, który z kamienia zamkowego zbudował karczmę, browar i inne budynki. Jego syn, Henryk, już nie mieszkał w zamku, ale odnowił jego zabytkową basztę. Dziś widzimy jedynie bramę wjazdową i dwupiętrową basztę, dwa elementy, które w XIX w. były kilkakrotnie odnawiane. Sam zamek miał niegdyś dwa piętra. Pod koniec XIX w. i w 1913 r. baszta została mocno obniżona, ponieważ obawiano się jej zawalenia. Stała się przez to niezgrabna i przyciężka. Jej wnętrze jest okrągłe, widać w nim ślady schodów i kominka. Okien nie ma. W izdebce znajdującej sie nad dobrze zachowaną brama wjazdową istnieje od 1938 r. muzeum mieszczące zbiory przyrodnicze zgromadzone z okolic Ojcowa.
Po przejściu bramy wchodzimy na rozległy dziedziniec, na którego południowej stronie widać resztki murów kaplicy zamkowej. Roztacza się stąd piękny widok na dolinę Prądnika. Na środku dziedzińca znajduje się głęboka na 40 m studnia, sięgająca poziomu Prądnika.
