Początki zamku, lub raczej strażnicy, w Morsku są bardzo niejasne. Drewniana warownia mogła tu powstać wzniesiona przez Toporczyków, którzy od dóbr Morsko przybrali nazwisko Morskich. Dobra te odebrał im w 1327 roku Władysław Łokietek, podobno za uprawianie rozbójnictwa. Morsko przekazane zostało klasztorowi kanoników regularnych w Mstowie. Na przełomie XV i XVI wieku właścicielami Morska byli Włodkowie, którzy mogli wznieść tu zamek murowany. Równie możliwe jest, że zamek zbudował książę opolski Władysław.
W 1961 roku przeprowadzono konserwacją ruin, w wyniku której podwyższono i zabezpieczono koronę murów. Do naszych czasów zachowały się też szczątki bramy i kilku pomieszczeń. Wokół zamku widać zarys fosy i wałów obronnych.
