Najciekawszym a zarazem najstarszym zabytkiem jest zamek, usytuowany na morenowym cyplu, przy północno-zachodnim narożniku rynku. Został zbudowany w 1305 r. jako siedziba skarszewskiego baliwatu. W 1370 r. został przejęty przez zakon krzyżacki, a w 1433 r. spalony przez husytów i następnie odbudowany. Po 1466 r. stanowił siedzibę administracji polskiej. Został zdewastowany przez wojska szwedzkie. Najstarszym dokumentem opisującym zamek jest inwentarz starostwa skarszewskiego z 1628 roku. W XIX w. zamek został zamieniony na magazyny, a sąsiadujące z zamkiem budynki gospodarcze zostały rozebrane. W latach 1982-1989 przeprowadzono kapitalny remont obiektu i adaptację jego wnętrz na cele kulturalne. Obecny budynek stanowi jedynie zniekształcona postać dawnego założenia.
Zamek jest siedzibą Gminnego Ośrodka Kultury i Biblioteki Publicznej.
gok.skarszewy.pl