Замок збудований Стефаном Потоцьким (Stefan Potocki) (1624-1648р.), (гербу Пилява), на початку XVII століття, після того, як польський король Сігізмунд III, надав містечку магдебурзьке право. Розміщений в південній частині містечка, на підвищенні, поблизу річки Золотий Потік. Замок став головною резиденцією роду Потоцьких. Будували його як регулярний, мав він форму правильного квадрату. Фортеця обнесена муром, товщина стін якого сягала двох метрів, а висота 10 метрів.

Перед стінами замку викопали рів і насипали земляні вали. На розі кожного муру стояли триярусні оборонні вежі з бійницями. В'їзд в замок знаходиться з північно-східного боку через браму з міцними воротами. Над брамою височить надбрамна башта. Надбрамна башта розташована по центральній вісі північно-східного фасаду замку, квадратна в плані, триярусна. Перший її ярус — в'їзд на територію замку — перекритий склепінням, другий і третій яруси вежі — житлові приміщення. Наличники вікон другого ярусу прикрашені різьбленим орнаментом в стилі ренесансу.

В західній частині замку розміщений палац. Збудували його одноповерховим. Внутрішнє планування — коридорне з одностороннім розміщенням кімнат, вікна яких виходять у двір. Зовнішня стіна палацу завтовшки до 2 метрів. Торець фасаду оформлені «ганками» і відкритою галереєю. Портал первинного входу і наличники вікон декоровані різьбленням. За часів "комунізма"  добудували другий поверх.

В добротному стані також і масивні підвали палацу. Ось там і відчувається найкраще сімнадцяте століття.

 Дісталось замку в 1676 році, коли його захопили турки. Була в них така слабкість руйнувати і нищити все, що зроблено чужими руками.

З внутрішнього боку брами зберігся герб роду Потоцьких. Збереглися і три башти, західну вежу розібрали. В найкращому стані південна вежа, яка і зараз виглядає грізно і неприступно. В північній вежі, яка має перекриття, можна оглянути внутрішні приміщення. Збереглися частково і мури замку. В господарських приміщеннях замку, що зліва від брами, за комуністичної влади знаходилася тюрма. Варто зауважити, що вхідні залізні двері в тюрму, зняті з синагоги, про що свідчить зірка Давида на внутрішній стороні дверей в нижній частині.(*В 2015 році, дверей вже не було).

Сходи в палац замку, з лівої сторони, складені з надгробних плит єврейського цвинтаря, можна навіть розібрати написи на них. Ось такі були дикі комуністичні часи. В 2009 році, на території замку проводилися реставраційні роботи. Розчищалися внутрішні приміщення палацу, грунт просіювався. Ремонтувалися приміщення надбрамної вежі.

-Герб Пилява (Pilawa) родини Потоцьких.

-Стефан Потоцький (Stefan Potocki) (1624-1648р.) - староста ніжинський, син коронного гетьмана Миколи Потоцького. Попав в татарський полон після поразки очолюваного ним польського війська в битві з козацьким військом під Жовтими Водами (1648 р.). Помер в полоні від хвороби через декілька днів.