Будівництво оборонного замку не стримало руйнувань Козови. У 1515, 1575, 1589, 1621 та 1626 роках татари нападали на поселення, грабували і палили. Після цих нападів замок відновлювався. Остаточно оборонний замок Потоцьких зруйнували турецько-татарська орда в 1688 році, коли Козова, після підписання Бучацького миру 1672 року, стала прикордонним містом Речі Посполитої.

Після цього замок вже не відбудовувався. 28 листопада 1672 року Козову відвідав шведський мандрівник Ульріх Вердум, яких залишив у своєму щоденнику опис міста Козова: "pusty kasztel z walacymi sie walami z ziemi i fosami, na nich kilka warownych bokow i tyle palisad, ile potrzeba do obrony przed Tatarami" (порожній замок із земляними валами і ровами, що валяться; кілька укріплених боків і частокіл для оборони перед татарами».

У 1755 році власником Козови стає Август Олександр Мошинський, який спорудив новий замок-садибу, але вже в іншому місці, на пагорбі, поблизу місця де знаходився мурований готичний костел знищений ордою, але вже комуністичною. А на місці, де знаходився оборонний замок Потоцьких, використовуючи залишки мурів, Мошинський збудував фабрику, вірогідно ароматичних добавок. В добу «комунізму» там знаходився цех по розливу води.

Зараз це закинута споруда. Але те, що це рештки замку Потоцьких не викликає сумнівів. Першим підтвердженням цього є тесаний кам'яний контрфорс, що підпирає стіну. Так укріплювали стіни від сповзання тільки в середні віки. Зайшовши в закинуте приміщення видно, що нижня частина північної стіни складена з брил тесаного пісковику. Пісковик скріплений глиняним розчином. Для зведення стін заводу, після руйнування замку турками, використовували залишки замкових стін.

Але найкращі свідчення того, що замок знаходився у цьому місці можна побачити у підземеллі і підвалах. Кам'яні арочні перекриття, стіни товщиною до двох метрів з тесаного пісковику, кам'яні дверні відкоси, розширені у середину віконні ніші не залишають сумніву, що це залишки замку. З західного боку знаходиться жилий будинок споруджений на залишках замкових підземель.

Зайшовши в підвал-підземелля цього будинку легко переконуєшся, що це залишки замкових підвалів і можливо частина підземних ходів які відходили від замку на захід у місто. Навколо збереглися залишки колись оборонних валів, сам замок знаходиться на підвищенні над річкою. В 2015 році на стіні з контрфорсом, з ініціативи місцевих краєзнавців, було встановлено табличку з написом: « Руїни замку родини Потоцьких XVI ст.».