У 1631 році власником замку стає О. Семінський, а далі фортеця переходить до родини Лєвочинських. Під час української Національно-визвольної війни 1648-1653 років, козацька армія тричі штурмувала замок, але заволодіти твердинею вдалося лише під час третього штурму в 1651 році. Після цього замок залишався напівзруйнованим на протязі наступних 10 років. Новий власник Будзанова з 1672 р., Томаш Лужецький, відбудува та укріпив фортецю, зважаючи на можливий наступу турків, що вторглися в Україну.

В 1765 році турецька армія захопила та зруйнувала замок. Коли турки покинули Україну, замок вже не відновлювався, а власник, на той час Будзанова, Євстахій Потоцький розпочав будівництво костелу на території замку. Фасадна частина костелу і апсида розмістилися на місці північної та західної оборонних веж замку, каміння яких використали для будівництва храму. Вхід в храм завершив високий фронтон. Аспиду прикрасили пілястрами.

В 1817 році, новий власник Будзанова Бобровский, передав замок у вічне користування місцевій об’єднаній католицькій парафії. Частина приміщень почала використовуватися під житло священника. В 1846 році будзанівський ксьондз Кульчицький заснував в замку монастир Сестер Милосердя (klasztor SS. Miłosierdzia), та прибудував до східного замкового муру житлові приміщення для монашок. Монашки відкрили в монастирі школу для дітей та лікарню. Замок-монастир було сильно зруйновано під час Першої світової війни. Після Другої світової війни, в 1956 році, монастир був відновлений, та запрацював як психіатрична лікарня. Лікарня діє тут і досі (2010р.) в східній частині замку.

Південне крило фортеці ще на початку ХХ століття збереглося, хоча і в стані руїни, але до нашого часу не дійшло. До наших днів збереглися дві круглі оборонні вежі з двома ярусами бійниць, а також частково замкові мури та житлові приміщення , що прилягають до мурів з внутрішньої сторони дитинця.  Біля замку і зараз помітні сліди оборонних валів.