Во времена Великой Отечественной Войны Старое Гарколово сначала оказалось на переднем крае военных действий, а затем попало в оккупацию.
И, хотя специально башню Дибича
не разрушали, прекрасный шедевр Штакеншнейдера стал жертвой
военных действий.
Постепенно Забалканское поместье стало приходить в запустение. Разрушился замок. Остались небольшая дубовая аллейка, местами мощеная дорожка, и сама башня, от которой узкая тропинка ведет вниз, к заливу. Башня Дибича скрыта кронами деревьев и с моря уже не видна.