Юридические вопросы реконструкции старого сельского дома

Добрый день. Подскажите юридически.

Деревенский дом. Скотный двор – это забор соседа. На схеме серым. У всех в деревне одинаково – так было принято строить. Дом 60 годов.

Хочу сделать реконструкцию. Идут в архитектурный надзор своего сельского поселения.

Отвечают - двор реконструировать нельзя, потому что сейчас надо отступать. Только сносить. Да и вообще ваш двор нам не интересен, нам нужен только рисунок реконструкции дома.

Но мне кажется, они неправильно трактуют закон. Ведь реконструкция – это перестройка старого строения, на которое не могут распространяться новые градостроительные нормы.

Надстройку мансарды они согласовать готовы, а вот двор –нет. Но двор под одной крышей с домом, и часть дома. Подскажите, как лучше поступить в таком случае?