Что будет с моими зданиями в замке при смене фракции?

Ничего. Когда Вы смените фракцию обратно, все здания будут на месте. Постройки из старого замка не переносятся в новый.