32MB ist , würde ich mal behaupten VIEL zu viel. Dies kommt sehr wahrscheinlich durch nutzung mehrere Hochauflösender Skins auf einem Model. Probiere einfach mal aus , wie de FPS sich verhält wenn du die Gebäude mit nur einem oder zwei Skins austattest.
Wenn die FPS nahe zu konstant bleibt, weisste wieso deine FPS so stark absinkt.

cYa Sebastian