Die Anzahl der Modelle im Level sollten eigendlich nicht die Frage sein, sondern wieviele Modelle man gleichzeitig sehen kann.

Manchmal ist es nicht das Modell, sondern die daran hängende Action, die die Probleme macht. Z.B Shader Initialisierung bei jedem Frame und jedem Modell, häufige scans, etc.
Wie hast Du die Shader eingebunden?
Warum benötigst Du für ein Modell mit 476 Faces 3 Texturen?
Erfordert der Shader dies?