Das Problem ist nicht dein Code. Ich meine, es ist ja "schnell", wenn du die ausschaltest, oder nicht? Stencil Shadows an sich sind ganz cool, nur leider ziehen die viel Performance, sodass sie sich nur in bestimmten Situation eignen, aber keinesfalls für die komplette Szene. Soft shadow mapping ist da eindeutig die bessere Wahl, da es unabhängig von der geometry ist. Hast du mal den PSSM shader versucht?