du solltest sicher mal LinearDrag und AngularDrag auf 0 setzen. Hast du das schon gemacht?

Wie hast du dein Material definiert?

Und probiers mal mit einem Terrain!