ゲームパッドのカメラ左右操作の入力値をモデルとカメラとの距離情報にも割り当てて、カメラ回転の時はカメラがモデルから離れてTPS視点に変わります。
こうすることにより、カメラ回転中は回転する背景ではなく、固定されたモデルの背中を見ることになるので、VR酔いをかなり抑止できると思います。

関連、参考記事：
VR酔い防止に向けて。これまで登場したVRでの酔わない移動方法のアイデアまとめ。
http://www.moguravr.com/against-vr-nausea/