結局はOculus Lipsync Unity Integration で音声と口の動きをリップシンクさせました。
それだけだと口だけがパクパクしてさみしいので、Webカメラで顔の動き+目のまばたきをOpenCV + DlibFaceLandmarkDetectorで撮影しながら、Unity Recorderでアニメーションを作成しました。
作成したアニメーションはそのままだとうまく反映できなかった(体の動きが変だった)ので、棒立ちのアニメーションとマージさせて何とか形に。
結構めんどくさいなぁ・・・
ちなみに音声は「VOICEROID」を使ってみましたが、思ったよりいい感じでした。