2020年8月4日火曜日

[OculusQuest] The dolls room2 ver2.0 開発記 20200804

次なる野望は、お人形さんをしゃべらせること!ということで1週間格闘してようやく形になったかなぁ。
結局はOculus Lipsync Unity Integration で音声と口の動きをリップシンクさせました。
それだけだと口だけがパクパクしてさみしいので、Webカメラで顔の動き+目のまばたきをOpenCV + DlibFaceLandmarkDetectorで撮影しながら、Unity Recorderでアニメーションを作成しました。
作成したアニメーションはそのままだとうまく反映できなかった(体の動きが変だった)ので、棒立ちのアニメーションとマージさせて何とか形に。
結構めんどくさいなぁ・・・
ちなみに音声は「VOICEROID」を使ってみましたが、思ったよりいい感じでした。