フェイスモーションを自動化できないかと

AIのclaudeさんと壁打ちしながら作成してみました。
アラばかりですがなんとなくできたので進捗です。

AIさんが出力したモーションファイルをそのまま
再生してます。（一切ては加えてません。

コンセプトは動画または音源からMMD表情を自動作成

やっていることは
①動画からフェイスモーションの取得
②それに合わせた頭・首の自動モーション生成
　※なんとなくいい感じに動けみたいになってる
③口パクは動画から参照するとほとんどとれない為
　→音源から歌詞の文字起こし
　→文字起こしから英語はそのままで漢字ひらがなをカタカナ変換して
　　母音（あいうえお）を取得
　→空白期間は口を閉じる
　※本当はフォルマントで声の伸びとかをとりたかったけど
　　まだ実装できてない
　　
＜壁打ち＞
動画及び音源からデータ取得
タイムススタンプで母音の位置を指定
VMDに変換
モーション入れてテスト

をひたすら繰り返す日々でした。
AIさんは無料で使える量が決まってるので
5時間の待ち時間が一日何度も発生して
なかなか進まなかった。。。

-Credits-
全ての制作者様に感謝いたします。

---原曲
宇多田ヒカル - First Love / THE FIRST TAKE
https://youtu.be/iBUV7dxGhno?si=Q8HSSy7EtnNdP3bI

ステージ：KEOKEO様　EDMFS6 CrossPink V1.2　im10620831
　モデル：つかさ様　つかさ式らいす　td79471　　　　

　　　　　　
effect:サンドマン様　物理ベースシェーダsdPBR Ver. 4.80 sm43948524
針金P様　PowerDOF・WorkingFloorAL
そぼろ様　AutoLuminous・ExcellentShadow
ikeno様　ジノク様　ikClut 改変
ましまし様　msEdgeChroma
おたもん様　o_Monochrome　https://okoneya.jp/mmd_files/　　　　

(敬称略・順不同)

この動画の無断転載を禁じます
Unauthorized reproduction prohibited.

#ライスシャワー
#MMD
#First Love