VTuber_Unity

原文章:https://github.com/kwea123/VTuber_Unity?tab=readme-ov-file

---

Vtuber實作

主要流程 1.偵測臉部特徵點----Python
2.將結果傳至Unity上----C#
3.將結果反應到人物上和UI設計

偵測臉部特徵點

臉部特徵偵測分為三步驟
‧找到人臉
‧偵測特徵點
‧偵測姿勢

• ‧找到人臉: https://github.com/yinguobing/head-pose-estimation
  
• ‧偵測特徵點: https://github.com/1adrianb/face-alignment
  
  
• ‧偵測姿勢: https://github.com/jerryhouuu/Face-Yaw-Roll-Pitch-from-Pose-Estimation-using-OpenCV
  簡單來說就是將臉部特徵偵測到的68個點，由2D座標轉3D標，得到roll、pitch、yaw三個參數
  
  

2.將結果傳至Unity上

• 利用TCP協定
  ** Python-客服端-rpy ⮕ Unity-伺服器-port
  傳送參數後Unity會執行C#程式碼，來讓我們人物的皮動起來

將結果反應到人物上和UI設計