自分の顔を観察する開発

VTuberアバターを作る過程で、自分の顔をじっくり観察することになりました。

鏡代わりのカメラ

開発中、カメラに映る自分の顔のメッシュデータを見ています。
目の周りは緑の線、顔の輪郭は青い線、唇は赤い線。
自分の顔がワイヤーフレームになって映し出される。

「あ」と言いながら画面を見ると、口が大きく開いて赤い線が丸くなる。
「う」と言うと、赤い線がキュッと小さくなる。

「あいうえお」は全部違う

当たり前のことなんですが、「あいうえお」は全部口の形が違います。
それを改めて数値で見ると面白い。

「あ」は縦にも横にも大きく開く。
「い」は横に広がるけど縦はあまり開かない。
「う」と「お」はどちらもすぼまるけど、「お」の方が口の中が見える。

この微妙な違いをコンピュータに正しく伝えるのが意外と難しい。

「自分の普通」は人それぞれ

開発していて気づいたのは、口の動き方には個人差が大きいということです。

私の「あ」と他の人の「あ」は数値が全然違う。
だから「最初に自分のあいうえおを教えてください」という仕組みが必要になります。

これは口の動きに限った話ではないのかもしれません。
「自分の普通」は他の人にとっての普通ではない。
だからこそ、その人のやり方に合わせる柔軟さが大切なんだと思いました。

「う」と「閉じ」は似ている

キャリブレーション機能を作って試してみたら、新しい発見がありました。
「う」と口を閉じた状態が、コンピュータにとっては驚くほど似ているということです。

どちらも口がほとんど開いていない。
唇を前に突き出すかどうかの微妙な違い。
人間にとっては全然違うのに、数値にすると差が小さい。

完璧じゃなくても、「あ」と「う」が区別できるだけで表情は豊かになります。
100点を目指すより、60点を確実に出すこと。
それを積み重ねていくことが大事なのかもしれません。

かなえ

個人開発を応援する非エンジニア

婚約破棄をきっかけに、29歳で未婚の母になると決めました。
不安と向き合いながら、10年かけて働き方を少しずつ作り変えてきた40代です。

AppSheetやGASを独学で覚え、いまはAIを使った個人開発を毎日続けています。
個人開発を応援する非エンジニアとして、等身大の試行錯誤や、子育て・自立・副業のことを、正直に記録しています。