ベトナムでのオフショア開発を行うバイタリフィでは、AIを活用した感情認識技術の研究に力を入れております。

今回は、画像から感情認識ができるソフトウェア開発キット(SDK)の確認用デモアプリである『Face Emotion』を バイタリフィ社員で体験してみました。
こちらのデモアプリは、AppStore でも Google Playでも無料でダウンロードできますので、ぜひ皆さまお試しください。

1. Face Emotionとは?

画像を入力すると画像内の表情を認識し、表情ごとの感情を数値化して出力できるAIモデルを組み込んだ簡易的なデモアプリです。
通信不要、スタンドアローン型で動作し、iOS/Androidアプリに組み込み可能なSDKとして提供もしております。

今回、この感情認識AIモデルを組み込んだ簡易的なデモアプリを使ってAIモデルの性能を試してみました。
以下、アプリのホーム画面になります。

AI アプリ 感情認識

その場で写真撮影をするかスマホ内の写真を選択すると、写真に写っている顔の領域を自動的に認識し、その領域をタップすることでその表情の感情を数値化して確認することができます。

数値化できる感情(表情)としては、現状、以下の5つです。

普通(真顔)
嬉しい
悲しい
怒り
驚き

合計1.000(=100%)中それぞれ何%の割合で表情が含まれているかを数値として表示します。

2. 日本人(女性)の顔で試してみた

まずは、このデモアプリを使って、私(日本人女性)の顔で試してみました。
写真を選択(撮影)すると、AIが顔の領域を自動認識して、顔だと判別されるところが緑色の四角で囲まれます。
真顔 緑

緑の四角の部分を選択すると、数値計測される部分が赤色の四角に変わり、下の部分に数値が表示されます。
真顔 赤

こちらは写真を見ても普通(真顔)であり、数値の結果(普通0.527が一番高い値)を見ても普通だと認識されていますね。

以下、その他の嬉しい・悲しい・怒り・驚きの表情を演技してみた結果になります。

嬉しい顔:嬉しい0.999
嬉しい 赤

悲しい顔:悲しい0.293(一番高いのは、普通0.433)
悲しい

怒りの顔:怒り0.907
怒り

驚きの顔:驚き0.073(一番高いのは、怒り0.854)
驚き

驚きのAI認識精度がまだまだなのか、それとも私の演技力が足りなかったのが原因か?(驚きの顔ができなかった・・・。何回か挑戦したのですが、全然演技できなかった。)

3. 日本人(男性)の顔で試してみた

次に、演技者の性別が変わると、デモアプリの結果が変わるのかについても検証してみました。バイタリフィ演技大会開始ー!!!

今回は、私と同じ営業統括部の谷川さんに協力していただきました!

普通の顔:普通0.620
普通 谷川

嬉しい顔:嬉しい0.999
嬉しい 谷川

悲しい顔:悲しい0.106(一番高いのは、普通0.724)
悲しい 谷川

怒りの顔:怒り0.805
怒り 谷川

驚きの顔:驚き0.221(一番高いのは、嬉しい0.766)
驚き 谷川

悲しい顔のつもりが数値上では普通の顔に・・・。驚いた顔のつもりが数値上では嬉しい顔に・・・。
デモアプリの仕様では、微妙な誤差が出るようです。(徐々にアップデートはしていく予定)

4. ベトナム人(男性)の顔で試してみた

お国柄が変わるとデモアプリの結果が変わるのかについても検証してみました。バイタリフィでは多くのベトナム人社員が働いています。今回Tuanさんに協力していただきました!
さて、Tuanさんの演技力はいかに・・・!

普通の顔:普通0.000(一番高いのは、嬉しい0.995)
嬉しい トゥアンさん

「真顔、普通の顔して~」って声かけたのですが、終始ニコニコされており、結果普通の値は0(笑) 普通の顔が笑顔なのは、ある意味とても素晴らしいことなのですけどね・・・

嬉しい顔:嬉しい0.922
嬉しい

悲しい顔:悲しい0.542
悲しい

怒りの顔:怒り0.976
怒り

驚きの顔:驚き0.390(一番高いのは、嬉しい0.498)
驚き

谷川さんの時も同様でしたが、やはり「驚き」と「嬉しい」/「悲しい」と「普通」の表情の選別がAIでも難しいようです。(もっとも演技が下手だったという可能性はありますが・・・)

5. おまけ;弊社キャラクターがやってみた

ちなみに弊社キャラクターの顔では認識されませんでした。
キャラクター
これはある意味このAIが正しく人間の顔だけを判別、認識しているとも言えます。

6. 今後について

AIを使い、感情認識をして、面接や接客評価に利用できる『MAL Visualize Emotion』をリリースしました。詳しくは以下をご覧ください。

面接や接客評価に利用できる『MAL Visualize Emotion』~AIで顔感情を数値化し推移を確認~

7. Face Emotionに興味を持ったらバイタリフィへ


AI開発ならば、AI感情認識にも強いバイタリフィにお任せください!

contact-or500

バイタリフィバイタリフィアアジアでは、「自社サービスにAIを導入したい」「AIを導入し自社の効率化・コスト課題を改善したい」という様々なご要望に対応できます。

「業務へのAI導入を検討しているが、何からすれば良いんだろう?」  そんな事業戦略担当者様には、まずは、AIモデルを作ってみて精度や効果を確認ができる』サービスもございますので、お気軽にご相談ください。