現在、バイタリフィでは、AIを活用した感情認識技術の研究に力を入れております。

今回は、画像から感情認識ができるソフトウェア開発キット(SDK)の確認用デモアプリである『Face Emotion』を バイタリフィ社員で体験してみました。
こちらのデモアプリは、AppStore でも Google Playでも無料でダウンロードできますので、ぜひ皆さまお試しください。

1. 感情認識AIデモアプリ『Face Emotion』とは

画像を入力すると画像内の表情を認識し、表情ごとの感情を数値化して出力できる感情認識AIモデルを組み込んだ簡易的なデモアプリです。
通信不要、スタンドアローン型で動作し、iOS/Androidアプリに組み込み可能なSDKとして提供もしております。

今回、この感情認識AIモデルを組み込んだ簡易的なデモアプリを使ってAIモデルの性能を試してみました。以下、感情認識AIデモアプリ『Face Emotion』のホーム画面になります。

AI アプリ 感情認識

その場で写真撮影をするかスマホ内の写真を選択すると、写真に写っている顔の領域を自動的に認識し、その領域をタップすることでその表情の感情を数値化して感情認識することができます。

感情認識し、数値化できる感情(表情)としては、現状、以下の5つです。

普通(真顔)
嬉しい
悲しい
怒り
驚き

合計1.000(=100%)中それぞれ何%の割合で表情が含まれているかを数値として表示します。

2. 日本人(女性)の顔でもAIは感情認識できるのか

まずは、このデモアプリを使って、私(日本人女性)の顔で感情認識できるかどうか試してみました。
写真を選択(撮影)すると、AIが顔の領域を自動認識して、顔だと判別されるところが緑色の四角で囲まれます。
AI アプリ 感情認識

緑の四角の部分を選択すると、数値計測される部分が赤色の四角に変わり、下の部分に数値が表示されます。
AI アプリ 感情認識

こちらは写真を見ても普通(真顔)であり、数値の結果(普通0.527が一番高い値)を見ても普通だと感情認識されていますね。

以下、その他の嬉しい・悲しい・怒り・驚きの表情を演技してみた結果になります。5つの表情をしっかりと感情認識できるのでしょうか。

嬉しい顔:嬉しい0.999
AI アプリ 感情認識

悲しい顔:悲しい0.293(一番高いのは、普通0.433)
AI アプリ 感情認識

怒りの顔:怒り0.907
AI アプリ 感情認識

驚きの顔:驚き0.073(一番高いのは、怒り0.854)
AI アプリ 感情認識

驚きのAI認識精度がまだまだなのか、それとも私の演技力が足りなかったのが原因か?(驚きの顔ができなかった・・・。何回か挑戦したのですが、全然演技できなかった。)

3. 日本人(男性)の顔でもAIは感情認識できるのか

次に、演技者の性別が変わると、性別によって感情認識精度(デモアプリの結果)が変わるのかについても検証してみました。バイタリフィ演技大会開始ー!!!

今回は、私と同じ営業統括部の谷川さんに協力していただきました!

普通の顔:普通0.620
AI アプリ 感情認識

嬉しい顔:嬉しい0.999
AI アプリ 感情認識

悲しい顔:悲しい0.106(一番高いのは、普通0.724)
AI アプリ 感情認識

怒りの顔:怒り0.805
AI アプリ 感情認識

驚きの顔:驚き0.221(一番高いのは、嬉しい0.766)
AI アプリ 感情認識

悲しい顔のつもりが数値上では普通の顔に・・・。驚いた顔のつもりが数値上では嬉しい顔に・・・。
デモアプリの仕様では、微妙な誤差が出るようです。(もっと感情認識の精度が高まるように徐々にアップデートはしていく予定です。)

4. ベトナム人(男性)の顔でもAIは感情認識できるのか

お国柄が変わると感情認識精度(デモアプリの結果)が変わるのかについても検証してみました。バイタリフィでは多くのベトナム人社員が働いています。今回Tuanさんに協力していただきました!
さて、Tuanさんの演技力はいかに・・・!

普通の顔:普通0.000(一番高いのは、嬉しい0.995)
AI アプリ 感情認識

「真顔、普通の顔して~」って声かけたのですが、終始ニコニコされており、結果普通の値は0(笑) 普通の顔が笑顔なのは、ある意味とても素晴らしいことなのですけどね・・・

嬉しい顔:嬉しい0.922
AI アプリ 感情認識

悲しい顔:悲しい0.542
AI アプリ 感情認識

怒りの顔:怒り0.976
AI アプリ 感情認識

驚きの顔:驚き0.390(一番高いのは、嬉しい0.498)
AI アプリ 感情認識

谷川さんの時も同様でしたが、やはり「驚き」と「嬉しい」/「悲しい」と「普通」の表情の選別がAIでも難しいようです。(もっとも演技が下手だったという可能性はありますが・・・)

5. おまけ;弊社キャラクターでもAIは感情認識できるのか

ちなみに弊社キャラクターの顔では認識されませんでした。
AI アプリ 感情認識
これはある意味このAIが正しく人間の顔だけを判別、認識しているとも言えます。

6. 今後の弊社の感情認識AI開発について

AIを使い、感情認識をして、面接や接客評価に利用できる『MAL Visualize Emotion』をリリースしました。詳しくは以下をご覧ください。

面接や接客評価に利用できる『MAL Visualize Emotion』~AIで顔感情を数値化し推移を確認~

7. 感情認識AIデモアプリ『Face Emotion』に興味を持ったらバイタリフィへ

AI アプリ 感情認識
AI開発ならば、AI感情認識にも強いバイタリフィにお任せください!

contact-or500

バイタリフィバイタリフィアジアでは、「自社サービスにAIを導入したい」「AIを導入し自社の効率化・コスト課題を改善したい」という様々なご要望に対応できます。

「業務へのAI導入を検討しているが、何からすれば良いんだろう?」  そんな事業戦略担当者様には、まずは、AIモデルを作ってみて精度や効果を確認ができる』サービスもございますので、お気軽にご相談ください。

感情認識AIの関連記事

面接や接客評価に利用できる『MAL Visualize Emotion』~AIで顔感情を数値化し推移を確認~

まだAI導入してないの?無料の実現可能性の検証から始めよう!FirstPoCとは

▼AI で画像から感情認識できるソフトウェア開発キット 『MAL Face Emotion』を徹底調査