導入事例インタビュー

unibo(ユニボ)を活用した笑顔コミュニケーションによる
独居高齢者認知症予防の研究

≪ 公立大学法人 公立はこだて未来大学 様 インタビュー

公立大学法人 公立はこだて未来大学様が、独居高齢者の認知症を予防する研究で、unibo(ユニボ)を活用されました。
ユーザーの表情から笑顔度を測定し、笑顔度に応じて、unibo(ユニボ)がユーザーの笑顔を誘発させる仕組みを作り、実験が行われました。研究の結果、ロボットとのコミュニケーションにより、ユーザーの会話や笑顔を誘発できることがわかりました。
今回は、実際に研究をされた、公立はこだて未来大学の寺嶋郁子さん、藤野雄一教授へのインタビューをご紹介します。


【インタビューにご協力してくださった方】
公立大学法人 公立はこだて未来大学
システム情報科学部 情報アーキテクチャ学科 藤野雄一教授
2022年度 藤野佐藤研究室所属 寺嶋郁子さん

今回の研究でunibo(ユニボ)に搭載した機能

※寺嶋さんの論文から参照

 ▶ 笑顔度計測
3Dカメラを設置し、ユーザーの顔の表情を立体的に解析することで笑顔度を計測します。
 ▶ ランダム割り当て
ユニボと過ごす1日の中で、クイズや、体操などの機能をunibo(ユニボ)にランダムに割り当てます。 笑顔に特化していない機能を追加することで、笑顔を誘発させる際と比較して評価する目的で搭載されています。
 ▶ 笑顔度表示
unibo(ユニボ)のディスプレイに笑顔度を表示させます。
 ▶ 笑顔誘発モード
笑顔度が目標値を下回った際に、unibo(ユニボ)がダジャレや小話でユーザーの笑いを誘発させます。

卒業研究の全体のスケジュールについて

――卒業研究の全体のスケジュールを教えてください

寺嶋郁子さん(以下、寺嶋さん):最初に、2021年3月末~6月まで、研究テーマを検討しました。その後、6月~12月まで開発と実験を行ないました。そこから開発や実験と並行して、12月末~翌年1月末まで卒論を執筆していました。最後に、卒論発表を2月の初め頃に行いました。

研究テーマ・内容が決まるまでの流れ

――今回の研究テーマ・内容が決まるまでの流れを教えてください

寺嶋さん :藤野佐藤研究室に仮配属された時の2021年3月末頃からテーマを検討し始め、論文を読みあさり興味のあるところを掘り下げていきました。最終的に研究テーマが決まったのは、2021年6月頃になりました。 元々、高齢者支援系の研究がしたいなと思っており、藤野佐藤研究室に希望を出しました。高齢者施設で職員として働いている母から、仕事が大変であると話を聞いており、ITの分野で、自分が学んできたことを活用して何かできないかなと思ったことが、今回の研究テーマを決めたきっかけです。

藤野佐藤研究室に配属になり、高齢者支援や、コミュニケーションロボットなど、色々調べていくうちに、認知症の発見する際、顔を見分けられるかどうかという論文を見ました。それから、顔の表情を使って何かできるんじゃないかな、と思い始めました。論文の中に出てくる「笑顔」に着目してみて、さらに調べてみたところ、「笑顔」に色々な効果があるということがわかりました。 さらに認知症予防として「笑顔」が良いということがわかったので、コミュニケーションロボットを使って実験しようと思い研究を始めました。
認知症予防として「笑顔」が良いということがわかりましたので、コミュニケーションロボットを使った研究を始めました。
▶ 藤野佐藤研究室の研究分野

藤野佐藤研究室では、高齢者向けの病気予防や生活支援等の研究をしています。 現在、高齢者支援に限らず、医療をITで支援するということを大きなテーマとして掲げ、細胞診スクリーニングや遠隔医療に加え、ロボットとのコミュニケーションによる、認知症の前段階の発見や、認知症の進行を抑止する研究を行っています。

購入を検討したロボットについて

――研究を進める上で、購入を検討したロボットはunibo(ユニボ)の他にございますか?

寺嶋さん:他社のコミュニケーションロボットも検討しました。 その中でディスプレイがついているのがunibo(ユニボ)でした。 更に遠隔地とのコミュニケーションも組み込みができ、ライブ連携も可能という点からユニボを選びました。

藤野雄一教授(以下、藤野教授):研究で使用するロボットは実は2台目で、最初は他社のロボットを使っていました。 今回の研究では、表現の幅を増やすために、ディスプレイがついてるロボットが望ましいと考え、unibo(ユニボ)を選びました。

ロボットの選定

※寺嶋さんの論文から参照

unibo(ユニボ)を使用した実験について

――unibo(ユニボ)を使用した実験はどのような方法で行われましたか?

寺嶋さん:実験の期間は1週間くらいです。今回は高齢者実験ではなく、学生実験で行いました。対象者の人数は12人で、年齢は20代前半が中心ですね。

藤野教授:今まで、コミュニケーションロボットを使用した認知症予防などの研究は、高齢者施設に入所されている高齢者の方々にご協力いただいていました。ただ、この2年間はコロナの影響で、高齢者施設に入れませんでした。
今回の実験では、操作したり、笑顔を検出しながらの実験のため、実際に実験が可能となる学生を対象としました。学生を対象に笑うということに注目し、コミュニケーションとり、話をしながら笑う回数を見ていく学生実験を行いました。



――実験でunibo(ユニボ)と触れた方の反応を教えてください

寺嶋さん:unibo(ユニボ)とのコミュニケーションの印象ですが、思ったより会話が多くて、すごくかわいいという声もありました。 また、ダジャレを言ったり、クスって笑うシーンもたくさんあり、好印象でした。

開発について

――今回の研究でunibo(ユニボ)に搭載した機能は、どのようにして開発されましたか?

寺嶋さん :Skillcreatorを使用してプログラミングしました。 顔認識のための3Dカメラは、何年か前の先輩が、既にそのカメラを使って研究されていました。そのおかげで、カメラを制御するためのミドルウェアのサンプルがいくつか用意されていましたので、そのサンプルを改変していく方法でなんとか開発できました。

▶ Skillcreator(スキルクリエイター)とは

unibo(ユニボ)を動かすための直感的にご利用いただけるソフトウェア開発キット

 ◎専用ソフトのインストールは不要、ユニボとPC(Webブラウザ)があれば開発可能
 ◎基本操作は3ステップ、直感的な操作画面UIであり、小学生でも利用可能、プログラミング経験不要
 ◎発展的な開発としてJavascriptでコードも記述可能、[http request]node等を使うと外部データとの連携も可能

▶ ミドルウェアとは

Windows等のOSよりも複雑な処理が行える、ソフトウェアの一種。
今回の例では、ミドルウェアの活用により、カメラで取得したデータの解析や、サーバーとのやり取りが可能となる。

研究を進めていく上で、悩んだこと

――研究を進めていく上で、悩んだこと、躓いたことはありますか?

寺嶋さん :今回の研究テーマを決めるまで、結構悩みました。 コミュニケーションロボットを使った研究や、認知症予防のための研究は既に色々あったので、どこに新規性を出していくかという点でかなり悩みました。

テーマを決めた後は、ユニボの他に、「Nuitrack」という3Dカメラを購入しました。 笑顔を認識させるためにこのカメラを購入したのですが、顔認識の機能や、笑顔度をロボットに出力させるための通信が中々上手くいかず、プログラムの作成にかなりの時間がかかってしまいました。

また、笑顔度については、今回の研究に合わせて独自で定義する必要があり、この笑顔度の定義の方法でも悩みました。
▶「笑顔度」の定義

顔認識をして、例えば口角の上がり具合を認識して「笑顔」と判定します。
笑顔の測定で使用した「Nuitrack」は、画面から顔のパーツを認識して4つにカテゴライズ(Happiness、Sad、Angry、Neutral)します。
今回の実験では「Happiness」という状況を感知した場合、コミュニケーションの間でどれくらいの頻度で出てきたかを測りました。

unibo(ユニボ)について

――unibo(ユニボ)を利用して感じた、unibo(ユニボ)の良い点、改善点を教えてください

寺嶋さん:まず良い点は、見た目がかわいく愛くるしいことや、手や顔が動くことです。また、Skillcreatorはとても使いやすく、小さい子供や初心者でも使い方を覚えたら、プログラミングできる位なので、カスタマイズしやすい部分では、とても良いと思います。SSMLとか(プログラムの)どこに記述してよいのかわからなくて、困った時もありましたが、基本的なモードを使って繋げてプログラミングする方法はとても使いやすかったです。

一方気になる点は、音声認識と顔認識の精度がもうちょっと高かったらいいな、と思いました。小話や、落語や、歌うなど、色々な機能がありましたが、さらに既存のものを組み込めるようなシステムだったらもっと良かったと思います。動画の組み込み(※)がうまく出来なかったので、その点も改善できれば良いなと思いました。

 ※unibo(ユニボ)の動画再生の仕様としては、MP4、AVI、MOV、WMVのファイル形式で再生可能


Skillcreatorはとても使いやすく、小さい子供や初心者でも使い方を覚えたら、プログラミングできる位なので、カスタマイズしやすい部分で、とても良いと思います。

藤野教授 :unibo(ユニボ)の機能の中に、小話などあったと思いますが、APIとしてそういう小話をこちらのタイミングで会話の中に差し込んでコミュニケーションを取るというのが難しかったです。結局、小話をテキスト化して、対応することがありました。
高齢者のコミュニケーション環境という意味では、ロボットによるコミュニケーションのニーズは絶対これからあると思うので、色々な機能が欲しいです。その際に、ユニボの持つ色々な機能を効率的に使っていきたいと思っています。

高齢者のコミュニケーション環境という意味では、ロボットによるコミュニケーションのニーズは絶対これからあると思います。

卒業後について

――卒業後はどのようなお仕事をされていますか?

寺嶋さん :函館のIT企業でエンジニアとして働いています。今年の4月に入社して2か月経ち、ちょうど研修が終わったところです。Skillcreatorを使ったことで、基本的なプログラミングの考え方や、全体の流れの感覚が掴めたので、その点を今後に生かせていけたらと思います。

今後の研究について

――今後は、unibo(ユニボ)を用いてどのような方向性で研究を進めていくご予定ですか?

藤野教授 :高齢者の傾聴支援をしたいと考えています。 傾聴というのは高齢者の方々に話をしてもらい、聞く役目の人たちで、高齢のボランティアの人が、40分~1時間弱ぐらい一緒に話すという取組みです。 それを人ではなくロボットで出来ないかということを今少し考えています。
また、認知症予防は、私たちの研究室の一つのテーマなので、unibo(ユニボ)の機能を汎用化させて、デバイスに依存しない形で、会話のきっかけや、笑顔を出してもらえるようなプログラムの開発も、これから手掛けていきたいですね。

インタビューにご協力いただき、ありがとうございました。

寺嶋さんの卒業研究の詳細は こちら

公立はこだて未来大学様のホームページはこちら

当社へのご相談、お問合せにつきましては以下よりご連絡ください。

お問い合わせはこちら