ウェブカメラを用いた視線追跡の検証調査

Listen Podcast summary

Podcast Full

AI-generated audio — it may contain mistakes.

0:00

–:––

1×

iMotions社のウェブカメラ型アイトラッキングシステム「WebET 3.0」が、世界中の参加者を対象に、実際のオンライン環境下でどのように大規模な検証試験を受けたのかをご紹介します。

当社のすべてのリモートデータ収集機能の全面的なアップデートに加え、初の完全ブラウザベースのヒューマンインサイトプラットフォーム「iMotions Online」のリリースを控え、ウェブカメラベースのアイトラッキングアルゴリズム「WebET 3.0」の最新版をリリースいたします。これに伴い、iMotions史上最大規模となる検証研究、ひいてはウェブカメラベースのアイトラッキング分野においても最大規模となる検証研究を実施し、本アルゴリズムの性能を検証することにしました。  

この記事では、検証研究の結果について解説し、人口統計学的属性、照明条件、接続の問題、および関心領域（AOI）内における精度を検証します。この記事をお読みいただければ、当社の独自開発のウェブカメラ用アイトラッキングアルゴリズムやiMotions Onlineにご関心をお持ちの方々は、本ソフトウェアの精度についてより深くご理解いただけるはずです。

引用および出典資料に関する注記。

この記事の一部は、こちらからご覧いただけるウェブカメラによる視線追跡検証レポートからの抜粋であり、その他の部分は、こちらからダウンロードできるウェブカメラによる視線追跡に関するホワイトペーパーからの抜粋です。  

方法論、データ収集、および結果

私たちは、世界中のユーザーにとって極めて重要であると認識している5つの疑問に答え、ウェブカメラを活用したアイトラッキング機能を通じてユーザーがどのような価値を得られるかを明らかにすることを目指しました。このセクションでは、調査の進め方、データの収集方法、そして収集したデータから得られた知見について解説します。

研究の目的と方法論

私たちが可能な限り大規模な検証研究を行うことに固執したのには、いくつかの理由がありました。もちろん最も重要なのは、ウェブカメラによるアイトラッキングの精度を確認することでしたが、それだけではありませんでした。

私たちは、アルゴリズムのバイアス（特に人間中心の手法ではよくある落とし穴）を排除し、世界中で利用可能なアルゴリズム、ひいてはプラットフォームを確実にリリースしたいと考えました。 そのため、私たちは、人種、性別、年齢、さらには眼鏡の着用やひげの有無といった要素を含め、真にグローバルかつ代表的な参加者グループを対象にアルゴリズムの検証を行いました。これらはすべて、多くのWebベースのアイトラッキングアルゴリズムにおいて、データ収集プロセスに支障をきたす可能性のある要因です。  

遠隔データ収集プロセス

合計35日間の実施期間を経て本調査を終了した時点で、255名の参加者からデータを収集していました。当社のクライアントの大多数がオンラインで参加者を募集する際に行っている手法を模倣するため、自社の外部メーリングリストや地域をターゲットにしたメール、および有料パネルプロバイダーであるProlificを通じてデータを収集しました。 

実際に調査への参加を促す過程を通じて、データ収集プロセスについて興味深い知見が得られました。これは、遠隔でのデータ収集を計画している方々にとって参考になるかもしれません。まず第一に、調査への回答を参加者の善意に委ねると、大多数の参加者が調査を完了する前に途中で離脱してしまうことがわかりました。

月刊ニュースレターを通じて第1弾の調査参加案内を配信したところ、調査を中断する割合が参加する割合の2倍に達しました。その後、アジアおよび中央アジアの特定の地域層を対象にメールでのアプローチを試みたところ、効果は向上しましたが、それでもなお中断率は高いままでした。最終的に、有料パネルプロバイダーのProlificを利用することに決め、その結果、世界中のあらゆる層を網羅するという目標を達成することができました。    

したがって、このプロセスの結果は、私たちにとって特に目新しいものではありませんでした。クライアントからのフィードバックによれば、調査の中途離脱や、それに伴う過剰な被験者募集は、遠隔データ収集において避けられない現実であり、受け入れて準備しておく必要があるとのことでした。意外だったのは、その離脱率がこれほど高かったという点です。

私たちは、ニュースレターに登録してくれた人々は、この分野への関心から調査にも進んで参加してくれるだろうと考えていました。しかし実際には、調査にやりがいを感じられなかったり、何らかの形で報われなかったりすれば、参加者が継続する動機は生まれません。だからこそ、参加者に報酬を支払ったところ、必要なデータをすべて収集することができたのです。   

検証試験の結果

このセクションでは、前述した検証研究の質問項目に関する結果について解説します。本記事では主な結果のみを掲載します。報告書全文をご覧になりたい方は、こちらからダウンロードしてください。 

質問1 – WebET 3.0で収集されたデータセットの精度分布はどのようなものですか？ 

前述の通り、アイトラッキングの検証は、完全にとは言わないまでも、主に精度に関するものです。精度検証の観点から、我々は許容可能なデータの上限として、精度（DVA）5.5度という厳格な基準値を設定することにしました。 5.5 DVA未満のデータはすべて「正確なデータ」とみなされました。当社のホワイトペーパーに基づき、ウェブカメラを用いたアイトラッキングをご利用のすべてのお客様に対して、これが一般的な推奨値となります。これは、参加者の大多数がこのカットオフ値を大幅に下回ると予想されるためです。

収集された255名の参加者のうち、235名（92%）が5.5 DVAの閾値を下回っていました。さらに、70%にあたる179名の参加者が3.0 DVAを下回っていました。この精度レベルは非常に満足のいくものであり、iMotionsのウェブカメラによるアイトラッキング機能が業界の最先端技術であることを確固たるものとしています。

質問2 – 個人変数や人口統計学的変数は精度に影響を与えるか？ 

この検証研究のもう一つの重要な目的は、アルゴリズムの精度が、主要な人口統計学的変数のリスト全体において同等に有効であるかどうかを確認することでした。具体的には、人種、性別、年齢、瞳の色、ひげの有無、眼鏡の着用有無などの変数です。 

これらすべてのパラメータにおいて高い精度を確保することは極めて重要です。なぜなら、それがウェブカメラベースのアイトラッキングアルゴリズムを、肌の色、瞳の色、年齢、性別を問わず、世界中で活用できるかどうかを左右するからです。また、これらのパラメータは、被験者集団において常に前述の変数のいくつかが混在する環境で作業することが多いユーザーにとっても極めて重要です。 

データ分析を終えた結果、我々のアルゴリズムが人口統計学的変数にかかわらず、その精度を維持していることが明らかになった。要するに、本研究のような大規模なサンプルを用いた調査では、参加者の自己申告による人種、瞳の色、ひげの有無、性別、年齢といった要因による有意な差異は見られなかった。 

調査の精度に影響を与えた唯一の要因は、参加者が眼鏡をかけていたかどうかでした。これは、眼鏡の厚みや、データ収集中に周囲の光や画面の光が眼鏡に反射することで、虹彩の正確な識別を妨げる可能性があったためと考えられます。したがって、ウェブカメラを用いたアイトラッキングを行う際には、参加者が眼鏡をかけているかどうかを考慮すべき要素となるでしょう。

質問3 – 照明は精度にどの程度の影響を与えますか？

リモートデータ収集における課題の一つは、管理された実験室環境のように、参加者の直近の環境を制御できない点にあります。WebET 3.0が統合されているiMotions Onlineを通じて配信されるすべての調査には、座り方、コンピューターへの向き、および参加者が座っている部屋の照明の調整方法に関する事前説明が付属しています。

たとえ指示が詳細かつ簡潔で、分かりやすいものであったとしても、実際にはオンラインで実施された調査を完全に管理したり、やり直したりすることはできず、得られた結果に基づいて対応せざるを得ない場合がほとんどです。最悪の場合、参加者が不適切な環境下で調査を行ったと判断された場合、データをすべて削除しなければならない可能性もあります。

私たちにとって重要なのは、オンライン調査を作成し、参加者に配布する際に研究者やデータ収集者が直面する不確実性のいくつかを、当社のアルゴリズムが解消できるかどうかを検証することでした。分析の結果、自己申告による照明条件が異なる環境下で回答した参加者間において、回答の正確性に有意な差は見られませんでした。 

ただし、これは「照明が重要ではない」という意味ではないことに留意する必要があります。照明や室内の環境に関するデータは、すべて自己申告によるものでした。つまり、実際の照明状況については、間接的な情報しか得られていないことになります。さらに、調査中に屋外にいたと報告した参加者は1名のみであり、このデータは分析から除外されました。そのため、屋内と屋外の照明条件がアイトラッキングの精度に影響を与えるかどうかについては、断定できません。 

質問4 – 精度は時間の経過とともにどのように変化しますか？

オンラインでデータを収集する際のもう一つの不確定要素は、参加者が調査に回答する実際のプロセスであり、これには「遅延」の影響が生じる可能性があります。ここでいう「遅延」とは、調査に研究者が想定していたよりも時間がかかってしまうあらゆる技術的な要因を指します。私たちは、アンケート、GIF、画像、動画で構成され、所要時間が10分未満となるタスクを設計しました。調査の所要時間や刺激の組み合わせは、現在iMotionsのクライアントの多くが採用している標準的なものです。

データを詳しく分析したところ、発生した遅延は参加者側のインターネット接続に起因するものであるようです。特に、12秒または19秒の動画を視聴するのに25秒以上かかった参加者（予定より5秒長くかかった場合）において顕著でした。確かに一部の参加者にはインターネットの遅延問題が見られましたが、これらの問題は研究の精度に重大な影響を与えるものではありませんでした。 

グローバルな研究を実施する際には、遅延の問題が生じることは想定内ですが、人的要因を念頭に置くことが重要です。どのような問題であれ、研究体験に影響を及ぼす恐れがあり、参加者の遵守率を低下させたり、落ち着きのなさや移動、あるいは研究の中途離脱につながる可能性があります。  

質問5 – その精度は、AOIの使用においてどのように反映されるのでしょうか？  

測定精度において不可欠な要素の一つは、画面上の特定の箇所への注視を検知する能力です。これを再現するために、画面上の9か所にグリッド状に配置した猫のGIF画像を使用しました。各実験で個々のGIF画像が画面に表示されることで、注視の精度を評価することができました。 

本研究のデータから、視線の固定が検出できる参加者の数は画面の中央で最も多く、画面の下隅に向かって減少することが判明した。同様に、研究の進行に伴い、視線を特定できず、したがって分類できなかった参加者の割合が増加した。

これはおそらく、参加者がユーザー体験に不満を感じている場合、研究の進行に伴い参加者の遵守度が低下するためです。そのため、研究の中途放棄や、完了した研究における正確性の問題を避けるために、研究期間はできるだけ短くすることをお勧めします。  

結論

収集したデータと分析結果には、大変満足しています。私たちは、総合的な精度において業界水準を上回り、かつ人口統計学的要因の影響を受けないアルゴリズムを開発しました。これは、iMotionsのリモートデータ収集機能を利用するユーザーが、人口統計学的背景を問わず一貫した精度で動作するため、代表的なデータが十分に得られないというリスクを心配することなく、世界中の参加者に安心してプラットフォームを適用できることを証明しています。