自動AOIによる視線追跡の精度向上：研究者向けのベストプラクティス

自動AOI（自動関心領域）は、動画フレーム間で対象物を効率的に追跡することで、アイトラッキング分析を簡素化します。本ガイドでは、対象物の選択、動きに関する考慮事項、追跡精度など、自動AOIを活用するための5つのベストプラクティスを解説します。アイトラッキング調査において、正確かつ効率的なデータ収集を実現するための自動AOIアルゴリズムの最適化に関する専門家の知見を参考に、研究の質を向上させましょう。

自動関心領域（Auto AOI）の概要

関心領域（AOI）は、アイトラッキングにおける最も重要な分析ツールであり、研究者はこれを利用して眼球運動を定量データに変換し、特定の対象物に対する視覚的注意に関する研究課題への回答や仮説の検証を行うことができる。 

静止画の場合、AOIの作成は、対象となる物体の輪郭を描くだけの簡単な作業です。一方、動画の場合、有意義なデータを得るためには、研究者が多くのフレームに手動でAOIを設定する必要があり、作業が煩雑になりがちです。この分析ステップにかかる時間を短縮するための手法の一つが、AOIの描画プロセスを自動化するもので、これは「自動AOI」と呼ばれることもあります。

自動AOIはどのように機能するのでしょうか？

自動AOIアルゴリズムが対象物を追跡し、それに合わせてAOIを作成する主なアプローチには、2つの方法があります。それぞれの方法には、長所と限界があります。 

自動化されたAOI：分類器アプローチ

自動AOI抽出における分類器アプローチでは、アルゴリズムを「車」や「人」といったさまざまな種類の物体を検出するように学習させます。このアルゴリズムは動画のフレームを分析し、学習対象となった分類に含まれる物体を特定します。その後、アルゴリズムは次のフレームに進み、再び物体を検出します（これを繰り返します）。その過程で、アルゴリズムは各フレームにおいて物体の周囲にAOIを描画します。 

分類器を用いたアプローチは、対象物がアルゴリズムが「認識している」クラスに含まれている場合、高い精度を発揮します。また、複数の対象物を同時に追跡する場合にも有効です。この手法の有効性はアルゴリズムによって異なります。場合によっては、研究者が特に注目するクラスについてアルゴリズムを学習させることで、対象物の検出精度を極めて高めることもあります。

つまり、あるアルゴリズムは映像フレーム内にどのような種類の車が含まれているかを認識できる一方で、別のアルゴリズムは単に「車である」と認識するだけの場合もあるということです。アルゴリズムによって認識できるクラスの数は異なり、20クラスから数万クラスまで幅があります。いずれの場合も、分類器アプローチは、各クラスにどのようなオブジェクトが含まれているかによって制約を受けます。 

自動化されたAOI：トラッカー方式

iMotionsのAutoAOIツールは、革新的なトラッカー技術を用いてAOIの自動検出を行います。対象物が含まれる動画フレーム（入力フレーム）を選択し、数回のクリックで対象物を定義すると、そのフレームにポイントが追加されます。

当社のアルゴリズムは、ユーザーが指定したポイントを用いて対象物を解析し、その上にマスクを作成します（ソフトウェア上では、対象物の上に黄色のハイライトとして表示されます）。このアルゴリズムは、フレームごとにユーザーが定義した対象物を追跡し、そのマスクに一致するAOIを自動的に作成します。この手法は特定のクラスに限定されるものではなく、ポイントで定義できるほぼあらゆる種類の対象物を解析することが可能です。

当社のAutoAOIに対するトラッカー方式では、クラスによる制限を受けません。このアルゴリズムは、入力フレームのピクセル情報を利用して、どのピクセルが対象物の一部であり、どのピクセルがそうでないかを判断するため、ほぼあらゆる対象物を追跡することが可能です。

背景とのコントラスト、視覚的な境界線、および前後のフレームにおける対象物の位置といった情報は、アルゴリズムが対象物の位置を特定するのに役立ちます。当社のアルゴリズムは自然な動きに基づいて学習されており、対象物が何であるかを知らなくても、前のフレームからの情報を活用して、フレームごとにその境界線を推定し続けます。 

他の手法と同様、このツールにも限界はありますが、その限界を克服し、ツールを最大限に活用するための対処法があります。このブログでは、トラッカー方式を用いた当社のAutoAOIツールを活用するための、5つのベストプラクティスをご紹介します。 

---

AutoAOIを使用する際の5つの重要なポイント

1. 対象の選択 

トラッカー方式はクラスに制限されないため、ほぼあらゆる移動物体に対して機能します。「ほぼあらゆる」と表現するのは、人間が物体を捉える方法と、アルゴリズムが物体を理解する方法には違いがあるからです。分類器方式のクラスに含まれる物体のほとんど（すべてではないにしても）は、トラッカー方式でも機能します。なぜなら、どちらも動画フレーム内のピクセル情報を利用しているからです。

境界がはっきりしているオブジェクトを選んでください。  

自分のオブジェクトがAutoAOIでうまく機能するかどうかを知りたい場合は、入力フレーム内のそのオブジェクトを簡単にトレースできるかどうかを考えてみてください。もし他の人にそのオブジェクトの輪郭を描いてもらった場合、その輪郭はほぼ一致するでしょうか、それともオブジェクトの境界が多少曖昧な部分があるでしょうか？

例：刺激映像の中に歩いている人物がいて、その人物の手だけを追跡したい場合を想像してみてください。複数の人物がその手をトレースしようとすると、手首の境界線は指の輪郭ほど明確にはなりません。しかし、その人物が、腕の他の部分や背景と対照的な色の手袋を着用していたり、長袖を着ていたりすれば、腕の他の部分との境界が明確になるため、追跡の精度が大幅に向上します。

自動AOIは、動画フレーム内の他の部分とはっきりとした境界線で区切られているオブジェクトに対して、より効果的に機能します。つまり、そのオブジェクトが背景やフレーム内の他のオブジェクトから容易に区別できるかどうかが重要です。通常、アルゴリズムの認識能力は人間の目よりも優れているわけではないことを念頭に置いてください。もし動画を見ていて、オブジェクトの境界が判別しにくい場合（ぼやけていたり、画像が暗かったりするため）、アルゴリズムも同様に認識に苦労することになります。  

手に取りやすいものを選んでください。 

自動AOI（AutoAOI）とトラッカー方式は、形状が明確な物体に対しては非常に有効です（分類器方式も同様です）。しかし、いずれの手法も、概念的な境界を持つ物体に対してはうまく機能しません。

例： 

例えば、参加者がアイトラッキング用メガネを装着して車を運転する実験を行い、死角の確認に関連する行動を分析したいとしましょう。 

AutoAOI を使用すれば、死角にある物体を追跡できるほか、車周辺のさまざまなミラーも追跡可能です。AutoAOI は「死角」という概念そのものを追跡することはできません。なぜなら、死角とは、明確な視覚的な境界がなく、手で触れることのできない空間だからです。前述のルールと同様に、もし異なる人々が動画上の死角の輪郭を描こうとしたとしても、その輪郭は互いに大きく異なってしまうでしょう。 

一度に1つのオブジェクトを選んでください。 

AutoAOIは異なるオブジェクトごとに設定でき、分析を同時に実行することも可能ですが、各実行は1つのオブジェクトのみを対象とします。AutoAOIはオブジェクトのグループを対象とするものではありません。 

例えば、自動AOI（自動領域抽出）では、鳥の群れや魚の群れ、飛行機の編隊を追跡するのは困難です。渡りをするガチョウは明らかな「V」の字形を作ることがありますが、このアルゴリズムは鳥同士を「点と点をつなぐ」ようにして「V」の形を作り出すことはできません。 

知っておくと便利な情報： 

• 1つの対象を追跡することも、いくつかの個体を別々に追跡してみることもできます。研究によると、人間の目は物体の集団の中心に焦点を合わせることでその集団全体を追跡する傾向があることがわかっています。したがって、集団の中心に特定の個体がいる場合は、それらの個体の一部を追跡し、後でデータを集計してみるのも良いでしょう。 
• ほとんどの分類器アプローチは、アルゴリズムが特にそのように訓練されていない限り、個人の集団を追跡することにも苦労するだろう。 

ユニークなオブジェクトを選んでください。 

同じシーン内の他のオブジェクトとほぼ同じ形状のオブジェクトであっても、それらが互いに交差しない限り、追跡することは可能です。先の鳥の群れの例と同様に、群れの中の数羽の鳥を追跡することは、それらが互いに交差し始めない限り問題ありません。 当社のAutoAOIツールは、交通の流れの中を縫うように走行し、他の車の後ろに隠れたり視界に再び現れたりする車の追跡についてもテスト済みです。これは、通常、その車が道路上の他の車とは十分に異なるため、うまく機能します。当社のAutoAOIツールは「車」という分類に限定されないため、お客様の車は独自の特徴に基づいて他の車と区別することができます。 

ビデオゲームに登場するNPC（ノンプレイヤーキャラクター）は、外見が非常に似ていることが多く、AutoAOIは個々のキャラクターを追跡する際に優れた性能を発揮します。あるNPCが別のNPCの前を横切ると、アルゴリズムは、前のフレームで追跡していたのがどちらのNPCだったかを推測しなければなりません。 

知っておくと便利な情報： 

• キャラクターが完全に一致しない場合は、アルゴリズムによって生成されたマスクが、そのキャラクターの特徴的な部分を確実に覆っているか確認してください。NPCの頭上には、アイコンや体力ゲージ、パワーメーターなどが表示されていることがあります。これらをマスクに含めてみて、AutoAOIの精度が向上するかどうか試してみてください。 
• さらに、複数の入力フレームを使用して、どのフレームが対象物であるかをアルゴリズムに指定することもできます。対象物が交差した後は、別の入力フレームを作成し、対象物をマークしてください。 
• 分類器を用いたアプローチにも同様の課題が生じますが、類似したオブジェクトを区別できるほどクラスが十分に具体的であるか、また、こうした動きに対応できるよう学習されているかによって、その課題がより顕著になる場合もあります。

2. 動きや変化を考慮する

AOIの描画プロセスを自動化することで、被験者が動いている場合の視線追跡データの分析が最適化されます。動きの種類や速度がAutoAOIsなどのツールにどのような影響を与えるかを理解することが重要です。

その動きは「自然な」ものなのでしょうか？

AutoAOIモジュールを支えるアルゴリズムは、自然な動きに基づいて学習されており、推定を行う際に前後のフレームからの情報を考慮します。AutoAOIは、視覚刺激の上を横切る物体や、視聴者に向かって近づいたり遠ざかったりする際に大きくなったり小さくなったりする物体に対して、高い精度を発揮します。さらに、物体が回転したり反転したりする場合でも、その動きを追跡することができます。

このアルゴリズムは、画面外に出たり他のオブジェクトの後ろに隠れたりして一時的に見えなくなったオブジェクトが、再び現れた際に、その外観が消失時の状態と類似している限り、追跡します。ただし、動画がデジタル処理によって不自然に「滑らかに」加工されており、フレームごとにオブジェクトのマスクを作成することが困難な場合など、不自然な動きをするオブジェクトについては、アルゴリズムが正確に追跡できないことがあります。

その物体がどれほど速く変化するかを考えてみてください 

自動AOIは、形状や色が劇的に変化する場合でも、その変化が数フレームにわたって起こる限り、適切に処理できます。しかし、劇的な変化がフレームレートや動画の再生速度よりも速く起こる場合、アルゴリズムは前のフレームから対象物を認識するのに苦労します。同じ理由で、照明の瞬間的な変化や影の突然の出現も、問題を引き起こす可能性があります。 

知っておくと便利な情報：トラッキング画面

• 例：画面を持つ物体（携帯電話、コンピュータの画面、タブレットなど）を追跡する場合、それらの画面上の画像は瞬時に変化することがあります。この変化は動画のフレームレートよりも速く、物体に含まれるピクセルの大部分が変化します。物体の全体的な形状は変わらないものの、物体を構成するピクセルの大部分は変化します。

自動AOI（AutoAOI）の場合、一つの解決策として複数のインスタンスを使用する方法があります。オブジェクトが画面外から再表示されたり、外観が劇的に変化したりするたびに、入力フレームを作成し、その状態が維持される時間範囲を定義します。状態が変化した際は、その状態をカバーする時間範囲を定義した新しい入力フレームを作成します（必要に応じてこの手順を繰り返します）。これにより、1つのオブジェクトとして扱われつつも複数の処理が実行されるため、こうしたケースへの対応がより適切になります。

3. オブジェクトを定義するためのポイントの配置

トラッカー方式の大きな利点の一つは、対象物をクリックするだけで、その対象物を定義できることです。ポイントを適切に配置すれば、マスクはその対象物全体を、かつ対象物のみを覆うようになります。 

まず、対象物の中央にポイントを配置し、マスクから何が欠けているかを確認します。対象物を定義する上で重要だと考える部分にポイントを配置してください。対象物が時間の経過とともにどのように変化するかを考慮してください。対象物が劇的に変化する場合は、変化しない部分にも必ずポイントを配置するようにしてください。  

例：歩いている人物を追跡したい場合は、まず胴体と頭の位置から設定します。次に、最も動きやすい手足にマーカーを追加します。その人物が、シーン内の他の人物とは異なる特徴的な帽子をかぶっている場合は、その帽子もマーカーの対象に含めてください。 

「少ないほど良い」。 

オブジェクトの定義は、数回クリックするだけで完了します。多くのオブジェクトは、2～3つのポイントで定義できます。もしオブジェクトを定義するのに多くのポイントが必要だと感じる場合は、そのオブジェクトがよりよく見える別のフレームがないか検討してみてください。 

ヒント：iMotionsのAutoAOIツールでは、初期マスクがオブジェクトの境界からはみ出している場合、Controlキーを押しながらクリックすることで、オブジェクトに含まれない部分を指定することもできます。 

4. 適切な入力フレームを選ぶ

好奇心旺盛なダイバーから逃れるカモフラージュ中のタコを追跡したところ、1本の動画の中で2回も色、大きさ、質感を一変させている様子が確認できました。AutoAOIは問題なく処理できました。入力フレームを慎重に選択していなければ、これは不可能だったでしょう。 

理想的な入力フレームは解像度が高く、対象物がはっきりと確認できるものです。通常、対象物を定義するには1フレームで十分ですが、対象物の状態が大きく変化する場合は、複数の入力フレームを使用してみてください。対象物の「姿」ごとに、適切なフレームを選んでください。例えば、タコを追跡する際には、色や質感ごとに1フレームずつ、計3つのフレームを使用しました。 

また、入力フレームを複数設定しても改善されない場合は、同じオブジェクトに複数のインスタンスを作成することで問題が解決することがよくあります（前述のスクリーン処理されたオブジェクトの例で説明しました）。私たちは、マリオのカートがクエスチョンブロックを通り抜け、排気管から炎を噴き出しながらランプを飛び立つ様子を追跡しました。その後、カートは宙返りをし、カートの上部にグライダーが開きました。着地すると、グライダーは収納され、マリオはレースを続けました。 

この例では、複数の入力フレームやインスタンス（例えば、グライダーがあるものとないものなど）を用意しておくと便利です。 また、グライダーを別のAutoAOIとして設定することも可能です。操作は数クリック追加するだけで済み、カート用のAutoAOIと並行して実行できますが、これにより新たな分析が可能になります。グライダーが存在する場合、被験者がカートとグライダーのどちらをどのくらいの時間見ていたかを簡単に比較できます。この手法を用いれば、これらのデータを組み合わせる柔軟性も維持できます。 

5. 常にAOIを確認してください

AutoAOIを使用すれば、動くオブジェクトの周囲にAOIを追加する作業を大幅に自動化できますが、どの方法を使用する場合でも、AOIが意図した通りに設定されているか必ず確認する必要があります。 録画や動画の一部で、他の部分ほどうまく機能しない箇所があり、別の解決策（追加の入力フレームやAutoAOI解析など）が必要になる場合があります。そのような場合でも、AOIの自動配置により、ユーザーは解析にかかる時間を大幅に短縮できます。