オンライン調査における不誠実な回答を排除する

不正な調査回答者を適切に排除できない場合、調査、ブランディング、および／またはマーケティング活動が誤った方向に進み、時間、コスト、労力の無駄につながる恐れがあります。サウスフロリダ大学の研究者らは、iMotionsを用いて回答者の表情を分析し、「不正な回答者」の兆候を探りました。

研究事例

デジタル化の進展に伴い、人間の行動に関する調査がオンライン上で行われるケースがますます増えています。その結果、オンライン調査の普及は、研究者にとって消費者のインサイトを得るための、待望の新たな手段やツールを提供しています。新ブランドや新製品、新サービスを市場に投入する際には、調査の実施が不可欠であり、現在では多くの企業がこれを達成するためにオンライン調査を活用しています。

特にオンライン調査がこれほど重視されている以上、その人気から想像されるほど、それらは万全で、あらゆる場面に適用できるものなのだろうか。サウスフロリダ大学のロバート・ハモンド教授、クラウディア・パルヴァンタ教授、ラヘル・ゼメン教授は、最近の論文でこの問題を真剣に検討した。その中で彼らは、報酬付きのオンライン調査には「点滅する警告灯」が必要であると指摘している。なぜなら、誰が回答しているのか、決して分からないからだ。それとも、分かっているのだろうか？

この研究グループがこのテーマにたどり着いたのは、公共広告（PSA）が禁煙意欲に与える影響を調査していた際の、予期せぬ副産物として間接的にだった。彼らは州の保健局から助成金を受け、PSAに対する視聴者の反応を評価する手段として、いち早く表情分析を試みることにした。 この「副次的な」研究において、彼らは結果に虚偽のデータが含まれた場合の悪影響を分析し、その研究を通じて、調査参加者を区別するために表情や注意力を調査することで、いかにしてデータの妥当性を最大限に高めるかについて、貴重な助言を提供してくれた。

「不正な回答者」を排除することは、単に良い慣行であるだけでなく、極めて重要です。不正な回答者を適切に排除できなければ、調査、ブランディング、および／またはマーケティング活動が誤った方向に進み、時間、コスト、労力の無駄につながる恐れがあります。そのため、回答に「不注意」な回答者や、意図的に調査への参加資格を偽っている回答者を特定し、排除するためのツールを備えておくことが非常に重要なのです。

オンライン調査の信頼性に関する「問題点」

毎日、何千人もの誠実な人々がオンラインアンケートに回答していることでしょう。したがって、著者たちがこの手法を用いた意見収集そのものを非難しているわけではないことを明記しておくことが重要です。しかし、回答者への報酬が調査担当者から直接支払われ、かつアンケートのリンクがインターネット上に流出してしまうと、個人や集団が報酬目当てにアンケートに回答することを防ぐための安全策が不十分になってしまいます。 一般的な調査手法では、研究者は、調査に回答する人物が研究で求める基準を満たしていると信じるしかありません。[後述するように、審査済みのパネルを利用する場合、これが事実である可能性は高くなります。] 著者らの研究の場合、対象は当該州に居住し、タバコを使用する18歳以上の成人とされていました。

著者らが、その基準を全く満たしていない個人からの何百ものデータポイントを含めなかったのは、表情分析を用いたためである。

調査研究――公共広告の有効性に関する認識

公共サービス広告に関する調査の一環として、研究チームは予定されたアンケート調査を実施し、2つのグループから回答を得ました。まず、「地域社会」のメンバーにアンケートを送付しました。これらの参加者は、キャンパス内および近隣地域で配布されたデジタルチラシに応募し、その後、参加に対する謝礼として20ドル分のギフトカードが贈られる旨が記載されたメールを受け取りました。 地域社会や近隣住民向けのチラシに掲載された調査リンクは、当初の想定範囲を超えて拡散され、やがて「ネット上」で拡散されてしまいました。その結果、金銭的な報酬を得ようとしたと思われる、いわゆる「悪意のある回答者」数名がそのリンクを入手してしまいました。2つ目の回答者グループは、商業的なパネルプロバイダーが運営する、審査済みのパネルを通じて募集されました。

すべての回答者は、タバコの使用をテーマとした3つの異なる公共広告（PSA）を視聴する様子を録画され、その後、PSAの効果を評価するための尺度質問に回答するよう求められた。 地域住民と選抜されたパネル参加者の有効性の違いを区別するために、主に「注意力」と「表情」の2つの指標が用いられた。これらはいずれもiMotionsソフトウェアを用いて分析された。注意力とは、iMotions（Affectiva）が頭部の位置（ピッチ、ヨー、ロール）に基づいて提供する指標であり、20の顔面動作単位（FAU）はiMotions（Affectiva）の出力値である。

その後、研究者らは出力データに対して統計的な分析（すなわち回帰分析）を行った。唇を曲げる、ニヤリと笑う、頬を膨らませるといった表情の変化は、参加者の意図やその時の関心の向きを示している。これらの測定結果に基づき、参加者は「欺瞞的」「無関心」「誠実」の3つのカテゴリーのいずれかに分類された。

これら3つのカテゴリーは映像分析によって定義され、その後、結果を予測する能力を検証するためにFAU（注意指標）が分析された。「関心がある」と分類された参加者は、注意を払い、すべての注意チェックに正しく回答し、有効な結果を残した。まさに理想的な参加者だ！「関心がない」参加者は集中力を欠き、視線をそらしたり、実験中に休憩を取ったりするため、無効なデータにつながる。「不正行為者」の参加者は、例えば、自分の顔を写真に置き換えたり、部屋を暗くして姿が見えないようにしたりすることがある。

全体の結果

結果は以下の通りであった。一般参加者のうち、58%が不誠実な回答をし、誠実な回答はわずか42%にとどまった。一方、パネルの参加者では、87%という高い割合で誠実な回答が得られ、不誠実な回答は11%、無関心な回答は2%であった。

コミュニティのサンプル数は、パネルの409名に対して92名と、パネルよりもはるかに少なくなった。

表情分析から何がわかったのでしょうか？

カメラを使って参加者の表情を追跡することで、研究者たちは、どの参加者が有効なデータを提供し、どの参加者がそうでないかをより正確に特定できるようになりました。例えば、実験中にカメラに向かってニヤリと笑う参加者は、85%の確率で不正行為を行っており、その結果、無効なデータが得られていることが判明しています。また、平均よりも回答に時間がかかる参加者の中で、単に処理が遅いだけの人と、気が散っていて不正確な回答をしている人を区別するのにも役立っています。 オンライン調査における表情分析は、よりクリーンなデータセットの取得や、虚偽の回答がどこから生じているのかを特定するのに役立つ可能性があります。

オンライン調査の参加者はどこから募集すればよいでしょうか？

もちろん、「どの参加者募集方法が『最良』か」という問いに対して、一概に答えられるものではありません。予算や時間などの制約を個々の研究者や研究チームが抱えている状況を踏まえ、前述の参加者募集チャネルの長所と短所を比較検討するのは、各研究者や研究チーム次第です。

前述の通り、適切な参加者募集チャネルを選択する際は、ケースバイケースで検討する必要があります。審査済みパネルとコミュニティ募集の双方には、それぞれメリットがあります。審査済みパネルは、回答者がアンケートへの回答に慣れているため、通常、より信頼性の高いデータが得られると考えられています。一方、コミュニティ募集は、より迅速かつ低コストな選択肢であり、自発的に参加し現金報酬を受け取る人々を通じて、より高いエンゲージメントが得られることが期待されます。

一方で、どちらのチャネルにも考慮すべき欠点があります。一方では、審査済みのパネルから募集した参加者からの回答は、注意力が低下しているリスクがあり、その結果、一部の回答の信頼性が低下する可能性があります。 他方、コミュニティチャネルから募集した回答者に関しては、報酬付き調査のリンクが流出してしまったため、対象とする大学や近隣地域のサンプルに属さない多くの人々が回答してしまっており、「管理された」サンプルを確保することがより困難になる可能性があります。20ドルの報酬は非常に魅力的であり、不適切な動機を持つ参加者を惹きつけ、虚偽の回答を増やす恐れがあります。

この調査についてさらに詳しく知りたい方や、調査結果や統計データを詳しく確認したい方は、こちらから記事全文をご覧いただけます。