2023年3月6日

ネット調査の結果を安易に信用してはいけない理由

インターネット調査が日本に登場してきたのは2000年の頃だったから、もう四半世紀近くになる。

面接法や郵送法といった従来の方法に比べて早く、そして安価にデータ収集ができることで急速に利用者が増えてきた。

その一方で、インターネット調査ならではの問題点も指摘されてきた。たとえば、デジタル・デバイドと呼ばれる、ネット利用者ならではの特性を指摘したものなどがそうだ。完全にその問題が解決したとは思えないが、今ではこれだけインターネット利用が一般になると、属性の点では大きな問題点ではなくなったように思う。

いま、深刻な問題として指摘しておきたいのが被験者(調査会社の登録モニター)の質と行動である。

ある研究者が、ネット調査で被験者である登録モニターが真面目に回答をしているのかどうか調べた。実際の調査会社に依頼してアンケート調査を行った際に、「でたらめ回答」(いい加減回答と呼ばれたり、省力回答とも呼ばれる)を検出する設問を織り込んだ。すると、設問文に目を通してさえいれば絶対に間違えない選択肢を間違えた回答者が16%いた。

およそ6人に1人の割合である。でたらめに回答したが、たまたま正しい選択肢に「当たった」というのもある。すると、実際のでたらめ回答者率はおよそ20%、つまり5人に1人といったところか。

本来こんな精度では調査になっていないのは明らかだ。

設問に目を通すことすらせずいい加減に回答するのは、それでもらえるポイントなどの報酬目当てのモニター登録者だ。目的はそれだから設問など読みもせず、でたらめに答える。しかも1人でいくつものアカウントを持っていたりする。

https://www.nira.or.jp/paper/research-report/2022/23.html
https://www.nira.or.jp/paper/article/2021/wp01.html

ここまで「調査会社」と書いたが、世の中で「インターネット調査を格安で行えます」として商売しているのは、自分たちは本格的な調査などやったことがない業者が多い。調査をする、というより登録モニターからの回答データが集められるツールを提供しているだけ。

どうやって回答を集めているのかという実査は、外からは完全なブラックボックス。ちゃんと実施されているのだろうと信用するしかない。

調査会社とは呼べないこうしたシステム業者すらも「調査会社」と受け取られている点にも問題がある。個人的な感覚ではあるが、日本社会は全般的に調査リテラシーが欧米に比べて格段に低い。

GIGO(Garbage In, Garbage Out)という言葉の通り、ゴミを入力したらゴミな結果しか出てこない。バイアスのある収集データを基にした分析結果をもとに意思決定をすれば、何ごとも失敗へ向かって進む。 

インターネット以前からしっかりとした調査を行ってきている伝統的な調査機関のなかには、手間をかけて不正モニターや不正回答を排除していくなど手を施しているところもある。

しかし、そうした(面倒だが必須の)対応を取ろうとしない企業が単に「安さ」と「早さ」を訴求し、ビジネスとして伸びていく。 逆選択である。

中身がよく見えないだけに、調査する人たちには注意が必要だ。本来は関係の業界団体が問題意識をもって対応策をとるべきなのだろう。ただその現状を日本マーケティング・リサーチ協会という調査会社の業界団体にヒアリングしたところ、何も手つかず。そもそも意識が低くてお粗末な限り。

結果、業界内で良貨が悪貨に駆逐されるという事態が起こっている。

利用者からその信頼性が一目でわかる、調査会社についての「認証制度」のようなものが求められる。