インターネット調査における省力回答者に関する一考察

社会調査における「サティスファイサー」（satisficer、省力回答者）の問題

　2000年代以降のインターネットの急速な普及に伴い、商業目的・学術目的のインターネット調査が数多く行われるようになっている。一般的なインターネット調査では、回答者が調査会社に登録する「モニター制」であることがほとんどである。調査会社に登録した「モニター」たちには、多くの場合、アンケート調査の概要と報酬が提示されたページリンクが配信され、任意の時間・場所でアンケートに回答することができる。

　インターネット調査は、従来の面接調査や郵送調査と比較して、安価かつ回収スピードも速く、既に分野によっては中核的な調査法として確立したといえよう（吉村，2020）。

　しかし、調査実施者が明らかにしたい内容によっては、インターネット調査のデータがバイアスを含んでおり、分析や解釈に注意が必要であることは既に指摘されている（大隅，2008）。

　その問題の1つとして、調査回答者における「サティスファイサー」（satisficer、省力回答者）の存在がある。サティスファイサーとは、アンケート調査において、質問文を注意深く読まず、労力を最小限化（satisfice）するような行動（回答）をする者を指す（三浦・小林，2018）。このような回答者が調査回答データに紛れ込む問題について、近年、日本においては、三浦・小林の一連の研究（三浦・小林，2015a；2015b；2016a；2016b；2018；Miura and Kobayashi, 2019）が詳しい検討を行っている。

　このようなサティスファイサーをどのように検出するのか。調査回答時間などで判別する方法も考えられるが（埴淵・村中・安藤，2015）、ここでは、調査質問にサティスファイサーを検出する質問、つまり「トラップ質問」を組み込む形式を取り上げる。先行研究では、特にIMC（Instructional Manipulation Check）とDQS（Directed Questions Scale）という形式が多く取り上げられている。前者は、Oppenheimer et al. (2009) が開発した尺度で、回答者には長いリード文を提示し、その最後に重要な指示をする（例えば、長文の最後に「それはともかく、私たちは皆さんが質問文を注意深く読んでいるかどうかにも関心があります。この質問にはあなたのご意見とは関係なく、選択肢2を選んでください。」と指示するなど）という、質問文を精読しているかを判断する形式のものである（注1）。後者はManiaci and Rogge (2014) の開発した尺度で、質問の中に回答者に短めの指示を与える（例えば、同じ回答形式の質問が連続する中に「この質問では選択肢2を選んでください。」という項目を入れる）ものを設定し、指示通りの回答を行うかどうかを試す形式のものを指す。

　NIRA総合研究開発機構では、2021年4月に無作為抽出に基づく面接調査とモニター型インターネット調査を同時実施しており、インターネット調査では、サティスファイサーを検出する質問を投入した。調査モードが異なる以外は、調査時期や質問項目をそろえた完全並行調査であることが特徴であり、本稿では、本調査で検出されたサティスファイサーの特徴を、先行研究との比較も交えつつ紹介する。

調査概要

　本プロジェクトでは独自に設計した3種の世論調査（面接調査とインターネット調査2社）をいずれも、実施開始日を2021年4月2日開始に揃え実施した。各調査の概要は図1のとおりである（注2）。

図1　本プロジェクトの調査概要

　面接調査は、電子住宅地図を用いた層化段無作為抽出により選ばれた調査対象者に、調査会社の面接員が対面で聴取したものである。インターネット調査は、性別と年齢層の分布が国勢調査と同じになるように回収目標数を指定した上で、調査会社の登録モニターに回答を依頼する形式であった。

分析と結果

　本プロジェクトの2つのインターネット調査では、同一のサティスファイサーを検出する質問を1問設けている。具体的には、7点尺度×10項目で構成されるパーソナリティ特性（TIPI-J）の質問（注3）の7番目に「この質問には、『おおよそ違うと思う』を選択してください。」と、回答を指定する項目を紛れ込ませた。これは、先に挙げたDQSと呼ばれる形式のサティスファイサー検出質問である。

　まず、この質問に指示通りの「おおよそ違うと思う」以外を選択したサティスファイサーは、調査会社Aで16.0%、調査会社Bで9.1%の回答者であった。以下の分析では、先行研究に倣い、指示以外の回答をしたグループを「違反群」、指示通りの回答を行ったグループを「遵守群」と呼ぶ。

サティスファイサーはどのような回答をするのか

　そもそも、第1節で説明した、調査におけるサティスファイサーたちは、どのような回答をするのだろうか。例として、本プロジェクトのインターネット調査の一部の回答状況を見てみる（図2）。示されている「Q5_1～Q5_11」の質問は、先に挙げたパーソナリティ特性を回答するものである。その中の、「Q5_7」がサティスファイサーを検出するDQS形式の質問で、「おおよそ違うと思う（選択肢番号は「2」であった）」以外を選択した回答者の中から7名を抽出した。回答者A～Gの名称は本稿での説明のため付したものであり、実際のデータにおける回答者IDとは関連しない。

図2　サティスファイサーの調査回答例

　回答者Aや回答者Eはほぼ全ての項目に「4」（「どちらでもない」）と回答している。この質問は7点尺度を採用しており、中間の選択肢に回答を付けたことがわかる。回答者Gも全ての項目に「1」（「全く違うと思う」）と回答しており、検出質問を含めて全ての質問に対して同じ選択肢を選択するのがサティスファイサーの典型的な回答パターンである（注4）。

　一方で、回答者Cや回答者Dは規則的な回答をしているように見えないが、共に選択肢3～5に回答が集中している（回答者Cは2と6を各1回選択）。マトリクス型の質問項目でカーソル（PCで回答した場合）または指（スマートフォンで回答した場合）を横方向に動かす手間を小さくしようとした結果、検出質問に違反回答をしたものと推測される。

パーソナリティ特性質問を用いた傾向の確認

　次に、違反群がサティスファイサー検出質問「だけ」に調査者の意図に反する回答をしたのではないことを示すため、違反群はパーソナリティ特性に関してどのような回答をしたのかを確認する。この分析は、三浦・小林（2018）の追試でもある。TIPI-Jによって測定される5つの心理傾向はそれぞれ2項目の質問により計測され、各ペアには負の相関がある（同じ心理的傾向を計測する項目について、片方の質問に「当てはまると思う」と答えた者は、もう片方の質問には「違うと思う」を選びやすい）ことが知られている（小塩ら，2012，p.44）。

　本プロジェクトのデータで同様の分析を行った結果が表1である。面接調査およびインターネット調査の遵守群においては、三浦・小林（2018）同様、各ペアには負の相関が確認される。一方で、いずれのインターネット調査データにおいても、違反群の回答における項目間の関連は、弱い正の相関を示した。このように、サティスファイサー検出質問以外でも違反群の回答は、想定されているものを正しく計測できていないことがわかる。

表1　調査別・TIPI-Jにおける項目間相関

基本的属性との関連と除外データとの分析結果の比較

　インターネット調査回答者のうち、違反群と遵守群の基本的属性に差異があるのかを検討してみる。表2は、違反群=1、遵守群=０として従属変数を設定し、独立変数に「女性ダミー」、「年齢」、「教育程度」、「既婚ダミー」、「無職ダミー」を投入したロジスティック回帰分析の結果（係数）である。性別、年齢、教育程度が有意であった。男性よりも女性ほど、年齢が高いほど、教育程度が高いほど違反者である確率は低まる（注5）。ただし、独立変数となった基本的属性も自己申告に基づくもので、そもそもサティスファイサーがこれらの質問に正直に回答したか定かではないことに注意が必要である。

表2　DQS質問に対する遵守／違反を従属変数としたロジスティック回帰分析

表3　「生活満足度」質問に対する回答分布の差異

　次に、サティスファイサーをデータに含むか否かによって、質問の回答分布が変わるのか見てみよう。表3は、「生活満足度」の質問に対する、各インターネット調査の回答分布を、サティスファイサーを含むデータと除外したデータ別に集計したものである。「どちらともいえない」という中間回答を選択する回答者の割合は、サティスファイサーを除外したデータでどちらも減少している。サティスファイサーが中間回答をしやすいという指摘と整合的である。

　最後に、従属変数に「暮らし向き」、独立変数に「女性ダミー」、「年齢」、「教育程度」、「既婚ダミー」、「死別ダミー」、「無職ダミー」、「パートダミー」、「自営ダミー」、「第1次産業従事ダミー」、「第2次産業従事ダミー」、「持ち家ダミー」、「5年前常住地ダミー」、各パーソナリティ変数を投入した回帰モデルを設定し（注6）、違反群データ、遵守群データ、違反群と遵守群の両方を含む全体データそれぞれで分析を行った場合、推定結果が変わるかについても見てみよう（表4）。

　遵守群においては、教育程度は暮らし向きと有意な関連を持たないのに対して、違反群、全体データにおいては、教育程度と暮らし向きは有意な正の関連を持っていることがわかる。また、パーソナリティ項目の「誠実性・勤勉性」については、遵守群では暮らし向きと負の関連（10%水準）を持つ一方、全体データではその傾向は見られなくなる（注7）。当該データで得られた変数から設定した回帰分析の例に過ぎないが、このように、サティスファイサーをデータに含めるか否かによって推定の結果は変わりうるのである。

表4　全体／遵守／違反データ別の回帰分析

おわりに

　近年、インターネット調査は、手軽に人々の意識や行動を捉えることのできる調査法として確固たる地位を獲得しつつある。しかしながら、インターネット調査では、調査実施者がその回答者を直接監視することが困難であり、また、多くの調査に応じて報酬を得ようとするあまり個々の質問文に注意を払わずに回答してしまうサティスファイサー（省力回答者）が無視できない程度に存在する。

　本稿でも、2021年現在において、調査会社によるモニターの管理がなされているにもかかわらず、なお一定の省力回答者の存在が確認された。そして、省力回答者を含んだままのデータは、先行研究が警告したのと同様に、分析段階においても問題となりうる、つまり分析結果の知見を毀損しかねないことを示唆するものであった。

　インターネット調査会社は、質問票にサティスファイサー検出質問を含めることに難色を示す場合がある。しかし、インターネット調査に取り入れることは、あらゆる意味で有用である。検出されたサティスファイサーをデータから取り除いて分析することはもちろん、検出質問で指示に従わなかった者には警告を提示するよう調査を設計すれば、警告文を見た違反者が、その後の調査では注意深く質問文を読んで回答する、つまり修正行動をとることも期待できる。

　一方、サティスファイサーの検出以前に、調査実施者は調査の質問形式や内容、画面設計にもより気を配る必要がある。例えば、マトリクス型の質問には1つの画面で多くの設問を行うことが可能であるが、これを多用すると回答者の負担は増加する（長崎・萩原，2017）。このように、調査者が省力回答者を誘発しかねない側面も存在するのである。調査の目的に従った、適切なボリュームの調査設計、事前回答テストなどによる検討と調整が肝要である。

引用を行う際には、以下を参考に出典の明記をお願いいたします。
（出典）大森翔子（2021）「インターネット調査における省力回答者に関する一考察」NIRA政策研究ノートvol.3

脚注
1 質問を考案したOppenheimer et al. (2009) で、IMC質問への高い違反率が指摘されている。しかし、この質問を用いて多くの省力回答者を除外することで、かえって検出力が低下し、分析結果に偏りが生じる可能性もあるため、IMCは調査における「不注意の指標」ではなく、調査の早い段階で回答者に注意力を促す方法として用いるべきであるとの指摘もある (Oppenheimer et al., 2009; Maniaci and Rogge, 2014) 。 1 質問を考案したOppenheimer et al. (2009) で、IMC質問への高い違反率が指摘されている。しかし、この質問を用いて多くの省力回答者を除外することで、かえって検出力が低下し、分析結果に偏りが生じる可能性もあるため、IMCは調査における「不注意の指標」ではなく、調査の早い段階で回答者に注意力を促す方法として用いるべきであるとの指摘もある (Oppenheimer et al., 2009; Maniaci and Rogge, 2014) 。
2 質問項目など、調査の詳細については大森（2021）を参照。 2 質問項目など、調査の詳細については大森（2021）を参照。
3 TIPI-Jは小塩ら（2012）による心理尺度であり、10項目によりビッグ・ファイブ（外向性・協調性・勤勉性・神経症傾向・開放性）を測定するものである。 3 TIPI-Jは小塩ら（2012）による心理尺度であり、10項目によりビッグ・ファイブ（外向性・協調性・勤勉性・神経症傾向・開放性）を測定するものである。
4 サティスファイサーのうち、この質問に対して全て同じ選択肢を回答した者は、インターネット調査2社それぞれのデータで32.9%、29.4％であった。 4 サティスファイサーのうち、この質問に対して全て同じ選択肢を回答した者は、インターネット調査2社それぞれのデータで32.9%、29.4％であった。
5 IMC質問への遵守と違反を従属変数とした三浦・小林（2016a）では、男性、高年齢、正社員の属性がそれぞれ違反しやすく、高橋ら（2017）では、一部の調査において女性、高年齢、子供なしの変数が、指示項目違反の低減と関連を持つことが報告されている。 5 IMC質問への遵守と違反を従属変数とした三浦・小林（2016a）では、男性、高年齢、正社員の属性がそれぞれ違反しやすく、高橋ら（2017）では、一部の調査において女性、高年齢、子供なしの変数が、指示項目違反の低減と関連を持つことが報告されている。
6 分析における変数のコーディングについては、付録を参照。 6 分析における変数のコーディングについては、付録を参照。
7 ただし、遵守群に分析対象を絞ったとしても、目標母集団と比較して代表性に欠けるという問題はここでは解決されていない。従って、無作為抽出データ等の分析と同様の結果が得られるという保証はない。 7 ただし、遵守群に分析対象を絞ったとしても、目標母集団と比較して代表性に欠けるという問題はここでは解決されていない。従って、無作為抽出データ等の分析と同様の結果が得られるという保証はない。

• シェア
• Tweet