３つの仮説と３つの課題
COVID-19の、すなわち新たなコロナウイルスのパンデミックによる影響は世界的であり、また甚大なものになると予想されています。マーケットリサーチャーが直近のリーマンショックによる経済危機を経験していたとは言えども、それらすべての影響が独特であり、予測することは不可能です。それにもかからず、たとえ結果が異なったとしても我々の経営上の仮説は以下の通り常に一定です。
- 人々の購入または消費行動の変化
- 人口動態の変化
- 人々のリサーチに対する参加意識の変化
以下のような変化を研究することに関連して、上記と同じく3つの典型的な課題があります。
- 我々はこの危機がいつまで続くのかわかりません。
- 我々はこの影響の大きさがどの程度になるかはわかりません。
- 人々は時として上記の問題の懸念のため、その回答データにおいて、先制的または推定的な変更がかかるような誘引、または圧力を受けます。
危機的状況で私たちが受け取る質問の大部分は、影響と期間を予測してクライアントが方法論またはデータを適切に調整できるようにすることと関係があります。問題は、何が起こるか本当に誰も知らないことであり、すべての危機は異なります。以下でその仮説について詳しく見ていきましょう。
(1) 購入と消費に与える変化
＜問題＞
行動の変化は常に危機の性質と影響を受けるカテゴリー/セクターに基づいています。この危機的状況では、特定のことが簡単に予測することができます。旅行関連のものはすべて目の前で消滅していってます。食料品・宅配便の利用が確実に増えると思います。さらに、消費者ブランドのロイヤルティに変化が見られ、劇的な変化が見られる可能性があります。この危機以前に何人の人がZoomについて知っていましたか？ラムズフェルド元米国国防長官の言葉によれば、これらは「既知の未知」であると言えます。
＜なぜそれが重要か＞
このトピックに関する見解は、可能なソリューションの範囲に及びます。変化は一時的なものであるため、ある時点で正常に戻るだろうし、データの抑制または平滑化する必要があると考える人もいます。一方でその別の人（私も含む）は、その変化はまさしく実際に起こっており、きちんと説明される必要があると信じています。皆さんの一人一人が何を問題とするのかを自分で決める必要があります。
＜推奨＞
これらの状況で私たちができる最善のことは、人々の欲求行動を継続的に追跡し、変化を探すことです。以下がToDoになります。
1. カテゴリ単位の未加工の出現率を継続的に見ていってください
もし、あなたがまだこれを行っていない場合には、特定のカテゴリのトレンドを観察する信頼できるパネルプロバイダーから入手可能なデータを探してください。
2. ブランドの利用を継続的に見ながら変化を探してください
ブランド利用に関する質問を注視してください。ブランド認知度の補助なしの質問に答えることで、いつも尋ねるブランドリストをもう一度見たいと思うかもしれません。あるいは、定性調査、ソーシャルメディアの発見、さらにはスキャンされた新聞やオンラインニュースサイトでさえ、ロイヤルティの変化を特定するのに役立ちます。
3. トラッキング案件のサンプル設計を再度見直してください
トラッキング案件のサンプル設計をするには基本的に２通りのやり方があります。１つは、調査の対象となる質問に達した母集団が、代表性のある母集団かどうかを確認することです。それ以外は代表性のある母集団ではないのです。言い換えると、あなたのデータに、バイアスのない目標母集団を提供するためには、誰が調査対象者で誰が非適格者かを決定した時点で調査対象者が代表的でなくてはなりません。それができて初めて、データにウエイトを付けたり、拡大するなどして、市場推計にたどり着きます。これに加えて許容可能な他の方法は、サンプル数の増加やブーストの追加が含まれます。それにより、サンプルの母集団の想定の構成比を表し、改めてウエイト付けして全体の推定値を割り出すことができるのです。また別の方法としては、サンプルの代表性にはこだわらず、その時々の質問を反映したサンプル構造を選択するというものです。
4. デモグラフィックに興味変数をリンクさせたCHAID/CART分析を実施する
これはプロフェッショナル向けのちょっとしたアイデアです。ほとんどの企業は、例えば、入れ子の年齢と性別がこれらの影響を軽減するという原則に基づいて、サンプルデザイン時のデモグラフィックにおいては表面的な管理でよしとします（割付またはフィールド後のウエイト付けで対応）。これは便利ですが、基本的なデモグラフィックでは、目的の変数の分散の半分しか説明できません。この場合、意思決定ツリー分析は、関心のある変数に影響を与える可能性のある他の変数、または人口統計学的相互作用を識別するのに役立ちます。これを理解することは、以下に示す他の仮説に役立ちます。
それらの課題に関するあなたの見解が何であれ、もし奇妙な調査結果が出た場合に、私は２つの理由で事実的ではないデータの操作に強く忠告します。１つは、推測しているだけということです。もう１つは、システムではじき出されたものを人為的に変更した場合、その実査を停止するまでそのデータポイントを操作し続ける必要があるということです。何が起こるかを予測することはできません。そのため、変更を予測したり、サンプルデザインを早期に修正したりすることはできません。
シントはどうしているか
シント自体では、全体的な消費者行動に関する洞察をほぼ提供できません。サンプルバイヤーとサプライヤーを結びつける取引所として、調査中のセクター/カテゴリーでの出現率についての有効な可視性もありません。このことから、危機的状況の前にすでに国ごとにこれらのセクターを追跡し、その間もその後も追跡を続ける必要があります。そのうえで、この状況を明確にできるかどうかについては、データコレクションビジネスをする同業の仲間と常に話し合っています。
(2) 人口構成は変化する
＜問題＞
我々は危機という言葉を理由として使います。いずれの危機においてもほぼ例外なく、人口のかなりの部分に影響を与える大変動が起こります。その間、誰かの住居が変ったり（ハリケーンカトリーナ、福島の津波）純資産価値が変化したり（ドットコムバブル、2008年のリーマンショック）、またはそれ以上になることがあります。個人のデモグラフィックは、 (a) サンプルサプライヤーがターゲティングのために正確であるとみなし、 (b) リサーチャーがデータのバランスを取る/ウエイト付けして回収サンプルのバイアスを低減するため、リサーチャーとサンプルプロバイダーにとっては極めて重要です。
＜なぜそれが重要か＞
ここでの本当の問題は２つあります。１つは、危機の際に調査に回答したときに回答者がそのような変化を意識しているかどうかが必ずしも明確ではないということです。彼らが意識している場合でも、イベントが急速に変化しているときは、影響力の正確な評価（例：純資産額）を提供できない場合があります。もう１つは、人口構成が変化しても、変化するのはサンプルのデモグラフィックだけではないということです。実際の人口構成も変化しているのです。調査は基本的にサンプルを使用して目標母集団を表すことを目的としているため、目標母集団の特性が変化しているという事実は小さな問題ではありません。
＜解決策＞
リサーチャーにとって、任意のサンプルが目標母集団の代表性があることが必須要件です。調査の最終的な評価に到達するには、究極的に２つの側面があります。１つは、回収サンプルのデータにゆがみがある場合のデータのバランス、またはウエイト付けです。もう１つは、全体の量または値を全母集団に投影することが調査の目標である場合のデータの投影です。
ウエイト付けの一例
仮に母集団が性別に均等に分布している場合、男性60％と女性40％の応答サンプルは、男性に50/60 = 0.833のウエイト係数が与えられ、女性に50/40 = 1.2のウエイト係数が与えられるように調整する必要があります。
投影の一例
回収サンプルが1,000サンプル、実際の人口に1,000,000人がいる場合、サンプル数に1,000を掛ける必要があります。
ウエイト付けや投影を行うことで、単純な対象者の参加レベルの変更によって推定値が不適切に変更されないようにし、サンプル構成のデモグラフィックの変化を管理できます。上記のセクション２（人口構成は変化する）で述べたように、危機的状況下ではこれらが正確であるとは限りませんが、少なくともは安定しているだろうと言えます。
デモグラフィック、ひいては母集団の設定に変更を加えるかどうかに関しては、これについて正解や不正解はありません。私の見解では、私たちの管理の及ばない人口統計のランダムな測定誤差と系統的な測定誤差の両方が存在する可能性があることを受け入れる必要があります。実装しようとするすべてのソリューションには、実行中の取り組みの状況で比較検討する必要がある、という欠点があります。根底にある母集団の考え方や、それ故の回収サンプルの割付設定またはウエイト付けを私たちが提唱したとしたら、私たちは当然のことながら調査の評価に影響を与えます。母集団設定の考え方をアップデイトしないと、調査デザインは安定しますがバイアスをもたらす可能性があります。
リサーチャーにとっての暫定的な解決策としては、常に変化する可能性があるにしても、調査の設計そのものを揺るがすような、生命線となるデモグラフィックを尋ねることです。しかし、（年齢や性別などの）毎回同じデモグラフィック質問を聞かれることに悩まされている回答者からの大きな不満は常に存在し、システムインテグレーションが不十分か、もしくはそのインテグレーションできていないために、（そういったパネルプロバイダーの場合には）満足のいく対応ができないのが現状です。アンケートの最後に基本的なデモグラフィック質問をお願いするのはひどく時代遅れの習慣であり、すべての一般的な場面でこれを追放する必要があります。しかし、これが唯一の選択かもしれない、ということも同時に言えるのです。
シントに何ができるか
弊社ではデモグラフィック情報の更新頻度を上げることを検討しており、この問題についてサプライサイドのパネルサプライヤーと緊密に連携しています。とはいえ、リサーチャー方はデモグラフィックの変化の可能性を、どのように扱うかについて決定を下す必要がある点は解消されていません。
(3) 人々のリサーチ参加意識の変化
＜問題＞
あらゆる危機の度に、最初の認識は、人々は調査への参加などから離れて、自分たちの生活に集中することです。それは確かかもしれません。それでも私は、以前の他の危機を経験したことがあるので、人々が調査を続けているのを見てきました。誰がその理由を知っているでしょうか？彼らは退屈しているのでしょうか？多分彼らは彼らの状況の重さから逃れる必要がありますか？多分彼らはお金が必要ですか？理由が何であれ、これは明らかに経験的な問いです。推測できません。データを見る必要があります。
歴史が人々の本当の混乱が、人口統計の変化につながることを私たちに伝えているように、それは人々が調査に参加し続けていることも私たちに伝えています。他のすべてと同様に、課題はその危機の影響と収束する期間を予測することが不可能であることです。
＜それが意味すること＞
私は、リサーチャーがデモグラフィックのサンプルバイアスを（割付、サンプルのバランシング、または実査後のウエイト付けによって）正しく管理していることを想定しています。
その際に発生するであろう、２つの主な課題があります。１つは、調査協力者が減ると、リサーチ案件の実現可能性が損なわれることです。たとえ２，３コンプリートが足りなくても、実現可能性の低下を心配する必要はありません。（声を大にして言いたい：サンプルが若干数足りない調査への緊急の追加サンプル回収は、データに意味のある結果をもたらさない非常に無駄の多いプロセスであり、回答者の減少という点で莫大な対価を費やしています。）より大きなサンプルの不足分についてこそ、助けの手を差し伸べるべきなのです。
２つめの課題は、以下のような新規回答者の行動が体系的に異なることです。リサーチャーは、あらゆる調査に対して新規回答者はより「熱狂的」な回答者になる傾向があることを長い間知っていました。この課題は、「プロ回答者問題」という業界共通の課題と混同しないように注意してください。パネル会社が歴史的に同じ海域で漁を行ってきたため、パネル間に重複があったことは間違いなく事実です。それにもかかわらず、サンプリングの自動化とシステムインテグレーションによる利点の１つは、ソースの拡張と多様化でした。したがって、調査参加に関する課題は、サプライヤーのソースの拡大/縮小、または新規回答者の不均一な流入である可能性があります。
＜解決策＞
調査における新規回答者の管理はより困難です。これが課題であるかどうかを確認する最も簡単な方法は、個々の回答者が参加した回数によってサンプルの構成を継続的に見ることです。これを管理するのは複雑すぎて、この記事では説明できません。詳しくは弊社にお問い合わせください。
それとは全く別の新規回答者の行動の可能性については、これは上記の一時的な行動の変化からは見分けにくい場合があります。その他のアイデアについては、以下を参照ください。
シントに何ができるか
弊社では国別の調査参加関連のデータを毎日モニタリングしています。具体的には以下のとおりです。1. パネル会社とシステムインテグレーションされていて、システム的に誘導された回答者の回答数、回答完了数、とコンバージョン率
2. メールで招待されるパネルからの回答の、レスポンス率、回答完了率、
3. 案件数と、案件ごとの平均コンプリートサンプル数
4. 国ごとの確認された新型コロナウイルスのケース数
＜その他の質問と回答＞
Q. コロナウイルスの危機がマーケットリサーチ業界とCintの事業にどのように影響を及ぼすかについて、弊社の現在の見解はどのようなものか。
A. 各大手ブランドを擁する会社が大きな打撃を受けていることを示唆する先行指標はたくさんあります。消費者が家にいるのか、従業員が家にいるのか、現金の節約によるのかは関係なくこれは第2四半期の研究需要の減少につながると予想しています。キャンセルされたプロジェクト、販売パイプライン、実査中のプロジェクト、プロジェクトごとの完了、および（もちろん）収益など、いくつかの指標を注視しています。さらに不確実性は誰もがリスクを回避し、現金を保持する原因になります。また、健全なエコシステムを確保するために、プラットフォームでの支払い状況を見守っています。
Q. コロナウイルスがまだ完全に蔓延しきっていないその他の市場に、収束曲線に入った市場からどのような知見を適用できるでしょうか。
A. 弊社の仮説はすべての国に広く適用できます。とは言うものの、結果は、各国での発生の管理方法や各国の人口統計や市場の状況に応じた各国の決定に基づいて異なるでしょう。
Q. 現時点で調査においては、どのような新しい品質保証管理を提案しますか。
A. 不良回答は決してなくなりません。私たちは、アンケートの回答における不良回答の絶え間なく変化するパターンを検出することを可能にする、適応型のデータドリヴンテクノロジーの利用を強く推進しています。詳細については、弊社までお問合せください。
Q. 現在、新型コロナウイルスに関するすべての事柄について、アンケートに組み込むために提案された言葉があるかどうか疑問に思っていました。例えば、「今は非常につらい時期です。でも思い出してみてください、もしコロナウイルスが発生する前のあなただとしたら、、、」というような具体です。
A. このような文言を追加する場合は、回答者が直面している可能性のある問題について、仮定や謝罪を行わないでください。事実に向き合うのです。あなたが彼/彼女の人生について誰かに尋ねるつもりでその人に参考になるような例を示してください。例：新型コロナウイルスが発生する前のことを思い出して、家で夕食をどのくらいの頻度で食べていましたか。
Written by: JD Deitch (COO at Cint)
