業界最大のサンプルエクスチェンジであるCintは、オンライン調査に参加している人々の流れをよく把握しています。 新型コロナウイルス危機下にもかかわらず、回答者の協力率は高いままです。パネルマネジメントプラットフォームを通じて、ロックダウン中に4,000以上のパートナー間で新規会員登録と動きが大幅に活性化しました。こうした異常な時期のオンライン調査への関心が高まるなか、よく寄せられる質問の1つは「品質をどのように維持しているのか」です。これが4番目のリサーチノートのトピックです。
すべてのサンプルサプライヤーは、品質を担保するための措置を講じていると述べています。しかし彼らが行うことは、形と内容の両方でそれぞれかなり異なります。オートメーションが実査の高速化と不正の高速化の両方を推進してしまうプログラム配信のこの時代では、それらの措置の詳細は非常に重要です。
プラットフォームやサンプルエクスチェンジ（取引所）を運営している私たちにとって、スタンダートは高くなければなりません。クライアントがさまざまなサプライヤー主導の策のパッチワークの中から適切な選択をすることを期待して、不良回答率の報告に満足することはできません。 Cintでは、プラットフォームと幅広い業界の両方の健全性のために、リアルタイムですべてのトランザクションの品質を積極的に確保することが私たちの責任であると強く信じています。つまり、品質という用語を明確に定義し、それをしっかりと測定し、最高の人材、製品、テクノロジーを用意することで、当社が処理するすべてのトランザクションが同じ最高水準のものになると想定しています。私達は私達のプラットホームのクオリティに責任があります。以下がその方法です。
品質憲章
品質とは何かを定義し、その指標を測定できない限り、品質を保証することはできません。 Cintでは品質の5つの要素を定義しています。
- 回答者の質、または回答者が実在し、固有の存在で、実際に関与し、代表的であること
- サプライヤーの品質、またはサプライパートナーが高品質の回答者を提供していること
- バイヤーの品質、またはクライアントが説得力のある高品質の調査サービスを提供しているこ
- 運用品質、または当社が適切に実行し、クライアントおよびパートナーへのコミットメントを実現すること
- 製品の品質、または当社の製品が業界をリードする、将来を見据えたソリューションを提供すること
回答者の品質、ひいてはサプライヤの品質は、ほぼすべてのクライアントが関心を持つトピックです。
回答者の質
4つのレンズを通して回答者を検討します。
- 実在性：回答者は本物であり、不良回答者ではないか
- ユニーク性：回答者は過去に調査協力経験があるのか、それとも一度だけか
- 関与性：回答者は正確かつ真摯な回答を提供しているか
- 代表性：回答者は集合的に、既知の人口と一致するデモグラフィックおよび行動を示しているか
私たちは、さまざまな指標を通じてこれらの各要素のパフォーマンスを評価します。ほとんどの場合、最初の3つ（REAL、UNIQUE、およびENGAGED）は、これらのそれぞれの理由で抽出されたコンプリートサンプル数を調べることによって最も簡単に評価されます。業界ではこれらを「破棄サンプル」と呼んでいます。代表性は、ベンチマーク調査を通じて評価されます。
破棄サンプルの率は、オンラインサンプルエコシステムにおける品質の通貨のようなものです。私たちは2つの方法で品質の問題に気づきます。 1つは、システムが問題を検出したときです。もう1つは、クライアントから問題が通知されるという稀で残念な状況です。時間が経つにつれ、これらの事象の測定値が集計されるため、改善が必要な箇所を検出できます。その後は概ね、国やサプライヤーごとにこれらの対策を検討しています。
不良回答者との闘い
不良回答が大量発生すると専任の品質チームが行動を起こします。弊社の営業チーム、パートナー、およびクライアントと緊密に連携して、通常、事象発生から24時間以内にレポートと改善策の提案が上がります。発生した問題に応じて、私たちは幅広いソリューションとこれまでの経験から柔軟な対応をとる準備ができています。
- 不良回答のあるパネリストは、同じアカウントを再度使用できないようにします。
- 国によっては、特定のお取引先様からのサンプルサプライをお断りする場合や、極端な場合には回答者への支払いを延期する場合があります。
- AIを利用した不良回答検知プログラムの設定を上げることで、サンプルの流れを絞り、より厳しく管理します。
- 不良回答者の最新のリストをシステムエンジニアチームに提供し、新しい不良回答パターンについて、機械学習アルゴリズムをトレーニングします。
問題の調査は常にデータに基づいて行われますが、これらの問題への対応は必ずしも簡単ではありません。不良回答を明確に確認できますが、不良回答検出システムの主な課題は、実際の不良回答の検出と「誤検知」のバランスをとることです。アルゴリズムを最大の感度まで上げることで不良回答を減らすことができますが、これによりサンプルの流入が細くなります。我々の業績評価KPIは、この問題の監視と管理を後押ししています。
不良回答の測定
不良回答を完全に無くすことは決してできません。不良回答は、私たちの事業のように、すべてのサプライヤーがそこからリサーチ協力者を募集するというマーケティングエコシステムにはつきものです。さらに、私たちが自らの仕事をより効率的に行えるようにするテクノロジーは、悪意ある人間がサプライヤーやデータ収集プラットフォームを大規模に攻撃するために使用するテクノロジーと同じです。最後に、誤検知の問題を考えると、私たちは常に1つの非常に重要な質問を自問しています。別の言い方をすると、どこまでを不良回答とするのか、ということです。
これがおかしな質問のように聞こえる場合は、すべての不良回答を一掃することは非現実的であり、非常に費用がかかると考えてください。これを理解すれば、少なくとも相対的に不良回答について話すことができます。 Cintでは、業界で最高の存在になることを目指しています。私たちはどこまで到達すればそうなれるのか（他社は通常データを共有しませんし）明確にはわかりませんが、クライアントやパートナーから我々がどうあるべきかのアイデアを十分に頂いています。
以下は、過去6か月間のプラットフォームの解約率です。
- 2019年11月：4.3%
- 2019年12月：3.7%
- 2020年1月：3.0%
- 2020年2月：3.8%
- 2020年3月：3.8%
- 2020年4月：2.3%
私たちはこれらの数字と、特に過去1年間（特にリダイレクト不正のトピックに関して）私たちのチームが悪意のある人よりも一歩先を行くために費やした相当な努力に誇りを持っています。また、新規登録者の数とプラットフォームの活動の増加にもかかわらず、高いレベルの品質を維持できていることも示しています。
つまり、これらの数値はプラットフォームの平均です。真実は、すべてのプロジェクトにほぼ等しい割合で、実際に小さなごまかしが発生することは決してないということです。プロジェクトの大部分は、ごくわずかなレベルの不良回答で問題なく進行します。そうこうしていると突然どこからともなく発生し、いきなりプロジェクトはつぶされます。たとえ何とかサンプル回収を完了できたとしても、関係者全員がデータに懸念を持ってしまうので、その後に厳しい展開が待っています。しかし、それは避けられません。上記で説明したように、重要なのは迅速な発見と修正です。同様に、問題が再発しないように（可能な限り）システムを改善していることを確認することも重要です。
独自技術と知的財産
メトリクスが存在しても、それに基づいて行動しなければ何の意味もありません。私たちの見解では、それは問題の発生を防ぐためにリアルタイムで行動することを意味します。 Cintは、自社製品と既製の製品の両方を使用して、回答者の品質をリアルタイムで管理します。 P2Sampleの買収により、この点で重要な機能と専門知識が更に追加されました。
我々は回答者を確認した瞬間から、彼または彼女のすべての動きを追跡します。私たちは個人を特定できる情報（PII）を取得し、パネリストを深く理解しようと努めます。このデータと他の専有データを活用して、各回答者がユニークであることを確認し、回答デバイスとネット接続の情報を超えた固有の「デジタルフィンガープリント（指紋）」を作成します。
これらのデジタルバイオメトリクスは、人工知能ベースの不良回答検出システムに供給されるため、日々進化する脅威をリアルタイムで検知できます。 AIを使用すると、注意力と回答品質を評価することもできます。私たちはAIにかなりの投資をしてきました。AIとその機械学習要素は、プラットフォームとビジネスの健全性に不可欠であると考えています。 AIに関する私たちの取り組みは現在の不良回答/不正のレベルを超えており、調査プロジェクトと回答者個人をマッチする手法もAIで支えられています。これは関係者全員、特に回答者にとっては、対象ではないアンケートを何度も回答させられる経験を減らす意味で嬉しい成果だろうと考えます。
私たちは他のより伝統的なテクニックもたくさん使用しています。電子メールや住所の検証からスピード回答者のトラップまで、私たちは実際の、ユニークで、熱心な、そして代表的な回答者が画面の向こうにいることを確実にするために、多くの対策を講じています。全体として、それはお客様にとってより良いデータを提供することを意味します。
サプライヤーとバイヤーと共に協力した積極的なプログラム
上記の議論の多くは、品質への反応的なアプローチを中心に展開されてきました。弊社はサプライパートナーやクライアントとさまざまなテーマで積極的に取り組んでいます。サプライサイドでは、データとテクニックを共有して、サプライヤが目にするものを示し、トラブルを根絶します。
私たちの仕事はサプライヤーとの取引に限定されません。ご存じのように、バイヤーは品質に対して同等の責任を負っています。私たちは、実査に関わる統計から回答者の評価、パフォーマンスの低い調査からのパネリストサポートチケットまで、すべてをクライアントと共有することを目指しています。クライアントにサーベイ画面を編集するように強制することはできませんが、最近の流行り言葉や高ドロップアウト率などが、回収サンプル数にどのように影響するかを理解してもらうのにお役に立つことはできるのです。
ソートリーダーシップ
終わりに。品質プログラムの重要な意義は、私たちが知っていることを業界と共有することです。 新型コロナウイルスの危機は、あらゆるバックグラウンドのインサイト専門家に強いシグナルを発するという、私たちの取り組みを加速させただけです。このような記事は、ブログや業界や協会のWebサイトに公開されます。これらの会議がオンラインになったとしても、パンデミックによって会議への参加が妨げられることはありません。自動化から不正回答まで、サンプリングの特徴からリサーチの全体像まで、あらゆる種類のトピックについて正直かつ率直に話し続けます。
まとめ
コロナウイルスという単語が一般的になって以来4回目のこのリサーチノートによって、品質の問題をどれほど真剣に受け止めているかが明確になったことを願っています。品質の問題が発生する可能性があることはわかっています。私たちの技術は常に進化する必要があります。しかし、私たちは適切なフレームワークとアプローチを持っています。私たちのプラットフォームと業界の健全性は、責任を持って行動する私たちにかかっています。品質というのは、間違いなく弊社の事業の価値そのものです。私たちは、それが回答の品質、アンケートの品質、またはシステムのパフォーマンスの質であるかどうかにかかわらず、プラットフォーム上の品質に対して責任があります。私たちは定期的にクライアントやパートナーと協力して問題のトラブルシューティングを行い、品質を向上させています。私たちは、プラットフォーム全体で品質を管理することを積極的かつ均一に可能にする革新的な製品を開発しています。
For more information get in touch with us:
cint.com/start
Written by: JD Deitch (COO at Cint)
