成功を測る
コンテンツ・スコアカードは、プレイヤー向けの教育コンテンツを公開できる状態か、修正が必要かを判断するのに役立ちます。このモジュールでは、NPSの質問、5つのセマンティック・ペア、そして3つの調査を使った決定木を説明します。結果の読み方と、改善すべき点の見つけ方を学びます。
オペレーター注: 本文中の
{{PROGRAM_NAME}}は自社のプログラム名に置き換えてください。NPSの質問の言い回し、5つのセマンティック・ペア、採点のしきい値、そして公開か修正かの決定木は、ブランドの測定システムの一部であり、変更しないでください — これらが、オペレーター間でスコアカードを比較可能に保つものだからです。あなたがカスタマイズするのは、調査をどう展開するか(埋め込みウィジェット、Google Forms、Typeform)を自社のスタックに合わせる部分です。ナレーター・スクリプトは、Playbookのティア1のボイスで収録してください。
プログラム: ブランド基礎 | 所要時間: 約20分 | 前提条件: カスタマー・ジャーニー
クイックスキャン目次
| セクション | 内容 | 時間 |
|---|---|---|
| 学習目標 | このモジュール終了後に身につくこと | — |
| セクション1: コンテンツ・スコアカード | NPSのアンカー指標と5つのセマンティック・ペア | 約10分 |
| セクション2: スコアカードを実行する | 3つの調査ツールと決定木 | 約7分 |
| モジュールテスト | 5問の評価問題、合格は80% | 約3分 |
| キーポイント | 要約 | — |
学習目標
このモジュールを終えると、次のことができるようになります:
- コンテンツ・スコアカードを作成し、読み手のフィードバックと行動変容の証拠を区別できる
- テストしている段階に合った調査ツール — パルス、フル、リコール — を選べる
- 実際のスコアカードに公開か修正かの決定木を当てはめ、判断が分かれるケースにも対応できる
セクション1: コンテンツ・スコアカード
リーディング
コンテンツ・スコアカードは、ある制作物についての読み手の評価を集めるものです。何を調べるか、何を修正するかを決めるために使います。その制作物が行動を変えた、あるいは害を減らしたことを立証するものではありません。
NPSの質問は、「この素材を、ギャンブリングをする友人に勧める可能性はどのくらいありますか?」と尋ねます。回答は0〜10です。9〜10と答えた人(推奨者)の割合から、0〜6と答えた人(批判者)の割合を引いて算出します。7〜8の回答は中立者で、計算の分母には含めたままにします。
たとえば、完了した100件の回答のうち、推奨者が55件、中立者が25件、批判者が20件なら、NPSは+35です。この結果が測るのは、回答者が申告した推奨の意向であって、実際に共有されたかどうかではありません。
このコースでは、次の社内の計画上の区分を使います。
| NPS | このコースでの解釈 |
|---|---|
| 50以上 | この計画フレームワークの中では卓越 |
| 30〜49 | 強い |
| 0〜29 | 公開目標に届かない。調査する |
| 0未満 | 推奨者より批判者が多い。修正して再テストする |
これらは検証済みの業界ベンチマークでも、効果の証明でもありません。結果を比較する前に、誰が回答したか、サンプルサイズ、募集方法、その制作物への接触状況を記録してください。
5つのセマンティック・ペアは、受け手が感じた品質を表します。回答者は1〜7のスケールで答え、好ましいほうの語が7の側にきます。
| ペア | 回答が表すもの |
|---|---|
| 忘れられやすい-記憶に残る | 今の時点で、どれだけ記憶に残りそうだと感じるか。後日の想起は別に測る |
| 退屈-引き込む | 感じた面白さ |
| 説教くさい-敬意のある | 感じた敬意とトーン |
| 混乱させる-明快 | 感じたわかりやすさ。実際の理解は別に測る |
| 汎用的-私のために作られた | 感じた関連性 |
このフレームワークでは、ペアの平均が5.5以上なら強い、4.0〜5.4なら実務上のしきい値を満たしています。4.0未満は調査が必要で、3.0未満は深刻な懸念です。平均だけでなく、コメントと回答のばらつきも読み取ってください。
ブランドDNAアラームは、ほかのスコアより優先されます。 説教くさい-敬意のあるが4.0を下回ったら、公開を保留し、コメントを確認して、ボイスを修正してください。NPSが高くても、この懸念は打ち消されません。これはPlaybookのレビュー・ルールであり、検証済みの診断しきい値ではありません。
ナレーター・スクリプト
ナレーター: [transition slide] あなたはメールの件名をA/Bテストします。キャンペーンのネット・プロモーター・スコアを測ります。あなたの{{PROGRAM_NAME}}の素材も同じ扱いを受けるべきです。ティア1の素材はパンフレットではなく、プロダクトだからです。
[pause 3s] {{PROGRAM_NAME}}の素材は、あなたのスポーツブックのプロモ、カジノのロイヤルティ・メール、ブランド・キャンペーンと同じプレイヤーの注目を巡って競い合います。それらをネット・プロモーター・スコアで測るなら、これもネット・プロモーター・スコアで測ってください。品質の基準は商業水準であって、コンプライアンスには十分、ではありません。
[show nps benchmark scale] アンカー指標はひとつの質問です。この素材を、ギャンブリングをする友人にどのくらい勧めたいか。0から10で採点され、%推奨者、つまり9と10から、%批判者、つまり0から6を引いて算出されます。ベンチマークはこちらです。50以上は卓越。プレイヤーが素材を自発的にシェアしています。30から49は強い、ゲーミングとスポーツブックのアプリと同水準。0から29はポジティブだが目標未満。診断を実行。0未満は推奨者より批判者が多いことを意味します。出荷前に修正。
参考までに、NetflixやSpotifyのようなストリーミングのアプリは50から70を記録します。ゲーミングとスポーツブックのアプリは30から50を記録します。従来のコンプライアンスの素材は測定されません。誰もプレイヤーにどう思うか尋ねさえしません。{{PROGRAM_NAME}}は、それが隣に並ぶプロダクトと同じ範囲を目指します。
[show five-pairs grid] ネット・プロモーター・スコアは、素材が機能しているかどうかを教えてくれます。セマンティック・ペアは、なぜ、または、なぜしないかを教えてくれます。5つのペアがあり、それぞれ1から7で採点されます。忘れられやすい対記憶に残るは粘着性を測ります。退屈対引き込むはエンターテインメントの価値を測ります。説教くさい対敬意のあるはボイスのレジスターを測り、これが決定的なペアです。混乱させる対明快は理解を測ります。汎用的対私のために作られたは文化的な共鳴を測ります。
[pause 5s] 説教くさい対敬意のあるが4.0を下回ったら、止まってください。あなたの素材はプレイヤーに説教しているかもしれません。これがブランドDNAアラームです。それ以外は強いスコアカードを覆します。出荷前に、『ボイスとトーン』のボイスの原則に照らして修正してください。
[pause 3s] この2つのピースを覚えておいてください — ネット・プロモーター・スコアの帯域と、5つのペアのしきい値です。次のセクションで、これらがひとつの決定木に組み合わさり、あなた自身が6つの実際のスコアカードでその決定木を回すことになります。
セクション2: スコアカードを実行する
リーディング
答えたい問いに合わせて、調査ツールを選びます。
| ツール | 尋ねること | 使うタイミング |
|---|---|---|
| パルス | NPS、忘れられやすい-記憶に残る、改善点を尋ねる自由記述の質問1つ | ローンチ後、または期間を区切った試行の後の、最初のフィードバック |
| フル | NPS、5つすべてのセマンティック・ペア、自由記述のフィードバック | 懸念を診断する、または重要な制作物をより深くレビューする |
| リコール | 自由再生、知識を確認する質問、自己申告による行動の実行 | 接触から7〜14日後のフォローアップ |
実務上の回答数の目安は、パルスとフルが30件、探索的なA/Bテストでは各バリアント30件、リコールが25件です。これは計画上の目安であり、サンプルサイズの計算でも、信頼性の保証でもありません。募集方法、欠測、ばらつき、判断の重要性によって、何が言えるかは変わります。自己申告による行動の実行は、素材が行動の変化をもたらしたことの証明にはなりません。
判断ルールは、実際に集めた指標に当てはめます。
- 修正して再テストする: NPSが0未満の場合。測定した説教くさい-敬意のあるが4.0未満の場合も、公開を保留してボイスを修正します。3.0未満は、特に深刻な懸念を示します。
- 診断する: NPSが0〜29、またはそのほかの測定したペアが4.0未満の場合。フル調査とコメントを使って、何を変えるかを決めます。
- 公開する、またはテストした用途を続ける: NPSが30以上で、測定したすべてのペアが4.0以上であり、内容、アクセシビリティ、安全性について未解決の懸念がほかにない場合。重要な素材には、リコールをスケジュールします。
パルスが測るのは「記憶に残る」だけです。ほかの4つのペアを保証することはできません。すでにフル調査で好ましくない結果が出ている場合、後から得たNPSやより高いNPSで、その結果が消えるわけではありません。
2つの例: 100件の回答による架空のパルスで、NPS +38、「記憶に残る」5.8が出たとします。コースの初期しきい値を満たしているので、テストした用途を続け、フォローアップを手配します。別のパルスでNPS +14、「記憶に残る」4.2が出たら、フル調査で診断します。その後、説教くさい-敬意のあるが3.6なら、公開を保留してボイスを修正します。汎用的-私のために作られたが3.4なら、関連性にもより注意を向けるべきです。スコアは見るべき場所を示し、実際に何を変えるかはコメントと点検でわかります。
各結果には、どの版の制作物かを特定できる記録を残します。調査ツール、接触日、回答数、募集方法、欠測値を記録してください。対象者、プロダクト、言い回しが変わったときは、閲覧の多い素材を再確認します。四半期ごとのレビューは、計画のリズムとして役立ちます。
チームの最初の見積もりとして、2週間で合計3〜4時間程度を見込み、その後は自分たちの経験をもとに計画してください。調査の準備、募集、分析にはもっと時間がかかることもあります。調査ウィジェットまたは承認済みの調査プラットフォームを使い、比較できる結果は、プライバシーとデータ保持のポリシーに沿って1か所にまとめて保管してください。
ナレーター・スクリプト
ナレーター: [transition slide] 3つの調査。ひとつの決定木。プロセス全体は、2週間にわたって3〜4時間かかります。
[show three-instruments card] パルスはあなたのデフォルトです。3項目、1分未満、30回答を目指す。ネット・プロモーター・スコア、忘れられやすい対記憶に残るのペア、そして自由記述の質問ひとつを与えます。すべてのローンチの後に送ってください。
フルはあなたの診断です。7項目、約2分、30回答、または2つのバージョンをA/Bテストしているなら60を目指す。5つすべてのセマンティック・ペアを加えて、どの次元に手を入れる必要があるかを突き止められます。パルスが問題を示したときに実行してください。
リコールは、プレイヤーが素材を見てから7〜14日後に送られます。他の調査が測れない3つのことをテストします。自由再生、つまり単に何を覚えているかを尋ねること。正誤の知識チェック。そして行動の実行、つまり実際に何か違うことをしたかを尋ねること。パルスでは良いスコアだがリコールで失敗する素材は、引き込むが記憶に残らないのです。
[show decision tree] 決定木は単純明快です。ステップ1、パルスを送る。ステップ2-A、ネット・プロモーター・スコアが30以上かつすべてのペアが4.0以上なら、出荷。7〜14日後にリコール調査をスケジュール。ステップ2-B、ネット・プロモーター・スコアが0から29、またはいずれかのペアが4未満なら、フルを実行して診断。ステップ2-C、ネット・プロモーター・スコアが0未満、または説教くさい対敬意のあるが3.0未満なら、出荷を止めて修正。
[pause 3s] サンプルサイズが重要です。信頼できる結果には30回答を目指してください。同じ素材の2つのバージョンを比べているなら、60、つまりバリアントごとに30が必要です。
[show deploy-options card] {{PROGRAM_NAME}}は、色分けされた結果とともにスコアを自動計算する、すぐ使える調査ウィジェットを備えて出荷されます。約5分でiframeとして埋め込めます。または約10分でGoogle Formsを手動採点で使います。または約15分でTypeformやSurveyMonkeyを洗練された体験のために使います。どれを選ぶにせよ、それをチームのデフォルトにして、すべてのスコアカードが比較可能であり続けるようにしてください。
[transition to exercise] では、決定木を実際に使ってみましょう。6つの実際のスコアカードが下で待っています — それぞれについて、判断を下してください。出荷、診断、修正。いま学んだしきい値が、そのすべてを決めます。勘は禁物です。ひとつずつ取り組んでから、先へ進みましょう。
エクササイズ: 公開か、診断か、修正か?
Type: scenario
指示: 公開、診断、修正のどれですか? 各架空スコアカードに、コースの社内しきい値を当てはめてください。尋ねていないペアは不明です。スコアはこのサンプルについてのもので、行動の変化を示すものではありません。
| 項目 | 正しい分類 | フィードバック(正解) | フィードバック(不正解) |
|---|---|---|---|
| パルス調査、100件の架空回答: NPS +35、忘れられやすい-記憶に残る 5.7。次のステップは何ですか? | 公開 | NPS +35と「記憶に残る」5.7は、初期しきい値を満たしています。テストした用途を続け、そのほかのリリース前チェックも維持し、リコールをスケジュールしてください。 | NPS +35は30を超え、尋ねた唯一のペアである「記憶に残る」5.7も4.0を超えているので、判断は公開です。 |
| パルス調査、100件の架空回答: NPS +21、忘れられやすい-記憶に残る 4.6。次のステップは何ですか? | 診断 | NPS +21は目標の30未満です。何を修正するか決める前に、フル調査を実行してコメントを確認してください。 | NPSがプラスなだけでは、このコースの目標に届きません。0〜29の区分では、フル調査による診断が必要です。 |
| パルス調査、100件の架空回答: NPS −8、忘れられやすい-記憶に残る 5.1。次のステップは何ですか? | 修正 | NPS −8は0未満、つまり推奨者より批判者が多い状態です。修正して再テストしてください。何を変えるかは、コメントと点検でわかります。 | このフレームワークでは、マイナスのNPSは修正のトリガーです。「記憶に残る」5.1でも覆せません。 |
| フル調査、100件の架空回答: NPS +44、忘れられやすい-記憶に残る 5.6、退屈-引き込む 5.4、説教くさい-敬意のある 2.8、混乱させる-明快 5.8、汎用的-私のために作られた 5.2。次のステップは何ですか? | 修正 | NPSが+44でも、「説教くさい-敬意のある」2.8は、保留して修正するしきい値4.0を下回っています。コメントを確認して、ボイスを修正してください。 | 「説教くさい-敬意のある」2.8は4.0を下回るので、保留して修正します。NPS +44でも覆せません。何を直すかは、平均ではなくコメントでわかります。 |
| パルス調査、100件の架空回答: NPS +33、忘れられやすい-記憶に残る 3.8。次のステップは何ですか? | 診断 | NPS +33は30を超えていますが、「記憶に残る」3.8は4.0未満です。フル調査を実行してください。「記憶に残る」は印象のスコアで、遅延再生のテストではありません。 | 公開には、NPS 30に加えて、測定したすべてのペアが4.0に達する必要があります。「記憶に残る」3.8では診断が必要です。 |
| パルス調査、100件の架空回答: NPS +52、忘れられやすい-記憶に残る 6.1。次のステップは何ですか? | 公開 | NPS +52と「記憶に残る」6.1は、初期しきい値を満たしています。NPSは推奨の意向の記録で、実際の共有を示すものではありません。フォローアップをスケジュールしてください。 | NPS +52は30を超え、尋ねた唯一のペアである「記憶に残る」6.1も4.0を超えているので、判断は公開です。 |
モジュールテスト
ナレーター: [transition slide] 学んだことを確認する時間です。スコアカードのフレームワークについての5問です — ネット・プロモーター・スコアの帯域、5つのセマンティック・ペア、3つのツール、そして決定木。このモジュールを修了とするには80%が必要です。じっくり取り組んでください。一度で合格できなくても、教材を見直してから再受験できます。
問題1
評価対象: 学習目標1
問題文: コンテンツ・スコアカードのNPSの質問は、プレイヤーに何を尋ねますか?
| 選択肢 | 内容 |
|---|---|
| A | 「この素材は役に立ちましたか?」 |
| B | 「この素材を、ギャンブリングをする友人に勧める可能性はどのくらいありますか?」 |
| C | 「この素材をまた読みますか?」 |
| D | 「私たちの責任あるギャンブリング・プログラムにどのくらい満足していますか?」 |
Correct: B
解説: NPSは推奨を尋ねる質問で、商業プロダクトと同じ指標です。ティア1の素材もプロダクトです。
問題2
評価対象: 学習目標3
問題文: 測定したすべてのペアもしきい値を満たし、ほかに懸念が残っていない場合、このコースが最初の公開判断に使うNPSのしきい値はいくつですか?
| 選択肢 | 内容 |
|---|---|
| A | 10 |
| B | 20 |
| C | 30 |
| D | 50 |
Correct: C
解説: NPS 30は、このコースの初期の公開目標で、「強い」区分が始まる値です。これは社内の計画ルールであり、検証済みの業界ベンチマークではありません。
問題3
評価対象: 学習目標1
問題文: 4.0を下回ったときに「ブランドDNAアラーム」をトリガーするセマンティック・ペアはどれですか?
| 選択肢 | 内容 |
|---|---|
| A | 忘れられやすい — 記憶に残る |
| B | 退屈 — 引き込む |
| C | 説教くさい — 敬意のある |
| D | 汎用的 — 私のために作られた |
Correct: C
解説: このフレームワークでは、「説教くさい-敬意のある」が4.0未満なら、保留してボイスを修正します。何を直すかは、平均ではなくコメントと言い回しでわかります。
問題4
評価対象: 学習目標3
問題文: パルス調査のスコアカード(100件の架空回答)は、NPS +22、忘れられやすい-記憶に残る 5.2でした。次のステップは何ですか?
| 選択肢 | 内容 |
|---|---|
| A | 公開する — 22はプラスのNPSだ |
| B | フル調査を実行して、どの次元に手を入れる必要があるかを診断する |
| C | リコール調査を送って定着を確認する |
| D | 素材をただちに修正する — これは不合格のスコアだ |
Correct: B
解説: NPS +22はコースのしきい値+30を下回っていますが、マイナスではありません: フル調査を実行してください。スコアは見るべき場所を示しますが、回答の原因は示しません。
問題5
評価対象: 学習目標2
問題文: パルスとフルの調査では測れず、リコール調査が測るものは何ですか?
| 選択肢 | 内容 |
|---|---|
| A | プレイヤーがその場で素材を楽しんだかどうか |
| B | どのセマンティック・ペアが最も低いスコアだったか |
| C | 7〜14日後の遅延再生、知識、自己申告による行動の実行 |
| D | 何人のプレイヤーが調査を完了したか |
Correct: C
解説: パルスとフルは、その時点の反応を記録します。後から記憶と知識を確認するのはリコールだけです。自己申告の実行は、素材が原因だという証明にはなりません。
キーポイント
- スコアカードが測るのは、コンテンツへの申告された反応です。知識、行動、害の変化を立証するものではありません。
- NPSは、推奨者の割合から批判者の割合を引いて算出し、中立者も分母に含めます。
- 5つのセマンティック・ペアは、どこを調べるべきかを示します。何を変えるかを決める前に、コメントを読み、素材を点検してください。
- 測定した説教くさい-敬意のあるが4.0未満なら、NPSにかかわらず、公開を保留して修正します。
- 最初のフィードバックにはパルス、詳しい診断にはフル、後日の確認にはリコールを使います。パルスは、測定していないペアを保証できません。
- コースの社内しきい値は、ほかの公開前チェックと合わせて使います: NPS 30以上かつ測定したペアが4.0以上なら最初の公開判断を支持し、NPS 0〜29またはほかのペアが低ければ診断、NPSがマイナスまたは「敬意のある」が4.0未満なら修正が必要です。
- 募集と分析は、下すべき判断に合わせて計画します。決まった回答数を集めても、信頼できる結果や代表性のある結果が保証されるわけではありません。
出典の基盤
これらを読む必要はありませんが、スコアカードに関連する公刊済みの研究です — ステークホルダーから聞かれた時のために。
- Osgood, C.E., Suci, G.J., & Tannenbaum, P.H. (1957). The Measurement of Meaning. University of Illinois Press. 掲載理由: 元のセマンティック・ディファレンシャルの方法論 — 刺激の知覚された質を測るために双極の1〜7のペア(説教くさい-敬意のある、退屈-引き込む、など)を使うことの学術的基盤です。
- Reichheld, F.F. (2003). The one number you need to grow. Harvard Business Review, 81(12), 46-54. 掲載理由: 基礎的なNPSの論文 — スコアカードが直接借用している方法論と、友人への推奨の質問の言い回しです。
- Dillard, J.P., Shen, L., & Vail, R.G. (2007). Does perceived message effectiveness cause persuasion or vice versa? 17 consistent answers. Human Communication Research, 33(4), 467-488. 掲載理由: 知覚されたメッセージの有効性と説得の関係についての研究です。この5つの独自のペアを検証するものではなく、このスコアカードがギャンブリング行動や害の結果を予測することを示すものでもありません。
参考資料
| リソース | 何に使うか |
|---|---|
| Research Methodology | NPSとセマンティック・ペアの完全な方法論、調査テンプレート |
| Brand Personality | 説教くさい-敬意のあるの失敗を修正するためのボイスの原則 |
| Survey Widget | 自動採点付きの埋め込み可能なスコアカード調査 |