No.1調査のサンプル数・標本誤差・順位差の考え方

POINT 01

最初に、誰について説明したいのかを決める

調査で説明したい集団を母集団といいます。全国の成人、直近1年の利用者、特定製品の導入担当者では、必要な回答条件も集め方も異なります。対象の年齢や地域だけでなく、商品、利用時期、利用した機能まで確認します。

母集団と比較対象を決めずに人数だけを増やしても、広告の根拠にはつながりません。消費者庁のQ&Aも、比較商品と回答者の適切な選定、公平な実施、表示と結果の対応を確認事項として挙げています。

POINT 02

調査全体の人数と、各社を評価した人数を分ける

調査全体で1,000人が回答していても、あるサービスの利用者が30人なら、そのサービスの評価に使える人数は原則としてその条件を満たす回答者です。全体の人数を、各社・各設問の人数のように見せないことが大切です。

年代別、地域別、プラン別に分けると、各群の人数はさらに小さくなります。複数のサービスを同じ人が評価する設計では、回答が独立とは限りません。集計表には人数と対象条件を併記し、比較方法も設計に合わせます。

POINT 03

出現率・回収率・有効率を混同しない

出現率は、事前確認をした人のうち対象条件に該当する人の割合です。回収率や有効率は、誰を分母にした数値かによって意味が変わります。「回答率」とだけ聞くのではなく、依頼数、対象条件の確認数、回答完了数、有効回答数を分けて確認します。

利用者が少ない商品では、予定人数を確保できるかの確認が必要です。人数不足を補うために、利用経験のない人や対象外の商品を後から混ぜると、元の表示案と対応しなくなります。募集の実現性と、集まらない場合の扱いを先に相談します。

POINT 04

標本誤差の計算には、抽出方法の前提がある

母集団から確率的に対象を選ぶ調査では、標本の入れ替わりによる変動を標本誤差として評価します。単純無作為抽出の比率では、人数、回答比率、母集団の大きさなどから誤差の目安を計算できます。層化や重み付けなどを行う場合は、実際の設計に対応した評価が必要です。

任意登録のWebパネルから募集する調査は、母集団全員が既知の確率で選ばれる調査とは異なる場合があります。パネル内でランダムに配信しても、全国の利用者からの単純無作為抽出と同じにはなりません。その計算式で得た誤差幅を、無条件に保証として付けないようにします。

PRACTICAL CHECK

割付・重み付けをしたときは、実人数も確認する

年代や地域ごとに募集する人数を決める「割付」と、集計時に回答の寄与を調整する「重み付け」は、別の処理です。比較したい層の回答を確保するため、実際の利用者構成とは異なる割合で集める設計もあります。その結果を全体の評価として読む場合は、どの構成を基準に集計したかを確かめます。

例えば、説明用に2つの地域から各100人を集めても、対象となる利用者が両地域に半数ずついるとは限りません。単純な合算と構成を調整した集計は、同じ数値になるとは限らないため、報告書では次の情報を区別して確認します。

• 実人数：調整前に各地域・各社・各設問で何人が回答したか。
• 調整方法：何の属性を、どの資料・時点の構成に合わせたか。
• 結果の示し方：割合が重み付け前か後か、調整前後で結果がどう変わったか。

重み付けによって、実際に聞いた人数が増えるわけではありません。調整方法は調査目的と対象に基づいて決め、希望する順位に合わせて選び直さないことが大切です。具体的な適用方法は、抽出・募集と分析の設計を合わせて確認します。

POINT 05

小さな順位差は、人数と分析条件に戻って読む

数値を並べた順位と、差を十分に説明できるかは別の確認です。同点、欠損、複数項目の比較、同じ人による複数評価をどう扱うかを、結果を見る前に定めます。統計的な検討を行う場合も、その方法がデータと調査目的に合うかを確認します。

人数を増やせば、利用経験のない回答や誘導的な質問が正しくなるわけではありません。No.1になった項目だけを残す、都合のよい層だけを後から選ぶといった変更を避け、確認できる範囲を報告します。特定の人数や順位差を、表示が適法になる一律の基準とは扱いません。

POINT 06

見積もり前に、比較したい単位を共有する

表示案、対象利用者、比較したい商品、集計したい属性、ご希望の時点をお知らせください。すでに回答データがある場合は、人数だけでなく募集方法と質問票も確認できると、追加で整理すべき点が分かります。具体的な回答数・実施可否・分析範囲は、案件の条件から検討します。

CHECKLIST

依頼前の確認表

FAQ

よくあるご質問

RELATED GUIDES

あわせて確認したい実務ガイド