評価設計とは：判断に使う問い・基準・情報源をつなぐ計画の作り方

評価の利用者と、間に合わせる判断を決める

「年度末に評価報告書を出す」だけでは、何を調べるかを絞れません。たとえば翌年度の受付時間を決めるための評価なら、予算と勤務体制が固まる前に情報が必要です。報告書の納期より先に、誰がどの選択をするかを確認します。

英国政府のMagenta Book（2026年更新版、Chapter 2）は、評価結果を使う人の問いと活用目的を把握し、その後に評価のアプローチや方法を検討する流れを示しています。日本のすべての事業に同じ手続きを義務づける資料ではありませんが、問いと方法をつなぐための参考になります。

• 判断：継続、対象の変更、運営方法の改善など、何を選ぶのか。
• 利用者：決裁者だけでなく、結果を使って仕事を変える担当は誰か。
• 時期：どの会議までに、どの程度の確かさが必要か。
• 範囲：今回答える問いと、期間や予算上答えられない問いは何か。

「成功したか」を、答えられる問いへ分ける

相談事業の参加人数が増えても、必要な人へ届いたか、相談後の困りごとが軽くなったかは別の問いです。集めやすい件数だけで成果を判断しないため、少なくとも実施と変化を分けます。

ここでの問いの例は編集上の整理です。用語の違いはアウトプットとアウトカムの解説も参照できます。対象、観察期間、比較する状態を問いに含めると、必要な記録が明確になります。

判断基準を、結果を見る前に言葉にする

「満足度が高い」「連携が進んだ」の意味を結果の後で決めると、都合のよい解釈になりがちです。事業の目的、利用者が必要とする水準、契約上の要件などを確認し、何が分かればどの判断に使えるかを先に合意します。

必ずしも数値目標が必要とは限りません。「担当者が変わっても紹介先に接続できるか」なら、引継ぎ記録、担当者への聞き取り、実際の手順確認を合わせる方法があります。数値を置く場合は、対象と分母、測定時期、欠測の扱いを決めます。根拠のない達成率を一律に採用しません。

基準を途中で変える必要が生じたら、変更理由、合意した人、変更前後の基準を残します。未達を消すための変更か、状況の変化に対応する変更かを後から確かめられるようにします。

評価計画表を、一つの判断から埋める

以下は「相談窓口の受付時間を見直す」説明用の架空例です。実案件の評価結果ではありません。表に書かれた基準や方法が、すべての相談事業に適するわけではありません。

実務では、この表に「担当／収集時期／分析方法／公開範囲」を追加します。空欄があれば、調査開始前に埋めるか、今回答えられない問いとして範囲を調整します。複数の問いを同じアンケートで尋ねても、結果をどう解釈するかは問いごとに決めます。

方法を選び、因果を言える範囲を確かめる

件数の推移を知るなら記録集計、経験の違いや理由を知るなら聞き取り、手順の実施状況なら観察や記録確認が候補になります。問いに合う方法を選んだうえで、比較可能性、データの質、回答負担を検討します。

実施前後の差には、対象者の構成、景気、別の支援、時間の経過なども関わり得ます。比較対象を設けられない場合は、変化の経路を仮説にし、時系列の記録、異なる立場の聞き取り、他の説明を突き合わせます。Magenta BookのChapter 3も、理論に基づく評価では複数の証拠や代替説明の検討を重視しています。それでも特定できない寄与は「分からない」と残します。

調査の前に、収集目的、回答しない選択、保存先、閲覧者を決めます。匿名性を守れない小集団では、細かな属性別の公表を控えるなど、分析の細かさより対象者の保護を優先します。

報告を、次の判断と記録へ返す

報告会では「分かったこと／証拠／限界／判断候補」を並べ、結果と提案を分けます。判断者が結論を選んだ後は、担当、実行期限、次に確かめることを記録します。調査に協力した人への返答も、この予定に含めます。

評価設計を確認する最後の問いは、「この情報がどんな結果でも、何かの判断に使われるか」です。使い道を説明できない設問は減らせます。一方、説明責任や安全に関する記録など、改善会議以外の用途がある項目は、その用途を明示して残します。

この記事の計画表だけで、厳密な効果推定や統計的な検出力の設計は完了しません。判断の重要性に見合う方法の検討が必要です。指標の定義を詳しく整理する場合は評価指標の解説へ進んでください。