企画に当たって

柳川範之

何がエビデンスなのか

施策と成果の因果関係を示せ

柳川範之

NIRA総合研究開発機構理事/東京大学大学院経済学研究科教授

KEYWORDS

科学的根拠、EBPM、因果関係を考える、ランダム化比較試験の適切な理解、政治的要素、エビデンスをどう集めるか、科学的な政策決定への国民の理解

 政策を決めていく際には、単なる印象論や思い込みではなく、科学的な根拠に基づいて、議論を行うことが重要だ。今号で東京大学教授の川口大司氏が強調しているように、予算配分に優先順位をつける必要性が増大している時代だからこそ、きちんとしたエビデンスに基づいて政策形成をする仕組みを作っていく必要がある。近年その重要性が指摘されるようになったEBPM(Evidence-based Policymaking)はこのような考え方に基づいている。ただし、そのためには、きちんとしたエビデンスをどう集め、分析するか、それをどう政策形成に生かしていくかを、きちんと検討しておく必要があるだろう。今回のわたしの構想では、この点を、専門家の方々に各方面から議論を展開していただいた。

数字があれば良いわけではない

 川口氏は、官庁などがデータをもっと利活用するようにし、エビデンスが積極的に政策決定に影響力を与えるようにする重要性を指摘している。そうでないと、官庁内で統計作成やデータ整備を進めようとしても、なかなか進まないという指摘は、政府統計に関する問題が生じ、その見直しとあり方が議論されている中で重要な点だろう。

 もっとも、単に数字を用いて議論すれば良いというわけではない。しばしば見られるのは、自分の主張に都合の良い数字やデータを見つけ出して、それをエビデンスだと主張するパターンだが、これではきちんとしたエビデンスに基づいた議論とは言えないだろう。この点については、小林庸平氏と中室牧子氏が強調されている。三菱UFJリサーチ&コンサルティング主任研究員の小林氏は、EBPMとは単に数字を用いて政策を議論するということではなく、「施策と成果(アウトカム)の因果関係を確認・検証しながら、より良い政策手段を選ぶ取り組み」と定義している。

 因果関係をきちんと考えないというのは、データを用いる際にしばしば見られる大きな誤りだ。単なる相関関係と因果関係の違いについては、慶應義塾大学教授の中室氏が分かりやすい例を用いて、説明をされている。ただし、現実には因果関係を明確にチェックすることがなかなか難しいのも事実だ。そこで登場するのが、中室氏も小林氏も強調されている「ランダム化比較試験(RCTs)」と呼ばれる手法である。これを用いれば因果関係を厳密な形で導出することができる。ちょうど今年、それを推進してきたA・バナジー、E・デュフロ、M・クレマーの3氏がノーベル賞を受賞したこともあり、その面からも、あらためて注目が集まっている。

 小林氏によれば、日本のEBPMは統計改革の議論から始まったためにデータ整備に焦点があたりがちだが、本来は政策の因果関係をきちんと検証していくことだと主張している。また、中室氏も因果関係を正しく把握していないと、政策が逆効果を招いてしまうケースもあるとして、きちんとした因果関係の検証の重要性を指摘している。

政治的要素も重要

 ランダム化比較試験(RCTs)は万能ではないことを指摘しているのは、英オープン大学名誉教授のマーティン・ハマーズリー氏だ。ハマーズリー氏は、RCTsで導出できるのは、実験者が想定した因果関係だけで、実際にはそれ以外の変数が影響を与えているかもしれないし、政策の実施にあたっては、当事者の納得感が得られるか等、政治的要素も重要になると指摘して、実験の結果に基づいて政策が直ちに決められるわけではないと警告する。確かに、RCTsでは厳密な形の因果関係を導出することができるが、それで直ちに実行すべき政策が決まるわけではないので、その点での適切な理解は必要だろう。

 いずれにしても、エビデンスをもちいて厳密な議論をしようとする際に、大きなカギとなるのは、十分なエビデンスが集められるのかどうかである。日本においては、まだまだ、政策決定において有効になりうるエビデンスが不足していて、それをどうやって得るかというのが、大きな課題だろう。東京大学教授の渡辺努氏はこの点について、民間活用の重要性を指摘している。確かに今は、データの時代、データは宝の山と言われていて、民間側がかなり労力を割いて、さまざまなデータを集めている時代だ。そうであれば、政策の基礎になるデータはすべて「官」が集めなければならないという発想ではなく、民間のデータを活用するという発想が必要だろう。また、渡辺氏は、民間のデータを活用するだけではなく、データの分析や解析についても、「民」の力をもっと利活用すべきだとしている。

5人の識者の意見 科学的分析は政策の質を高めるか

 現代は、多くの分野で官が独占して何かをやるのではなく、官民連携や民間の創意工夫を積極的に活用する時代である。この分野だからこそ特に、民間の知恵や能力をもっと活用すべきだろう。また、エビデンスとは何か、それに基づいて政策を決定するとはどういうことなのか、国民全体でしっかりと理解が進むことが、より科学的な形で政策が決定されるうえで必要なことだろう。本号の「わたしの構想」がその一助になることを期待したい。

識者に問う

EBPMの意義と限界は何か。推進のための課題は何か。

川口大司

エビデンスを使うインセンティブを設計する

川口大司

東京大学大学院公共政策学連携研究部教授

KEYWORDS

エビデンスが政策形成に影響力を持つ、省庁内の統計部門が独立して分析

 社会保障費が増大し、国が自由に使える予算は減ってきている。予算配分に優先順位をつける必要性が増す中で、効果がある政策をエビデンスに基づいて特定し、そこに重点的に資源配分をしようというEBPMの意義は大きい。EBPMに実効性をもたせるには、エビデンスに基づき政策形成する仕組みを作る必要がある。政策形成の現場では、EBPM、すなわち統計分析に基づいて政策立案する考え方が実質的に機能していないことも見受けられる。こうしたところはもっとエビデンスが政策形成に影響力をもつように改革すべきだろう。

 例えば、厚生労働省の政策を決めるための「公労使」の3者の審議会では、事務局の厚生労働省は中立のスタンスに立ち、労働者側と使用者団体側それぞれの主張の落とし所を探して、法との整合性を考えつつ政策決定を行うというのが、伝統的なカルチャーである。公労使の3者が納得できる政策にすることで実効性を保ってきたのだと思うが、こうした仕組みではエビデンスが軽視されがちになる。最低賃金の上げ幅を決める際のエビデンスとなる賃金改定状況調査がある。その調査方法は最低賃金を決定する審議会が決める仕組みとなっており、産業構造の変化が反映されていないのが一例だ。エビデンスの作成が政策決定に従属していることが問題だ。

 省庁内で統計作成や統計分析を担う部門が独立して分析しエビデンスを作り、そのエビデンスが政策形成に反映される仕組みに変える必要がある。政策決定に生かされるとなれば、それがEBPMを推進するインセンティブになり、統計分析部門に優れた人材が投入される。インセンティブがあれば、どうすれば個人情報を保護しながら行政データを利用できるか、真剣に考えるようになるはずだ。エビデンスを使うインセンティブを設計せずに、人材育成やデータの整備をしようとしても、掛け声だけに終わってしまうだろう。膨大な行政データが蓄積されているにもかかわらず、統計としての利用が進まないのも、担当官庁にデータを利用するインセンティブが働きにくい仕組みだからだ。

識者が読者に推薦する1冊

識者が読者に推薦する1冊

西山慶彦・新谷元嗣・川口大司・奥井亮〔2019〕『計量経済学』 有斐閣

識者に問う

EBPMの意義と限界は何か。推進のための課題は何か。

小林庸平

行政内部と外部のリソースを連携させよ

小林庸平

三菱UFJリサーチ&コンサルティング主任研究員兼行動科学チーム(MERIT)リーダー

KEYWORDS

政策と成果の因果関係、因果関係の根拠、リソースを再配分できる、ランダム化比較試験(RCTs)

 EBPMは、施策と成果(アウトカム)の因果関係を確認・検証しながら、より良い政策手段を選ぶ取り組みだ。例えば、貧困世帯の子どもへの学習支援のため、何らかのプログラムを実施するとしよう。この場合のアウトカムは学力や進学率などだが、施策によってアウトカムが改善するのかを示す因果関係の根拠が「エビデンス」であり、エビデンスを参照しながらより良い施策を選ぶのがEBPMである。アウトカムを達成するための施策の候補は複数存在することが多い。それぞれの施策の因果効果を明らかにし、成果の見込める費用対効果の高い施策に税金や人的資源などのリソースを再配分できることが、EBPMの意義だ。

 政策の因果効果を明らかにするための方法の1つは、施策を実施した集団と実施していない集団のアウトカムを比較することだ。ここで重要なのが集団の分け方だ。学習支援プログラムの効果を測るためには、親の教育熱心さの度合いや、子ども自身のやる気など、施策以外の要因を排除する必要がある。希望者に対して学習支援プログラムを提供するような施策の場合、施策対象者が教育熱心な家庭などに偏るリスクがある。そこで有用なツールとなるのが「ランダム化比較試験」だ。対象者が特定の属性に偏らないよう、実施者と非実施者をランダムに割り当てたうえで、両集団のアウトカムの差から政策の因果効果を検証する方法である。

 日本の取り組みは統計改革を起点としてスタートしたため、統計の精度向上がEBPMだと誤解されがちだが、EBPMの本質は施策の因果効果を見極めながら意思決定することである。統計整備やファクトの把握、ロジックモデルの構築なども重要な準備作業だが、日本はそれに注力しすぎているきらいがある。本来の意義に立ち戻って、政策の因果効果を確認・検証していく必要がある。

 今後、EBPMを推進していくには行政内部の職員だけでは限界がある。行政の内部・外部のリソースを連携させながら、小規模で簡単なものから具体的な事例を積み上げていくことを始めるとよい。

識者が読者に推薦する1冊

識者が読者に推薦する1冊

エステル・デュフロ、レイチェル・グレナスター、マイケル・クレーマー〔2019〕『政策評価のための因果関係の見つけ方―ランダム化比較試験入門』小林庸平監訳・解説、石川貴之・井上領介・名取淳訳 日本評論社

識者に問う

EBPMの意義と限界は何か。推進のための課題は何か。

中室牧子

過度な信頼は、逆効果になる場合も

中室牧子

慶應義塾大学総合政策学部教授

KEYWORDS

相関関係、因果関係、Scared Straight、厳密な政策評価

 日本代表として3度もオリンピックに出場した元陸上競技選手の為末大氏が「トップ選手の扁平足(へんぺいそく)」というエッセーを寄稿していた。有名な陸上選手が扁平足だというのだ。こうしたエピソードを耳にすると、多くの人は「扁平足の人は足が速いのか」と思ってしまう。しかし、為末氏は「足が速い人が扁平足だったという話と、扁平足であれば速いという話は違う」と指摘する。そして、「天才が持ち合わせていた特徴。いい結果が出た時に行われていたこと。それらは迷信になりやすい」とも述べている。実際には、オリンピックに出場した選手は扁平足でない人の方が多いそうだ。

 この話は、EBPMがなぜ重要かを理解するうえで役に立つ。足が速い人が扁平足だということ(相関関係)と、扁平足だから足が速かったということ(因果関係)は、違うのだ。相関関係しか確認されないことに、過度な信頼を置いて社会全体で実施すると、期待した効果が得られないどころか逆効果になってしまうこともある。例えば、1978年に撮影され、アカデミー賞まで受賞したドキュメンタリー映画「Scared Straight」のもたらした教訓は大きい。この映画では、刑務所に収監されている受刑者と3時間のセッションを行った不良少年のグループを撮影した。その後、1980年、87年、99年に同じ少年たちのその後を撮影した際には、セッションに参加した不良少年たちが一様に更生し、深刻な犯罪に関わるものがいなかったというのである。この後、アメリカでは、不良少年の更生プログラムとして"Scared Straight"を採用した州政府が増加した。

 しかし、後に研究者が、同様の更生プログラムに参加する少年と参加しない少年をランダムに分け、彼らの追跡調査を行うと、プログラムに参加した少年たちの方が、参加しなかった少年たちよりも犯罪に関わり、逮捕されている確率が高かったことが明らかになったのだ。こうした政策評価は「ランダム化比較試験」と呼び、相関関係ではなく因果関係を明らかにするための方法として知られる。EBPMはこのように、因果関係を明らかにする厳密な方法を採ることが望ましい。就学期の生徒は発達や情緒の面で変化が早く、政策が行われなかったとしても生じた変化を政策の効果であると誤解しやすい。Scared Straight のように、逆効果になってしまう例を生み出さないためにも、厳密な政策評価が重要だ。(寄稿)

識者が読者に推薦する1冊

識者が読者に推薦する1冊

中室牧子・津川友介〔2017〕『「原因と結果」の経済学―データから真実を見抜く思考法』 ダイヤモンド社

識者に問う

EBPMの意義と限界は何か。推進のための課題は何か。

マーティン・ハマーズリー

EBPMの限界

マーティン・ハマーズリー

英オープン大学名誉教授

KEYWORDS

政治的な正当性、実践上の経験や現場判断、政策を実施するコンテクスト、定性的手法

 EBPMの導入で政策立案の質が劇的に向上すると期待するのは、現実的ではない。科学的根拠は政策立案の質を向上しうるが、それを保証することはできない。

 もちろん、公共政策を決定する際には、その「根拠」を知っていなければならない。しかし、EBPMでいう根拠とは科学的なもので、しばしば、ランダム化比較試験(RCTs)を体系的に評価したものに限定されている。さらに、この根拠は、「何が有効か否か、従って政策担当者が何をすべきか」を明らかにするためのものと受け止められている。ここに幾つかの問題がある。

1 政策形成の過程に誤った想定を取り込んでしまう。政策の効果は、政策担当者が考慮する事柄だけではない。他にも、例えば、政治的に正当化できるのか、他の代替案と比較しどれだけコストが大きいか、さらに、政策を実施する人や影響を受ける人の姿勢や行動に、不快な影響を長期的に及ぼすのかといった点も、関わってくる。

2 実践上の経験価値や、政策形成における現場の判断の必要性を過小評価している。

3 RCTsの根拠の信頼性を過大評価している。確かにRCTsは説得力のある調査手法だが、信頼性に対する潜在的な脅威を全てコントロールできるわけではない。薬の治験では、治療の標準化や成果の精緻な測定は大抵可能だが、社会・教育分野の政策でそれを実現することは、はるかに難しい。さらに、RCTsからは、コンテクストが異なると政策の効果がどう変わるのかの情報はほとんどない。これは決定的な問題である。なぜなら、ある政策を実施する環境は、多くの場合、根拠が得られた環境とは大きく違っているからだ。

4 他の種類の調査から得られるあらゆる根拠―定性的な手法を含めて―の価値と信頼性を過小評価している。これらは政策の前提についての深い理解を与えてくれるものだ。中には疑問の余地があるものもあるかもしれないが、その政策の実施者や政策の影響を受ける人びとの見方と実践面について不可欠な知識が得られる。

 少しずつ、EBPMの考え方は寛容になっている。EBPMに必要なのは、必ずしも根拠に「基づく」ことではなく、「勘案する(インフォームド)」ことだと考えられてきているし、また、根拠として受け入れられるものも広がっている。この動きは特に、科学的根拠が政策形成に果たしうる役割には限界があることを認めるという点で有益なものである。とはいえ、EBPMの新規性を喪失させることにもなり、それゆえに、多くの反論もされている。
(寄稿) *原文は英語版に掲載

識者が読者に推薦する1冊

識者が読者に推薦する1冊

Martyn Hammersley〔2013〕"The Myth of Research-Based Policy and Practice" SAGE Publications Ltd

識者に問う

EBPMの意義と限界は何か。推進のための課題は何か。

渡辺努

官民ともにデータドリブン型への変革が必要

渡辺努

東京大学大学院経済学研究科教授

KEYWORDS

民間のデータやノウハウを活用、データドリブンの政策形成、民間と政府の役割分担

 2017年の閣議でEBPM推進の方針が定められ、各府省で実践に着手する段階に入った。組織としての対応は徐々に進んでいるが、政策決定の現場までは浸透していない。大きな理由は、政府が民間の力を活用していないことにある。それには2つの意味がある。1つは、民間が持っているデータを活用していないということだ。科学的な評価には、各種のデータが不可欠だ。今は、民間が圧倒的にデータを持っている。民間のデータをもっと上手に使わないと、EBPMもなかなか進まないだろう。もう1つは、データ分析や統計作成も、民間ができるところは民間に任せるという発想が政府側に乏しい。民間はデータの保有だけでなく、それを分析する人材の面でも政府に勝っている。これを利用しない手はない。

 日本は、データの利活用が先進各国と比べて遅れている。アメリカでは、政府や中央銀行が民間の力を借りながらデータドリブンの政策形成を始めている。FRBはクレジットカードの業務処理会社からデータを入手し、消費の動向を迅速かつ精度高く把握する体制を整えつつある。例えば、為替の変化でインバウンドの訪問客数や1人当たりの消費がどのように変わるかを調べるというような分析を行っている。伝統的な政府統計では分からなかった世界だ。原データのノイズ処理などの手間のかかる作業は民間のベンチャー企業に委ねるなど、民間と上手に役割分担している。民間のデータやノウハウを使って、官民がともにデータ利活用をスピードアップさせているのは、ヨーロッパも同じだ。

 日本では、一部の金融機関でデータ活用が始まっているものの、データドリブン型の意思決定への変革は、官民ともにスピード感に欠けるのが現状だ。日本でEBPMの成否のカギを握るのは大学だろう。大学は、EBPMに不可欠な因果推論のノウハウとそれを実践する多くの人材を抱えている。これを上手に利用するための仕組み作りが始まっている。この動きが一気に加速することを期待したい。

識者が読者に推薦する1冊

識者が読者に推薦する1冊

アビジット・V・バナジー、エステル・デュフロ〔2012〕『貧乏人の経済学―もういちど貧困問題を根っこから考える』山形浩生訳 みすず書房

引用を行う際には、以下を参考に出典の明記をお願いいたします。
(出典)NIRA総合研究開発機構(2019)「科学的分析は政策の質を高めるか」わたしの構想No.45

データで見る

  • ランダム化比較試験

  • ランダム化比較試験

  • 不十分な検証をもとに実施された更生プログラム

    注)プログラム実施時に被験者を処置群(プログラム受講)と対照群(受講なし)に分ける際の無作為の度合いの評価。実験者が被験者の属性の情報を知ることなく、被験者を分けている場合は評価Aで「十分」、Bは記録がなく「不明」、Cは「不十分」を示す。
    出所)Petrosino A, Turpin-Petrosino C, Hollis-Peel ME, and Lavenberg JG.(2013)"Scared Straight and Other Juvenile Awareness Programs for Preventing Juvenile Delinquency: A Systematic Review" Campbell Systematic Reviews をもとに作成。

  • 不十分な検証をもとに実施された更生プログラム

    注)プログラム実施時に被験者を処置群(プログラム受講)と対照群(受講なし)に分ける際の無作為の度合いの評価。実験者が被験者の属性の情報を知ることなく、被験者を分けている場合は評価Aで「十分」、Bは記録がなく「不明」、Cは「不十分」を示す。
    出所)Petrosino A, Turpin-Petrosino C, Hollis-Peel ME, and Lavenberg JG.(2013)"Scared Straight and Other Juvenile Awareness Programs for Preventing Juvenile Delinquency: A Systematic Review" Campbell Systematic Reviews をもとに作成。

  • 国際開発分野におけるインパクト評価(2000-2012年)

    注)インパクト評価の件数は、International Initiative for Impact Evaluation (3ie)のデータベースに登録されている、インパクト評価の報告書の数。グラフは報告書の件数を開発分野ごとに集計し、シェアを示している。件数は開発分野をまたぐ重複を含む。3ieは、2008年設立のエビデンスに基づいた国際開発を促進する国際NGO。
    出所)Cameron DB, Mishra A, Brown AN (2016)“The growth of impact evaluation for international development: how much have we learned?”、“3ie ウェブサイト” (2019年11月11日アクセス)をもとに作成。

    付表

  • 国際開発分野におけるインパクト評価(2000-2012年)

    注)インパクト評価の件数は、International Initiative for Impact Evaluation (3ie)のデータベースに登録されている、インパクト評価の報告書の数。グラフは報告書の件数を開発分野ごとに集計し、シェアを示している。件数は開発分野をまたぐ重複を含む。3ieは、2008年設立のエビデンスに基づいた国際開発を促進する国際NGO。
    出所)Cameron DB, Mishra A, Brown AN (2016)“The growth of impact evaluation for international development: how much have we learned?”、“3ie ウェブサイト” (2019年11月11日アクセス)をもとに作成。

    付表

  • イギリスにおけるエビデンス活用を促す取り組み:What Works Centre(WWC)のネットワーク

    出所)WWC 各機関のウェブサイトをもとに作成。参照:Guidance What Works Network

  • イギリスにおけるエビデンス活用を促す取り組み:What Works Centre(WWC)のネットワーク

    出所)WWC 各機関のウェブサイトをもとに作成。参照:Guidance What Works Network

ⓒ公益財団法人NIRA総合研究開発機構
編集:神田玲子、榊麻衣子(エディター)、北島あゆみ、山路達也
※本誌に関するご感想・ご意見をお寄せください。E-mail:info@nira.or.jp

研究の成果一覧へ