研究

実験を宙に浮かせない: 問いに答えられる実験の考え方

公開日:

AIエージェントと研究ノートのカードを背景に、第5回「実験を宙に浮かせない」と示す画像

実験をしても、問いに答えられなければ研究にならない

実験や調査を進め、結果が出ても、「この結果から何が言えるのか」と聞かれて答えられないことがある。何かを試すこと自体が目的になり、研究の問いと実験の結果が結び付いていないためである。

実験は、何かを行って結果を得ること自体を目的にするものではない。どのような結果が出ても、研究の問いへ答えを返せるように設計する。そのために、実験の前に問い、比較、評価、結果の解釈をつなげておく。

この記事は、実験や調査を始めたものの、何と比べ、何を評価すればよいか迷う人に向ける。分野ごとの統計手法や評価指標の詳細は扱わない。

この記事で学べること

問いから、結果ごとの結論を先に考える

実験を始める前に、まず「この実験で何を確かめたいのか」を一文で置く。たとえば、「ある工夫を加えると、基準となる条件より、問いで確かめたい点を改善できるか」のように書ける。

次に、起こり得る結果ごとに何が言えるかを考える。望む結果だけでなく、差が出ない場合や悪くなる場合も含める。

起こり得る結果その結果から言えることまだ言えないこと
工夫を加えた条件が、あらかじめ決めた評価で比較対象より良い結果を示すこの条件・この評価では改善が見られたどの条件でも改善すること、改善した理由
差が見られないこの条件・この評価では、改善を示せなかった工夫に価値がないこと全般
工夫を加えた条件が、あらかじめ決めた評価で比較対象より悪い結果を示すこの条件では、改善を示せなかったどの要素が原因か、別の条件でも同じか

ここで大切なのは、望む結論を先に決めることではない。どの結果になっても、問いに対して何を答えられるかを確認することである。どの行にも問いへの答えがないなら、実験を実行する前に設計を見直せる。

ここで先に確かめるのは、実験全体で何を示したいのかである。二つの工夫を組み合わせた方法が良いかを示したいのか、それぞれの工夫が何に関わるかまで示したいのかで、必要な比較は変わる。

仮説は、その確認を始めるための仮置きである。外れたとしても、比較や条件を見直す手がかりになる。仮説を守るために結果の見方を変えてはいけない。

比較対象・評価指標・条件を、問いから選ぶ

比較対象、評価指標、実験条件には、それぞれ「なぜ必要なのか」という理由がある。その理由を問いから説明できなければ、結果が出た後に結論を支えにくい。

ここでいうベースラインは、効果を測定したい工夫を適用していない、比較の基準となる条件を指す。比較対象は、このベースラインのように、結果を比べる相手である。評価指標は、比較対象との差を数値で比べるために、事前に定める定量的な基準を指す。数値だけでは問いに答えられない場合は、評価指標とは別に、観察や解釈をどのように扱うかも決める。

要素問いとのつながり
比較対象何と比べれば、問いに答えられるかを示す。
評価指標問いで確かめたいことを、どの数値で確かめるかを決める。
条件どの対象・設定で結論を述べられるかを決める。同じ方法でも、条件が変われば結果の意味が変わることがある。

複数の工夫は、別々の条件でも比べる

二つの工夫をそれぞれ評価したいなら、二つをまとめて加えた条件だけでは足りない。結果が良くても、どちらの工夫が関わったのか、二つを組み合わせたことで変わったのかを分けて考えられないためである。

条件比べて確かめること
ベースライン比較の基準
ベースライン + 工夫A工夫Aを加えた差
ベースライン + 工夫B工夫Bを加えた差
ベースライン + 工夫A + 工夫B二つを組み合わせたときの結果

実験全体で変える点を一つだけに限定する必要はない。ただし、比べる条件の組ごとに、何が違うかを説明できるようにする。たとえば、ベースラインと「ベースライン + 工夫A」を比べるなら、違いは工夫Aだけである。こうした比較を重ねることで、各工夫と組み合わせの結果を分けて考えられる。

たとえば、問いが「ある工夫によって結果を説明しやすくなるか」なら、単に一つの数値だけを比べるのでは答えにくい。説明しやすさをどう確かめるか、そのために何と比べるかを先に決める必要がある。

実験計画を書いたら、各要素の横に「この問いに答えるために必要な理由」を一文で書いてみる。書けない要素は、不要なのではなく、目的や役割がまだ曖昧なのかもしれない。問いに戻って確かめる。

まとめ: 実験は問いへの答えを得るために設計する

実験の前に、問いを一文で置き、起こり得る結果ごとに言えることを考える。そのうえで、比較対象・評価指標・条件を、問いに答えるために必要なものとして選ぶ。

予想と違う結果も、失敗として捨てる必要はない。次にどの問い、比較、条件を見直すかを考える材料になる。実験で何を試し、何が分かり、次に何をするかを残す方法は、第6回で扱う。