Experiment Design for Computer Sciences まとめ

はじめに

この記事は、筑波大学院のcaranha先生の授業
https://caranha.github.io/ExperimentDesignCS/
についてまとめていくものです。

1 What is an experiment?

科学的方法

科学的方法は、科学的根拠・結果を得るための方法である。

このうち、実験の方法はおもに

  • 仮設
  • 実験
  • 分析

の繰り返しと言われている。
この実験を公平に行うことが大切である。

しかし、今の実験はさらに複雑になっている。

良い実験の4条件

Falsifiability Hypothesis

反証可能性という意味。
実験において、立てた、示した仮説は必ず「他の良い実験」によって、反証可能である必要であること。
もし、他のより良い結果を示した他の実験によって駄目だと示されたとき、屁理屈がいえるような仮説は仮説でない。

実験の仮説・示したことは、他の実験で示されるようにする必要がある。

Useful Predictionsである必要でもある。
世の中に対して些細な仮説を立てるのは簡単。(簡単な仮説)

サイエンスにおける仮説とは反証可能でありながら、協力かつ役に立つものであるべきである。

実験のタイプ

実験は主に3つに分けられる。

  1. 観察実験 Observational Experiment
    1. 街中などで観察を行うもの
    2. きちんとちゃんと条件を決めて、フェアなものを観察する必要がある
  2. 回顧実験 Retrospective Experiment
    1. 昔の文献などを用いて実験するもの
    2. 探すのが大変
    3. その文献自体が間違っているかも、という意識を持つべき
  3. コントロール実験 Controlled Experiment
    1. 実験者がパラメータを決めて実験するもの。
    2. 気をつけないと、実験に偏り(bias)ができたり、フェアでなくなる
    3. 多分多くのScienceの実験はここにはいる(一部回顧実験がはいる)

What is Experiment Design? 実験設計

正しい実験をするためには、必ず実験を設計する必要がある。

  • どのようなデータを使うのか?
  • どの順番で実験するのか?
  • どのパラメータを決めるのか?

など、これらの疑問や項目に対して、正しい実験をするためのものがExperiment Designである。

Pre-registerd Experiment

https://www.cos.io/prereg

Pre-registered Experimentは、データを集める前から、
実験の設定ややり方を予め決めておくこと。

データを集めて、そのデータを見ながら実験に合わせて値を変えていくと、自分で立てた仮説に合うような手法や実験方法になってしまう。

そのため、データを集める前から

  • どうしてこの実験をするのか?
  • どういう仮説の上で、この実験をするとこういう結果がおそらく得られて、こういうのが示せる!

というのを決めて、公平な実験をする。

Reproducible Expriments

再現可能な実験のこと。

実験とは、他の研究者でも復元でき、結果を改善できる必要がある。
また、社会もその結果を利用できるべき。

そのためには、

  • 実験方法や、パラメータをオープンにする
  • ソースコードやデータをオープンにする
  • ドキュメントを公開する

とにかく、他の研究者が使えるように
実験方法もデータも手法もGitHubで公開しよう!

他者に利用してもらえれば、経歴にもいいらしい><

まとめ

  • 実験とは、反証可能である必要がある。
  • Experimental designは、実験の種類を定義して、どうデータを集めるか?を定義するものである。
  • 実験やデータを、再現可能にしよう。

感想

データや実験を前もって、仮説を立てて
実験も前もって決めてから、その後に再現可能な実験をして、オープンにしよう><

URL

https://undsci.berkeley.edu/article/intro_01
https://www.youtube.com/watch?v=ZIwyNIdgJBE