【研究者向け】Deep Forest: Towards An Alternative to Deep Neural Networks【Deep Learningの代替となるか？】

挑戦的なタイトルで物議を醸している論文です。投稿日は2017/2/28。

投稿者は南京大学のZhi-Hua Zhou氏。中国で最高峰の機械学習研究者です。

https://scholar.google.com/citations?user=rSVIHasAAAAJ

簡単に言うと、多段階決定木をstackして深く(Deepに)した手法が、Deep Learningに精度で匹敵し、ハイパーパラメータが少なく済み、小規模な訓練データでうまく行く、という話。

そもそもKaggleではxgboostが色んなタスクでstate-of-the-artであり、boostingは強いなぁという印象。

機械学習の研究者・開発者は動向を追うべきでしょう。実装も（今は見つけてませんが）すぐ出てくると思われます。

【2017/3/13追記】Rでの実装をした人がいました。情報提供感謝いたします。

github.com

arXiv:[1702.08835] Deep Forest: Towards An Alternative to Deep Neural Networks

【abstract翻訳】

本稿では、深層ニューラルネットワークに匹敵するパフォーマンスを持つ意思決定木アンサンブル手法であるgcForestを提案する。ハイパーパラメータチューニングに大きな労力を必要とする深層ニューラルネットワークとは対照的に、gcForestは訓練することがずっと簡単です。実際、gcForestを異なるドメインの異なるデータに適用しても、ほぼ同じハイパーパラメータの設定で優れたパフォーマンスを達成できます。 gcForestのトレーニングプロセスは効率的でスケーラブルです。我々の実験では、PC上で実行されるトレーニング時間は、GPU機能を実行する深層ニューラルネットワークのトレーニング時間に匹敵し、gcForestは自然に並列実装に適しているため、効率の利点がより明らかになる可能性があります。さらに、大規模な訓練データを必要とする深層ニューラルネットワークとは対照的に、gcForestは、小規模な訓練データしかない場合でもうまく機能します。さらに、ツリーベースのアプローチとして、gcForestは、深層ニューラルネットワークよりも理論的解析が容易です。