【研究者向け】k*-Nearest Neighbors: From Global to Local — NIPS2016【論文】






The weighted k-nearest neighbors algorithm is one of the most fundamental non-parametric methods in pattern recognition and machine learning. The question of setting the optimal number of neighbors as well as the optimal weights has received much attention throughout the years, nevertheless this problem seems to have remained unsettled. In this paper we offer a simple approach to locally weighted regression/classification, where we make the bias-variance tradeoff explicit. Our formulation enables us to phrase a notion of optimal weights, and to efficiently find these weights as well as the optimal number of neighbors efficiently and adaptively, for each data point whose value we wish to estimate. The applicability of our approach is demonstrated on several datasets, showing superior performance over standard locally weighted methods.

重み付きk最近傍アルゴリズムは、パターン認識および機械学習における最も基本的な非パラメトリック方法の1つである。 近所の最適な数と最適な重みを設定する問題は、長年にわたり多くの注目を集めてきましたが、この問題は依然として不安定なままでした。 この論文では、偏微分トレードオフを明示的にする、局所的に重み付けされた回帰/分類への簡単なアプローチを提供します。 我々の定式化により、最適重みの概念をフレーズにし、価値を推定したい各データ点について、効率的かつ適応的にこれらの重みと最適な近傍数を効率的に見つけることができる。 我々のアプローチの適用性は、いくつかのデータセットで実証されており、標準的な局所重み付け法よりも優れた性能を示しています。






・ Information estimators for weighted observations — Neural Networks(2013)