DiScoFormer: 密度とスコアを一つのトランスフォーマーで推定する新手法
サマリー
DiScoFormerは、データポイントから分布の密度とスコアを一度の前方パスで推定する新しいトランスフォーマーモデルです。従来のカーネル密度推定と比較して、高次元での精度が大幅に向上しています。生成モデルやベイズ推論など、さまざまな分野での応用が期待されます。
本文
多くの機械学習や科学の問題は、データポイントの集合からその分布を復元することに帰着します。つまり、どの値が一般的で、どの値が稀であるかを知りたいのです。この分布を特定するためには、分布の密度とスコアの2つの量を推定する必要があります。密度はヒストグラムの滑らかなバージョンであり、スコアは対数密度の勾配で、密度が最も急激に上昇する方向を示します。DiScoFormer（Density and Score Transformer）は、データポイントのセットを与えると、単一の前方パスで分布の密度とスコアを推定する新しいモデルです。このモデルは、トランスフォーマーブロックのスタックを使用して、密度とスコアを評価します。DiScoFormerは、従来のカーネル密度推定（KDE）と比較して、密度とスコアの推定精度が高く、特に高次元での性能が優れています。特に、100次元では、最適に調整されたKDEと比較して、スコア誤差を約6.5倍、密度誤差を37倍以上削減します。DiScoFormerは、生成モデルやベイズ推論、科学計算など多くの分野でのスコア推定の共有依存性を持ち、高次元でも正確さを維持し、問題ごとに再学習する必要がないため、コスト削減が期待されます。
