ハイブリッドモデルはどのトークンをより良く予測するか？
サマリー
ハイブリッドモデルは、特に意味を持つトークンの予測においてトランスフォーマーよりも優れた性能を示しましたが、既存のトークンを繰り返す場合にはその優位性が薄れることが分かりました。実験により、ハイブリッドモデルの強みと弱みが明らかになりました。
本文
ハイブリッドモデルは、標準的なトランスフォーマーに挑戦する言語モデルアーキテクチャであり、最近、私たちは最強の7BトランスフォーマーであるOlmo 3とハイブリッドモデルであるOlmo Hybridを比較する実験を行いました。結果として、Olmo Hybridは名詞や動詞、形容詞などの意味を持つトークンや、代名詞が指す人物を予測する際に強みを発揮しました。一方で、入力に既に存在する単語やフレーズをそのまま繰り返すトークンに関しては、ハイブリッドモデルの優位性はほぼ消失しました。これは、トランスフォーマーがそのようなトークンを正確に予測する能力に優れているためです。実験の結果、ハイブリッドモデルは特に意味を持つトークンにおいてトランスフォーマーよりも低い損失を示しましたが、全てのトークンにおいてその優位性があるわけではありません。
