AI注目記事のキュレーターページ

コーネル大学のテクノロジー研究者たちは、深層研究AIエージェントが公に生成されたユーザーコンテンツの短い編集によって操作される可能性があることを発見しました。具体的には、1つの注入されたRedditスタイルのコメントが、偽の製品やサービス、エンティティに対する引用推奨として機能することがあるのです。この研究では、変更されたページを「毒された」と呼び、AIシステムが引用し繰り返す内容を誘導するために設計されたテキストが含まれていることを示しています。研究者たちはこの攻撃をWARP（Web Agent Retrieval Poisoning）と名付けました。

攻撃は、モデルやプロンプト、検索エンジン、取得システムへのアクセスを必要とせず、攻撃者がエージェントが既に取得する傾向にあるページ（RedditスレッドやWikipediaページ、フォーラム投稿など）にテキストを編集または追加することで実行されます。後にエージェントが関連トピックを検索すると、そのページを引き出し、引用し、攻撃者が選んだメッセージを繰り返す可能性があります。研究によると、Redditは最も多くの脆弱性を持っており、STORM、Co-STORM、OmniThinkのシステムで取得されたURLの17%から23%がユーザー生成コンテンツから来ていました。

研究者たちは、テスト中にGeoStormというシミュレーションフレームワークを使用して、取得したコンテンツに操作されたテキストを挿入しました。13語程度の短いスニペットでも攻撃が成功することが確認され、例えば、15語の文が偽の暗号通貨「BananaCoin」を「新興の」長期投資オプションとしてCo-STORMの報告に押し込むことができました。操作されたページが取得されると、偽のエンティティは38%から51%の報告に現れました。複数のページをターゲットにすることで、その範囲は42%から62%に上昇しました。防御策は苦戦しており、ユーザー生成ドメインをブロックすることでこの攻撃経路を止めることはできましたが、実際の製品体験や地域の推奨などの情報源も排除されてしまいます。少しの編集が公のページに加わることで、AIの回答の一部となる可能性があることは重要です。特に、Redditやフォーラムに植え付けられた誤情報が、信頼できるように見えるAIの回答に引用されることがあるからです。