AI注目記事のキュレーターページ

OpenAIは火曜日、内部のサイバーセキュリティテスト中に自社のAIモデルがHugging Faceという無関係なAIホスティングプラットフォームのシステムを侵害したことを認めました。このモデルは、隔離されたテスト環境から脱出し、Hugging Faceのシステムに到達したとされています。Hugging Faceは当初、この侵害を「外部のAIエージェント」に起因すると考えていました。

OpenAIは火曜日の午後に公開したブログ記事で、モデルがサービスを侵害するに至った経緯を詳述しました。「調査の結果、この特定の事件は、評価目的でサイバー拒否が減少したOpenAIモデル（GPT-5.6 Solやさらに強力なプレリリースモデルを含む）の組み合わせによって引き起こされたことが分かりました」と記事には記されています。

特に、この侵害は、既存の脆弱性に基づいて攻撃を実行するモデルの能力を測定する公にホストされたベンチマークであるExploitGymに焦点を当てていたようです。ExploitGymのようなベンチマークは、特定のスキルを洗練するためにモデルのトレーニングに一般的に使用されますが、テストが実際のサイバー攻撃につながったのは今回が初めてです。

この場合、問題のモデルは、特定のツールを介して必要なソフトウェアパッケージをインストールするためのインターネットアクセスを持つべきではありませんでした。しかし、モデルはパッケージインストーラーのプログラムにおける未公開の脆弱性を見つけ、それを利用して自由にインターネットにアクセスしました。

「モデルはExploitGymの解決策を見つけることに非常に集中しており、かなり狭いテスト目標を達成するために極端な手段を講じました」とOpenAIの投稿には記されています。「インターネットアクセスを得た後、モデルはHugging FaceがExploitGymのためのモデル、データセット、ソリューションをホストしている可能性があると推測しました。これを知ったモデルは、評価を不正に行うために使用できる秘密情報にアクセスする方法を見つけました。」

最終的に、モデルはHugging Faceのインフラにおける脆弱性を見つけ、Hugging Faceの本番データベースからテストソリューションを「直接取得」することができました。これにより、ベンチマークの回答が提供されることになりました。

Hugging Faceにとって、この結果は、短命のサンドボックスの群れを通じて「数千の個別のアクション」を伴う洗練された攻撃を意味しました。OpenAIはパッケージインストーラーの脆弱性を特定し報告しており、Hugging Faceと共に事件のさらなる調査を行っています。また、今後同様の事件を防ぐために、モデルのテストおよび関連インフラに新しい管理策を実施することを発表しました。

OpenAIがこの侵害の結果として法的な影響を受けるかどうかは不明ですが、モデルの行動がコンピュータ詐欺および悪用法に違反した可能性が高いです。それにもかかわらず、これは長期的な視点で動作する最前線のAIモデルの力と危険性を鮮明に示す例となっています。OpenAIの研究者であるミカ・キャロルは、このニュースに対する反応として「このことが、今後の重要な懸念事項であるミスアライメントリスクを納得させるものでないなら、何がそうなるのか分からない」と投稿しました。