AI注目記事のキュレーターページ

数ヶ月にわたり、AIの大手企業は悪意のあるハッカーによるモデルの使用を制限するために特別なプログラムや厳格なガードレールを設けてきました。しかし、これらの制限は正当なネットワーク防御者や攻撃的サイバーセキュリティ研究者の活動を妨げています。6月には、米国政府がAnthropicのAIモデル「Mythos」と「Fable」に対して輸出管理制限を課しました。この動きは、ユーザーが悪意のあるサイバー攻撃を実行するためにモデルのガードレールを回避できる可能性があるとの報告を受けてのものでした。AnthropicはMythosを厳選されたユーザーにのみ提供する「終末的サイバー機械」としてマーケティングしてきましたが、これにより研究者たちは新たな脆弱性を発見し、悪用する方法を考案することが難しくなっています。多くの研究者は、AIモデルのガードレールが彼らの仕事を妨げていると批判しています。特に、NCC Groupのクリス・アンリー氏は、バグを悪用するためにAIモデルに試みさせることが重要であると述べ、ガードレールがそのプロセスを妨げていると指摘しました。AIのガードレールが攻撃的なセキュリティ研究者の活動を制限する一方で、オープンソースのAIモデルに頼る研究者も増えています。サイバーセキュリティの専門家たちは、AIのガードレールが彼らの活動を妨げていると感じており、これが結果的にサイバー防御の能力を低下させる可能性があると警告しています。