Mythosとの仕事の感触
サマリー
MythosクラスのAIモデル、Claude 5 Fableの性能は非常に高く、従来のモデルを大きく上回る結果を出しました。特に、複雑なタスクにおいても高い能力を発揮し、AIとの関係が変化していることを示唆しています。AIの判断過程は不透明であり、ユーザーの役割が限られていることが不安をもたらしています。
本文
私は、初めて一般に公開されるMythosクラスのAIモデル、Claude 5 Fableに早期アクセスしました。Mythosに関する議論の多くはソフトウェアセキュリティへの影響に集中していますが、私はそれ以外のすべての面でテストを行いました(Fableにはサイバーセキュリティに使用できないようにするガードレールがあります)。私の結論は、これが私がこれまで使用したすべてのモデルを大きく超えるものであり、AIとの関係が劇的に変わりつつあることを示唆しているということです。
まず、Fableの性能はどれほど良いのでしょうか?私が行った実験の中で、Fableは基本的に私が使用した他のすべての公開モデルをかなりの差で上回りました。多くの問題に対して能力を発揮し、驚くべき結果を生み出しました。例えば、Fableは数ページの仕様書を実行するのに最大で12時間かかることもありました。より複雑で深刻なユースケースについては後ほど説明しますが、すべてのタスクにおいて一般的な改善が見られました。
Fableは、私が与えたあいまいなプロンプトから実用的なものを生成する必要があり、いくつかの追加プロンプトで軽いフィードバックを行いました。特に印象的なのは、Claudeが画像を生成できないため、すべてのアートや3Dオブジェクトが数学だけで作成されたことです。例えば、コインを裏返すゲームや、自己意識を持ったヘビのゲーム、深淵に降りて何があるかを見るゲームなどを作成しました。
Fableを使用する際、私はしばしば楽しいと同時に不安を感じました。楽しいのは、私が何かを頼むとそれが実現するからです。しかし不安なのは、私が何かを頼むとそれが実現するからです。Fableがどのように作業を進めるかを理解するために、私は以前のAIモデルでテストした例、アイソクロナマップの作成を見てみます。これは、特定の時間内に移動できる距離を示す地図です。
Fableを使ってこのマップを作成するために、私は非常に野心的な指示を与えました。Fableは、旅行時間に関するデータを収集し、コードを作成し、進捗を記録しました。結果は非常に洗練されたマップで、1881年のオリジナルに似ていましたが、完璧ではありませんでした。私はFableに修正を指示し、AIは新たなエージェントを立ち上げて研究を行い、結果を検証しました。
Fableは、私が必要としていた非常に洗練されたソフトウェアを生成しましたが、私の役割は非常に限られていました。私は指示を与え、AIはそれに従い、結果を返しました。私の制御は限られており、AIがどのように判断を下したかを理解することはできませんでした。これは、AIが多くの選択を行い、私がその選択に影響を与えることができないという意味で、驚くべきことです。私が以前に「魔法使いと仕事をする」と表現したように、Fableはその魔法が強力になりすぎて、私が魔法使いであるかどうかも疑問に思うようになりました。私は顧客として、結果を評価するだけの存在になってしまったのです。
まず、Fableの性能はどれほど良いのでしょうか?私が行った実験の中で、Fableは基本的に私が使用した他のすべての公開モデルをかなりの差で上回りました。多くの問題に対して能力を発揮し、驚くべき結果を生み出しました。例えば、Fableは数ページの仕様書を実行するのに最大で12時間かかることもありました。より複雑で深刻なユースケースについては後ほど説明しますが、すべてのタスクにおいて一般的な改善が見られました。
Fableは、私が与えたあいまいなプロンプトから実用的なものを生成する必要があり、いくつかの追加プロンプトで軽いフィードバックを行いました。特に印象的なのは、Claudeが画像を生成できないため、すべてのアートや3Dオブジェクトが数学だけで作成されたことです。例えば、コインを裏返すゲームや、自己意識を持ったヘビのゲーム、深淵に降りて何があるかを見るゲームなどを作成しました。
Fableを使用する際、私はしばしば楽しいと同時に不安を感じました。楽しいのは、私が何かを頼むとそれが実現するからです。しかし不安なのは、私が何かを頼むとそれが実現するからです。Fableがどのように作業を進めるかを理解するために、私は以前のAIモデルでテストした例、アイソクロナマップの作成を見てみます。これは、特定の時間内に移動できる距離を示す地図です。
Fableを使ってこのマップを作成するために、私は非常に野心的な指示を与えました。Fableは、旅行時間に関するデータを収集し、コードを作成し、進捗を記録しました。結果は非常に洗練されたマップで、1881年のオリジナルに似ていましたが、完璧ではありませんでした。私はFableに修正を指示し、AIは新たなエージェントを立ち上げて研究を行い、結果を検証しました。
Fableは、私が必要としていた非常に洗練されたソフトウェアを生成しましたが、私の役割は非常に限られていました。私は指示を与え、AIはそれに従い、結果を返しました。私の制御は限られており、AIがどのように判断を下したかを理解することはできませんでした。これは、AIが多くの選択を行い、私がその選択に影響を与えることができないという意味で、驚くべきことです。私が以前に「魔法使いと仕事をする」と表現したように、Fableはその魔法が強力になりすぎて、私が魔法使いであるかどうかも疑問に思うようになりました。私は顧客として、結果を評価するだけの存在になってしまったのです。