AI注目記事のキュレーターページ

エージェントが私たちのソフトウェアと共に作業することが増えています。タスクを記述すると、エージェントはライブラリを選び、呼び出しを作成し、実行し、自分のミスをデバッグします。ライブラリが障害となる場合、エージェントはそれを回避し、ロジックを最初から書き直すこともあります。このような状況では、コードは正確で速いだけでなく、エージェントが効果的に操作できるように設計される必要があります。多くのベンチマークは最終的な答えだけを見ますが、私たちはプロセス全体を評価したいと考えました。具体的には、エージェントがタスクを完了するためにどれだけの労力を要したかを測定しました。これにより、ライブラリの改善がエージェントのパフォーマンスにどのように影響するかを評価することができます。私たちは、エージェントがタスクを実行する際の作業量を評価するためのツールを導入し、オープンモデルを使用して実行しました。