AI注目記事のキュレーターページ

マット・レンハードによる興味深い調査が、さまざまなソースからAPIキーをプールして割引価格でLLMトークンを転売する市場について明らかにしています。この市場は主に中国で見られ、転売業者は、無料トライアルを悪用したり、無防備なサポートボットを介してプロキシを通したり、時には盗まれたクレジットカードやチャージバック攻撃を利用して、通常のAPI価格よりも大幅に割引されたLLMプロキシへのアクセスを販売しています。彼らが使用しているソフトウェアはオープンソースで、主にone-apiやそのより活発に開発されているフォークのnew-apiなど、APIクレデンシャルのプールにリクエストを負荷分散するために使用できる正当なAPIプロキシ製品です。購入者は安価なトークンを求め、地理的制限を回避し、場合によってはモデル蒸留のためのデータを収集しています。私は自分のLLM駆動アプリケーションを公に公開することに慎重になっており、悪用による大きなトークン請求書が発生することを恐れています。この市場の存在は、無防備なエンドポイントを見つけて悪用することで利益を得ることができるエコシステムが存在するため、さらに私を慎重にさせています。LLMベンダーは、APIキーに対して厳格な上限を提供する必要があります。私は、設定した金額の閾値に達した瞬間に私のLLMアプリが動作を停止することを望んでいます。