250+モデル
1つのAPIキー6,000RPM
申請に応じて対応 · 通常は当日300KRPM
エンタープライズ1顧客あたりの最大値300MTPM
エンタープライズ1顧客あたりの最大値ご利用中のモデルの上限を引き上げ · 250以上のモデル
429の繰り返し
再試行の繰り返しをやめて。 上限を引き上げましょう。
上限に阻まれている状態
- ピーク時に429が発生し、再試行が積み重なる
- 利用額を増やして解放する利用ティアに上限が連動
- TPMの上限に達すると、RPMを引き上げても解決しない
- ピーク時のトラフィックが共用キューでほかの利用者と競合
MixRouteなら
- 6,000 RPM を申請でき、 最大300K RPM・300M TPM までエンタープライズで対応
- ほとんどの上限引き上げは当日中に完了
- スループットの保証が必要なときに、より高いレート上限
- 公式クラウド経由で公式モデルを提供
ご利用の流れ
3ステップで上限を引き上げ。
-
ピーク時の要件を共有
想定するRPMとTPM、利用するモデルをお知らせください。以下の フォーム に入力するか、 コンソールでチケットを作成 してください。
-
上限を引き上げます
申請で6,000 RPMに引き上げ、TPMはワークロードに応じて設定します。ほとんどの引き上げは当日中に完了します。
-
さらに必要な容量を確保
それ以上のスループット保証が必要ですか?エンタープライズでは最大300K RPM・300M TPMに対応し、ご利用予測に合わせて専用キャパシティを四半期ごとに計画します。
約束よりも実証
ピーク時の429が減るかどうか、ご自身で確かめてください。
お使いのOpenAI SDKの接続先を当社エンドポイントに変更し、実際の本番トラフィックを1週間流して、ピーク時のエラー率を確認してください。結果が同等でなく、エラーも減らなければ、キーを削除してください。費やしたのは30分だけです。
OpenAI SDK · Python
from openai import OpenAI client = OpenAI( base_url="https://api.openai.com/v1", base_url="https://api.mixroute.ai/v1", api_key="YOUR_MIXROUTE_KEY",)
レート上限を引き上げたいですか? ご相談ください。
50 RPMから始め、申請で6,000 RPMに引き上げられます。TPMはワークロードに応じて設定し、ほとんどの引き上げは当日中に完了します。