GPT-4 Turbo

OpenAI互換のチャット完了エンドポイントを介してモデルID gpt-4-turboを使用してください。ビジョンリクエストはJSONモードと関数呼び出しをサポートしています。

GPT-4 Turboは使用量に応じて課金され、レコードには無料枠の割り当ては記載されていません。現在の公開レートは、入力$10.0000/1Mトークン、出力$30.0000/1Mトークンです。トライアルクレジットまたはプロモーション割り当てはモデルではなくアカウントに紐づいているため、無料枠を考慮して計画を立てる前にコンソールを確認してください。

gpt-4-turboは、128,000トークンのコンテキストウィンドウ内で、リクエストごとに最大4,096個の出力トークンを返します。max_tokensパラメータを使用してレスポンスを制限し、単一の呼び出しが予算を超えないようにしてください。

gpt-4-turbo レート制限は、MixRoute のサブスクリプション プランによって異なります。コンソールでプランの詳細を確認し、1 分あたりのリクエスト数 (RPM) と 1 分あたりのトークン数 (TPM) の制限を確認してください。本番環境で使用する前に、小規模な負荷テストを実行して、実際の割り当て量を確認してください。

gpt-4-turbo の max_tokens を、タスクが実際に必要とする最長の応答時間に設定してください。4,096 のトークン上限値に設定しないでください。上限値を低く抑えることで、最悪の場合のコストを削減し、テールレイテンシを短縮できます。明らかに長い出力が必要なタスクの場合にのみ、上限値を上げてください。

gpt-4-turboはプロンプトキャッシュをサポートしているため、繰り返し使用されるプレフィックスは、ヒットした部分に対して低いキャッシュ料金で課金されます。正確な割引額およびキャッシュ書き込み料金については、最新の料金ページをご確認ください。