GPT-3.5 Turbo 1106

OpenAI互換のチャット完了エンドポイントを介してモデルID gpt-3.5-turbo-1106を使用してください。JSONモードと関数呼び出しをサポートしています。

gpt-3.5-turbo-1106 のキャッシュヒットには、リクエスト間で同一のプロンプトプレフィックスが必要です。安定した命令と参照資料をプロンプトの先頭に配置し、バイト単位で同一に保ち、変更される部分をその後に記述してください。こうすることで、キャッシュされた読み取りは入力レートではなくキャッシュレートで課金されます。

本番環境のトラフィックをgpt-3.5-turbo-1106に切り替える前に、トラフィックの代表的な部分でパイロットテストを実行し、出力品質、同時接続ピーク時のレイテンシ、リクエストあたりのコストを確認してください。エラーと再試行の動作を確認し、依存するリクエスト制限がプランと一致していることを確認してください。

gpt-3.5-turbo-1106はカタログステータスstableで登録されています。記録されているリリース日は2023-11-06です。長期的な統合を構築する前に、モデルページで非推奨に関する通知を確認してください。

はい。JSONモード、再現可能な出力、並列関数呼び出しをサポートしています。ご自身のツール定義でテストしてみてください。

gpt-3.5-turbo-1106 レート制限は、MixRoute のサブスクリプション プランによって異なります。コンソールでプランの詳細を確認し、1 分あたりのリクエスト数 (RPM) と 1 分あたりのトークン数 (TPM) の制限を確認してください。本番環境で使用する前に、小規模な負荷テストを実行して、実際の割り当て量を確認してください。

GPT-3.5 Turboは使用量に応じて課金され、レコードには無料枠の割り当ては記載されていません。現在の公開レートは、入力$1.0000/1Mトークン、出力$2.0000/1Mトークンです。トライアルクレジットまたはプロモーション割り当てはモデルではなくアカウントに紐づいているため、無料枠を考慮して計画を立てる前にコンソールを確認してください。