GPT-3.5 Turbo 16k

OpenAI互換のチャット完了エンドポイントを介してモデルID gpt-3.5-turbo-16kを使用してください。コンテキストトークンの最大16K個をサポートします。

gpt-3.5-turbo-16k のキャッシュヒットには、リクエスト間で同一のプロンプトプレフィックスが必要です。安定した命令と参照資料をプロンプトの先頭に配置し、バイト単位で同一に保ち、変更される部分をその後に記述してください。こうすることで、キャッシュされた読み取りは入力レートではなくキャッシュレートで課金されます。

gpt-3.5-turbo-16k の max_tokens を、タスクが実際に必要とする最長の応答時間に設定してください。4,096 のトークン上限値に設定しないでください。上限値を低く抑えることで、最悪の場合のコストを削減し、テールレイテンシを短縮できます。明らかに長い出力が必要なタスクの場合にのみ、上限値を上げてください。

gpt-3.5-turbo-16kはカタログステータスstableで登録されています。記録されているリリース日は2023-08-28です。長期的な統合を構築する前に、モデルページで非推奨に関する通知を確認してください。

モデルドキュメントで現在の機能を確認してください。独自のツール定義を使用してテストしてください。

gpt-3.5-turbo-16k レート制限は、MixRoute のサブスクリプション プランによって異なります。コンソールでプランの詳細を確認し、1 分あたりのリクエスト数 (RPM) と 1 分あたりのトークン数 (TPM) の制限を確認してください。本番環境で使用する前に、小規模な負荷テストを実行して、実際の割り当て量を確認してください。

実際のワークロードで、同様の機能と価格帯のモデルとgpt-3.5-turbo-16kを比較してください。レイテンシ、出力品質、命令追従性、タスクあたりのコストを評価します。独自のプロンプトを使用して並行テストを実行してください。最適なモデルは、ベンチマークスコアだけでなく、特定のユースケースによって異なります。