GPT-3.5 Turbo

通过兼容 OpenAI 的聊天补全端点使用模型 ID gpt-3.5-turbo。它针对聊天和传统补全进行了优化。

是的。gpt-3.5-turbo 可通过 OpenAI 兼容的端点访问，因此现有的 OpenAI SDK 客户端在将基本 URL 指向 MixRoute 并将模型参数设置为 gpt-3.5-turbo 后即可正常工作。请保留您当前的请求和响应处理方式。

gpt-3.5-turbo rate limit 因您的 MixRoute 订阅计划而异。请在控制台中查看您的计划详情，了解每分钟请求数 (RPM) 和每分钟 Token 数 (TPM) 的限制。在正式上线前运行一次小规模负载测试，以确认您的有效配额。

gpt-3.5-turbo 的目录状态为 stable。记录的发布日期为 2023-05-28。在基于该模型构建长期集成之前，请查看模型页面上的弃用通知。

GPT-3.5 Turbo 按使用量计费，且记录中未公布任何免费额度。当前公布的费率为：输入 $0.5000 / 1M 个 token，输出 $1.0000 / 1M 个 token。试用额度或促销配额与您的帐户绑定，而非与模型绑定，因此在规划免费额度之前，请务必查看控制台。

对 gpt-3.5-turbo 的缓存命中要求所有请求的提示符前缀必须相同。请将稳定的指令和参考资料放在提示符的开头，保持字节一致，并将可变部分放在后面。这样，缓存读取操作将按缓存速率计费，而不是按输入速率计费。

将 gpt-3.5-turbo 的 max_tokens 设置为任务实际需要的最长响应长度，而不是 4,096 的 Token 上限。严格控制上限可以降低最坏情况下的开销并缩短尾延迟。仅当任务明显需要更长的输出时才提高此值。