GPT-4 Turbo

通过兼容 OpenAI 的聊天补全端点使用模型 ID gpt-4-turbo。视觉请求支持 JSON 模式和函数调用。

GPT-4 Turbo 按使用量计费，且记录中未公布任何免费额度。当前公布的费率为：输入 $10.0000 / 1M 个 token，输出 $30.0000 / 1M 个 token。试用额度或促销配额与您的帐户绑定，而非与模型绑定，因此在规划免费额度之前，请务必查看控制台。

gpt-4-turbo 单次请求最多输出 4,096 个 token，context window 为 128,000。用 max_tokens 设上限，避免单次调用超出预算。

gpt-4-turbo rate limit 因您的 MixRoute 订阅计划而异。请在控制台中查看您的计划详情，了解每分钟请求数 (RPM) 和每分钟 Token 数 (TPM) 的限制。在正式上线前运行一次小规模负载测试，以确认您的有效配额。

将 gpt-4-turbo 的 max_tokens 设置为任务实际需要的最长响应长度，而不是 4,096 的 Token 上限。严格控制上限可以降低最坏情况下的开销并缩短尾延迟。仅当任务明显需要更长的输出时才提高此值。

gpt-4-turbo 支持即时缓存，因此重复的前缀仅对命中的部分按较低的缓存费率计费。请查看最新的定价页面，了解具体的折扣和缓存写入费用。