模型详情
Llama-3.3-70B-Instruct
Meta 的 700 参数调优语言模型支持多语言对话和一般文本生成任务。
模型规格
- 模型 ID
-
llama-3.3-70b-instruct
- 上下文长度
- 128K
- 最大输出
- 16.384K
- 输入/输出模态
- 发布日期
- 2024-12
02
API 端点
单一 MixRoute 网关，OpenAI 兼容
-
OpenAI-compatible
/v1/chat/completionsPOST
03
价格
固定费率，单位：/1M Tokens
输入
$0.7100 /1M Tokens
补全
$0.7100 /1M Tokens
05
选型摘要
快速判断是否适合你的工作负载
这个模型适合什么？
文本生成模型；输入：文本；输出：文本
llama-3.3-70b-instruct 是文本生成模型。规格上，context window 为 128,000 个 Token，单次最多输出 16,384 个 Token。
使用前应检查什么？
128,000 context，输出上限 16,384
采用 llama-3.3-70b-instruct 前，已声明支持工具调用、结构化输出、流式输出、提示词缓存、OpenAI SDK 兼容；知识库截止时间为 2023-12；发布于 2024-12-06。建议先以具有代表性的流量试跑，确认质量与延迟。
为什么通过 MixRoute 使用？
只换 base URL，llama-3.3-70b-instruct 客户端照用
MixRoute 以 OpenAI 兼容端点 /v1/chat/completions 提供 llama-3.3-70b-instruct；既有客户端只需指向 https://api.mixroute.ai/v1 并把模型 ID 换成 llama-3.3-70b-instruct，再跑一次集成测试即可。
07
能力与兼容性
未确认的能力保持“Unknown”，不做猜测
工具调用
llama-3.3-70b-instruct 支持函数调用与工具调用。
tools 定义；响应会返回 tool_calls，执行后再把结果送回模型。
结构化输出
llama-3.3-70b-instruct 可以按需生成 JSON 格式的输出。
response_format: { type: "json_schema" } 可强制输出有效的 JSON。
流式输出
llama-3.3-70b-instruct 支持流式响应。
stream: true 会逐步流式返回 Token，聊天界面可以边接收边渲染。
提示缓存
llama-3.3-70b-instruct 在支持的路由条件下可以使用提示缓存。
OpenAI SDK
通过 MixRoute 的 OpenAI 兼容端点调用 llama-3.3-70b-instruct。
base_url 改为 https://api.mixroute.ai/v1；其余部分遵循 OpenAI 风格。
08
Token 成本估算
基于本页价格的实时估算，非实际账单
此模型没有缓存读取价格，不计算缓存费用
09
FAQ
将 llama-3.3-70b-instruct 的 max_tokens 设置为任务实际需要的最长响应长度，而不是 16,384 的 Token 上限。严格控制上限可以降低最坏情况下的开销并缩短尾延迟。仅当任务明显需要更长的输出时才提高此值。
单一端点，可验证的决策
使用相同的请求格式测试此模型和备用路由
从真实工作负载开始，再由质量、总成本和故障条件决定是否接入生产流量。