Llama-3.3-70B-Instruct

llama-3.3-70b-instructはカタログステータスstableで登録されています。記録されているリリース日は2024-12-06です。長期的な統合を構築する前に、モデルページで非推奨に関する通知を確認してください。

llama-3.3-70b-instructの記録結果：aa_intelligence_index 7.9；arena_text 65.8。ベンチマーク順位はあくまで大まかな目安です。タスクの形状やプロンプトのスタイルによって順位が変動するため、確定する前に候補モデルに対して独自のプロンプトを実行してください。

llama-3.3-70b-instructは、128,000トークンのコンテキストウィンドウ内で、リクエストごとに最大16,384個の出力トークンを返します。max_tokensパラメータを使用してレスポンスを制限し、単一の呼び出しが予算を超えないようにしてください。

llama-3.3-70b-instruct のキャッシュヒットには、リクエスト間で同一のプロンプトプレフィックスが必要です。安定した命令と参照資料をプロンプトの先頭に配置し、バイト単位で同一に保ち、変更される部分をその後に記述してください。こうすることで、キャッシュされた読み取りは入力レートではなくキャッシュレートで課金されます。

はい。llama-3.3-70b-instructはOpenAI互換エンドポイント経由でアクセスできるため、既存のOpenAI SDKクライアントは、ベースURLをMixRouteに設定し、モデルパラメータをllama-3.3-70b-instructに設定することで動作します。現在のリクエストおよびレスポンス処理はそのまま維持してください。