Step 1
照常呼叫
程式碼一行都不用改。在控制台建立一組已啟用智慧路由的 API Key,替換原本的 Key,照原本的格式發送請求。
client = OpenAI(
api_key="sk-your-current-key",
api_key="sk-smart-routing-key",
base_url="https://api.mixroute.ai/v1"
)
# request format unchanged
客服流量裡,八成是「怎麼退貨」「營業時間到幾點」這種簡單問題,但每一題,你都付了旗艦模型的價格。
工程師上線時幫每個功能選定一個模型,之後沒人回頭調整。任務千變萬化,模型卻永遠只有一個。
模型市場每個月都在變,上個月的最佳性價比,這個月可能已經被超越。靠人工追,追不完。
問題不是模型不夠好, 是分配不夠聰明。
運作原理
Step 1
程式碼一行都不用改。在控制台建立一組已啟用智慧路由的 API Key,替換原本的 Key,照原本的格式發送請求。
client = OpenAI(
api_key="sk-your-current-key",
api_key="sk-smart-routing-key",
base_url="https://api.mixroute.ai/v1"
)
# request format unchanged
Step 2
自行研發的路由模型即時讀取請求,判斷複雜度與任務類型。判讀模型最多支援 1M tokens 上下文,長篇請求也能完整判讀。只讀取、不儲存:內容僅在記憶體中即時處理,判讀完成立即清除,與 MixRoute 零資料留存政策完全一致。
Step 3
從你授權的模型池中,選出最適合這個請求的模型。你的完整上下文原樣傳送,不改寫、不壓縮、不截斷,回應仍由實際選用的模型產生。
完整上下文原樣傳送,回應由實際選用的模型產生
主導權
全自動的黑箱路由,把「用哪個模型」的決定權從你手上拿走。MixRoute 的做法相反:智慧路由只在你劃定的邊界內運作。
在控制台為每一組 Key 獨立設定模型池:哪些模型端點可供路由選用,由你決定。只納入你信任、符合法規且符合預算的模型。
為每組 Key 設定使用限制,超出即擋。不會有失控的請求,也不會有失控的帳單。
內建節省儀表板,智慧路由為你省下多少,一目了然。不是我們說了算,是數字說了算。
智慧路由已為你省下
US$1,284
節省率 31.4%示意畫面
實測數據
我們以超過一萬筆實際任務,測試智慧路由的分配決策,平均可節省 20–40% 的 API 成本。實際節省幅度依你設定的模型池組合而異。因此,我們提供的是實測區間,不是行銷口號。
預估每月節省金額
依上萬次實測的平均節省區間估算;實際節省幅度依模型池組合而異。
使用情境
情境一
大量重複、簡單的問題,是智慧路由最大的節省來源。簡單問題交給輕量模型,疑難問題自動升級,顧客感覺不到差別,帳單看得到差別。
節省空間最大情境二
查規章、找文件、摘要會議,多數請求不需要旗艦模型,但偶爾的深度分析需要。路由會自動分辨,你不必另外設定。
自動分辨深淺情境三
你無法預測使用者會問什麼,簡單與複雜的請求總是交錯出現。與其全部押注同一個模型,不如讓每個請求各得其所。
各得其所情境四
補全程式碼、寫個小函式,輕量模型又快又省;跨檔案重構、疑難除錯,自動升級至旗艦模型。工程師專心寫程式,選模型的事交給路由。
輕重自動切換定價
US$0
限時開放:現在開通,智慧路由完全免費。用你的實際流量驗證節省效果,儀表板上的數字會告訴你答案。
5%
試用期後,僅對「經過智慧路由」的請求收取該筆請求金額 5% 的服務費。使用一般 Key 的請求不收取服務費。
一句話的算術
付出 5%。平均省下 20–40%。
省下的遠大於付出的,這就是它存在的理由。
FAQ
會,多了一道判讀程序,耗時隨請求長度而異。這是用一點時間,換 20–40% 成本的取捨。對延遲極度敏感的端點,你可以改用一般 Key 直連指定模型,不經路由。
判讀模型只會讀取請求內容,不會儲存。內容僅在記憶體中即時分類,並原樣傳送至目標模型;判讀完成後立即從記憶體清除,不會寫入磁碟或任何持久性儲存空間。這與 MixRoute 的零資料留存政策一致。
可以。模型池就是你的保險:路由永遠只在你授權的模型之間選擇,絕不會選用模型池外的模型。若某些流量必須固定使用特定模型,為它另建一組一般 Key 直連即可。
三個字:主導權。多數自動路由採黑箱運作,由平台決定一切。MixRoute 智慧路由只在你自訂的模型池內運作,並搭配零資料留存與節省儀表板。你隨時知道成本省在哪裡、資料經過哪裡。
不用。在控制台建立一組附帶智慧路由的 API Key,替換原本的 Key 即可,API 呼叫格式完全不變。
限時免費試用。免費試用期結束後,僅對經智慧路由的請求,收取該筆請求金額 5% 的服務費;從你的儲值餘額中一併扣款,帳單透明可查。