04
AI 治理與維運
所有模型呼叫都經過同一道閘門:路由、預算、配額與稽核。
LLM Gateway 是文字生成與向量嵌入的唯一入口。各功能不能自行連線到模型供應端,所有呼叫都要經過授權、路由、預算控管與稽核。
- 04.1
供應端註冊
管理者登錄可用的模型部署,未登錄的端點無法使用。
- 04.2
路由
依任務與政策把請求導向合適的模型部署。
- 04.3
預算與配額
依部門設定預算與配額,超出時依規則處理。
- 04.4
政策與稽核
個資與雲端使用政策在閘門執行,每次呼叫都有紀錄可查。
一條路徑,全部可查
- 會議智慧
- 企業知識
- Athena 助理
LLM Gateway
- 授權
- 路由
- 預算/配額
- 政策
- 稽核
你核准的模型部署
- LLM Gateway
- 授權、路由、預算、稽核集中處理。
- 部門配額
- 以部門為單位分配用量。
- Prompt 管理
- 集中管理提示詞與範本,並偵測提示詞注入。
- 稽核日誌與 API 金鑰
- 操作可追查;API 金鑰集中發放與撤銷。
- 支援中心與通知
- 內建工單與通知偏好設定。
可使用哪些模型部署,由你的環境與政策決定;本網站不列出特定供應商。