撰文者/MetaAge 資深雲端架構師|Becky Jian
在 AI 技術飛速演進的時代,企業需要的不只是模型,更需要一個能快速整合、靈活部署、全面治理的 AI 平台,而 Azure AI Foundry 正是這樣的解決方案。作為一個開放、彈性且安全的企業級雲端 AI 平台,Azure AI Foundry使開發者能快速將 AI 整合至新舊應用程式中。
AI Foundry 結合了所有在 AI 應用開發中所需的工具,並以 PaaS (平台即服務) 的方式提供。開發者無需處理基礎設施與模型部署,即可立即展開 AI 整合之旅。
作為全台首獲微軟 Microsoft Azure「AI 平台」和「基礎設施遷移」雙認證的雲端服務代理商,MetaAge 邁達特將透過本文,為您快速整理介紹目前幾個具代表性的Azure AI Foundry 強大更新及功能 !
Azure AI Foundry 提供 AI 開發到落地所需的完整工具鏈,涵蓋三大核心模組:
Models(模型)
Agentic Platform(代理平台)
Observability and Governance(觀測與治理)
圖 1:Azure AI Foundry 三大核心功能
目前在 Azure AI Foundry 已經擁有超過 10,000 個模型,其中包含 :
OpenAI 家族 : 微軟獨家戰略合作,承諾與 OpenAI 同一天發布模型,讓使用者能取用最新最好的模型,並同時擁有企業級的安全性與可靠性。
在本文發布前,OpenAI 也宣布一項重大變革 - OpenAI 開源了 gpt-oss-20B 與 gpt-oss-120B 模型,並且即日起,您可以在 Azure AI Foundry 上以 Serverless 方案取用 gpt-oss-120B 模型,也可以將較小的 gpt-oss-20B 模型佈署於受控運算方案中。
延伸閱讀:OpenAI’s open‑source model: gpt‑oss on Azure AI Foundry and Windows AI Foundry | Microsoft Azure Blog
熱門開源與商業模型 : DeepSeek、Mistral、xAI (Grok)、Meta、Black Forest Lab
科學研究模型 : BioEmu (蛋白質模擬)、EvoDiff (蛋白質序列)
有了這麼多的模型可以自由選擇,您可能會擔心不知道該選擇哪一個來使用,Azure AI Foundry 也貼心地透過 Model Catalog 與 Leaderboards 協助使用者挑選適合使用情境的模型。
利用 Model Catalog 提供的模型提供者、行業、任務、部署模式篩選,搭配 Leaderboards 提供的成本、吞吐量、安全性指標排名,使用者可以大幅降低模型選擇時間。
模型路由器 (Model Router):在 GPT-4.1、GPT-4.1-mini、GPT-4.1-nano 與 o4-mini 間透過輸入 Prompt 判斷適用的處理模型,藉以節省模型使用成本,根據官方實測最高可節省約60%。
微調與蒸餾 (Fine-tuning & Distillation):透過 Fine-tuning 模型將模型微調成更符合特定業務場景與語言風格,來提升準確度與實用性。另外,您還可以透過蒸餾功能將大型模型的知識壓縮至較小模型,保留核心能力的同時,降低運算成本與延遲。
Foundry Local:若企業對 AI 模型、方案同時有雲地的需求,Foundry Local 能使您在地端環境中運行與測試。透過 Azure AI Foundry SDK 的協助,您可以將應用程式無縫移轉至雲端生產環境。
選定並優化模型後,下一步是將 AI 真正落地應用於業務流程,這時就需要強大的 Agentic Platform。Agent 在 2025 年成為生成式 AI 主流應用模式,透過 LLM 驅動流程控制工具,讓 AI 不只協助提供意見,更能夠自主為您完成工作。
Azure AI Foundry Agent Service 充分發揮了微軟生態系的整合優勢,您可以對接 Fabric、SharePoint、Azure AI Search 或 Bing Search 等熱門服務作為資料來源。同時也能整合 Azure Logic App、Azure Functions、API 作為工具完成進階操作。
Azure AI Foundry Agent Service 目前能與外部 Agent 互通,熱門的 Agent-to-Agent (A2A)、Model Context Protocol (MCP) 調用都在支援範圍。
圖 2:Azure AI Foundry Agent Service 充分發揮微軟生態系的整合優勢
Azure AI Foundry 旨在提供 AI 應用程式開發一個完整的平台,因此,在觀測性與安全性層面也提供了完整生命週期的支援。
Observability(觀測):
追蹤 Agent 的 thread 與 run 紀錄
透過輸入、輸出、metadata 進行自動化評估 (evals)
內建評估指標:
— 意圖辨識 (Intent Resolution)
— 相關性 (Relevance)
— 程式碼安全性 (Code Vulnerability)
— 任務遵循 (Task Adherence)
— 間接越獄 (Indirect Jailbreak)
Governance(治理與安全):
Agent 可以取得獨立 Entra ID 以利權限管理
與 Defender 系列整合端到端保護
如此可確保 AI 解決方案可被持續監控、符合企業級安全與合規需求。
Azure AI Foundry 為企業與開發者提供了一個具備模型、代理與完整治理於一身的雲端 AI 平台。不僅簡化了從模型選擇、優化到代理工作流編排的全流程,更透過觀測性與安全機制,確保每個應用程式都能在企業級標準下穩定運行。
無論您是希望快速將生成式 AI 融入現有系統,打造自動化的智慧代理,或在混合雲環境中部署關鍵模型,Azure AI Foundry 都能提供彈性、安全且高效的解決方案,成為您邁向 AI 驅動未來的最佳夥伴。
Azure AI Foundry 結合模型管理、代理工作流與全程安全治理,透過預建範本與智慧選模,協助您快速部署、加速上線,為企業智慧轉型奠定穩健基礎。而 IT 智能化最佳夥伴-MetaAge 邁達特,是全台首獲微軟 Microsoft Azure「AI 平台」和「基礎設施遷移」雙認證的 Azure 雲端服務代理商,可為您提供免費諮詢,由邁達特的 Azure AI 專家為您打造最適合的 AI Foundry 與 OpenAI 解決方案,快速 PoC,以最小成本驗證業務價值,縮短導入週期。
立即【預約免費諮詢】,開啟您的 AI 成功之路!
Q1:Azure AI Foundry 與 Azure OpenAI Service 的差別?
A1:Azure OpenAI Service 提供 GPT API 呼叫;Azure AI Foundry 則整合多家模型、代理平台與全生命週期監控治理,適合企業級應用。
Q2:OpenAI 轉換至 Azure OpenAI Service 是否會很麻煩?
A2:不會,OpenAI 與 Azure OpenAI Service 的 API 呼叫具體上僅 Azure OpenAI Service 在呼叫 url 中多了一小截參數,其餘格式接相同,在程式開發上沒有大變動。
參考文件 :
如何使用 Python 在 OpenAI 與 Azure OpenAI 端點之間切換 - Azure OpenAI Service | Microsoft Learn
Q3:Azure AI Foundry可否在本地部署(混合雲)?
A3:Azure AI Foundry可支援 Foundry Local,可在私有環境運行與測試,並透過 Azure AI Foundry SDK 無縫切換回雲端生產環境。