技術專欄
撰文者／邁達特 MetaAge 產品三處 產品顧問 Peter Wu
在當今快速發展的技術環境中，生成式人工智慧（Generative AI）已成為企業創新的催化劑。然而導入與客製化大型語言模型（LLM）的高昂成本與技術門檻，使許多企業望而卻步。為此， Red Hat 推出了 Red Hat Enterprise Linux AI（RHEL AI）：一款低門檻、加速企業 AI 創新的基礎模型平台，可徹底改變企業打造客製化 LLM 的方式。
Red Hat 台灣總代理－MetaAge 邁達特將透過本文帶您了解 Red Hat Enterprise Linux AI 這款兼具創新性、成本效益與企業級性能的 AI 開發、測試、部署平台，並探索如何利用 RHEL AI、Granite 模型與 InstructLab ，為您降低 LLM 部署成本。
Red Hat Enterprise Linux AI 是一款專為大型語言模型的開發、測試和部署而設計的基礎模型平台，提供生成式 AI 的開源工具解決方案。該平台將開放原始碼 Granite 大型語言模型家族、InstructLab 模型對齊工具，以及一個最佳化的 Red Hat Enterprise Linux 可開機映像檔整合在一起。
|
Red Hat Enterprise Linux 三大核心組件 |
||
|
Open Granite 模型家族 |
InstructLab |
最佳化的 RHEL 可開機映像檔 |
|
企業級開源 LLM |
低成本模型對齊工具 |
簡化部署的統一環境 |
Red Hat Enterprise Linux AI 的目標是讓企業能夠根據自身獨特的業務需求，打造客製化的生成式 AI 模型。透過 RHEL AI，開發人員和領域專家可以更輕鬆地利用其專業知識來調整模型，而無需具備深厚的資料科學背景。
圖 1：RHEL AI 是專為 LLM 開發、測試、部署而設計的基礎模型平台／Photo Credit：Red Hat
延伸閱讀：Red Hat AI：降低企業創新門檻，輕鬆進入AI新紀元！一次了解Enterprise Linux AI、OpenShift AI
Red Hat Enterprise Linux AI 的關鍵組成
Red Hat Enterprise Linux AI 的強大功能源於下列幾個關鍵組成部分，這些部分共同為企業提供了一個完整的生成式 AI 開發與部署環境。
RHEL AI 包含了由社群共同開發、採用開放原始碼授權的 Granite模型。Granite 模型是 IBM 為企業應用打造的一系列大型語言模型（LLM），具備開源、可客製化、高透明度等特性，特別適合需要掌控資料與模型運作的企業環境。
RHEL AI 提供了一套工具 InstructLab，旨在以低成本、低門檻的方式讓專家將自身的知識轉化為大型語言模型，讓企業續改進模型效能。
為了簡化部署流程，RHEL AI 提供了一個包含所有必要元件的可開機 RHEL 映像檔。其中不僅包括了 Granite 模型和 InstructLab 工具，還預載了 PyTorch 等流行的 AI 函式庫，以及針對 NVIDIA、Intel 和 AMD 等硬體的加速驅動程式。
Red Hat AI Inference Server 旨在提供跨混合雲一致、快速且具成本效益的模型部署。它利用 vLLM來最大化推論吞吐量並最小化延遲，確保 AI 應用程式的高效能運作。
作為 Red Hat 的產品，RHEL AI 享有企業級的技術支援，為企業在生產環境中部署 AI 應用提供了堅實的後盾。
簡而言之，Red Hat Enterprise Linux AI 提供了一套完整的工具鏈，讓企業能夠更輕鬆地開發、測試和部署客製化的 AI 模型。對企業而言，它是一個兼具創新性、成本效益與企業級可靠性的理想平台。
圖 2：RHEL AI 提供完整的工具鏈，使企業可更輕鬆地開發、測試和部署客製化的 AI 模型
Photo Credit：Red Hat
延伸閱讀：使用 Red Hat OpenShift 打造 MLOps 平台：AI / ML 模型部署的容器化實踐
IT 智能化最佳夥伴－MetaAge 邁達特作為 Red Hat 台灣總代理，精耕 Red Hat 技術 10 年以上，是台灣唯一兼備三大公有雲代理資格的 Red Hat 專家，更具備近 30 年的雲地整合、資安服務、DevOps 經驗。邁達特擁有深厚的技術實力與豐富的專案經驗，能為您的企業與組織提供最完整的 Red Hat Enterprise Linux AI 導入、建置、優化、維運、顧問等服務。
若您希望深入了解如何使用 RHEL AI 建立高效的平台，誠摯邀請您參加 MetaAge 舉辦的研討會 或 教育訓練課程。此外，您也可透過 一對一專業諮詢，獲得專屬的專業支持，助您快速掌握技術要點，實現數位轉型的目標。現在就行動，讓邁達特成為您推動 AI 創新的最佳戰略夥伴！
A1：RHEL AI 是一款專為 LLM 開發、測試和部署而設計的基礎模型平台。透過整合開源 Granite 模型、InstructLab 模型對齊工具，以及最佳化的 RHEL 可開機映像檔，RHEL AI 可幫助企業以低成本、低技術門檻的方式，快速客製化並導入生成式 AI 應用。
A2：RHEL AI 的設計目標就是低門檻。它提供了一個最佳化的 RHEL 可開機映像檔，內含所有必要元件（Granite、InstructLab、PyTorch 函式庫、硬體加速驅動程式），大幅簡化了部署流程。RHEL AI 支援 NVIDIA、Intel 和 AMD 等主流硬體，您也可諮詢 Red Hat 台灣總代理－MetaAge 邁達特獲得完整的 RHEL AI 導入、建置、優化、維運顧問服務，進一步降低企業的技術負擔。
A3：RHEL AI 透過 Red Hat AI Inference Server 確保 AI 應用程式的高效能運行。該推論伺服器利用 vLLM 技術來最大化推論吞吐量並最小化延遲，旨在提供跨混合雲一致、快速且具成本效益的模型部署和推論服務，滿足企業級應用對速度和可靠性的要求。
A4：InstructLab 是一套包含在 RHEL AI 中的模型對齊工具，其核心價值是讓領域專家和開發人員可利用自身的專業知識，以低成本、無需深厚資料科學背景的方式，持續改進和調整 LLM的效能和行為，使其更符合企業獨特的業務需求。
A5：Granite 模型是 IBM 為企業應用打造的開源大型語言模型（LLM）家族。與傳統商業 LLM 相比，Granite 具備開源、可客製化、高透明度等特性，特別適合需要完全掌控資料與模型運作、且重視資訊安全和客製化彈性的企業環境。
