Any Model・Any Accelerator・Any Cloud

什麼是 RHEL AI？

Red Hat Enterprise Linux AI 是一個專為企業打造的生成式 AI 推論平台。簡單來說，它就像是 AI 模型的「高效能執行環境」——讓您的 AI 模型能夠在企業級的 Linux 環境中穩定、快速、安全地運行。

想像一下：您的企業已經選定了適合的 AI 模型（例如 Llama、Mistral、Qwen 等），現在需要一個可靠的平台來部署和運行這些模型，提供服務給內部系統或客戶。RHEL AI 正是為此而生。

三大核心特色

• Red Hat AI Inference Server

這是 RHEL AI 的「引擎」，負責實際運行 AI 模型並處理推論請求。它基於業界領先的開源專案 vLLM，能夠智慧地管理 GPU 記憶體、同時處理多個請求，讓您的硬體投資發揮最大效益。

 

技術亮點：

1. PagedAttention：創新的記憶體管理技術，大幅提升 GPU 使用效率
2. Continuous Batching：連續批次處理，提高吞吐量
3. 多 GPU 平行運算：支援 Tensor、Pipeline、Expert 等多種平行化策略突破單張 GPU 卡極限運行大語言模型

• Red Hat AI Model Optimization Toolkit

生成式 AI 模型通常體積龐大，因此需要大量 GPU 記憶體來運行。這個工具包就像是「模型瘦身專家」，提供兩種優化方式：

1. 量化（Quantization）：降低數值精度，減少記憶體需求
2. 剪枝（Pruning）：移除模型中的冗餘參數，實踐模型稀疏化降低對資源的需求

透過工具可以大幅降低模型需要的 GPU 資源並且維持近乎相同於原本模型的精準度。
對於不需要自己客製化與壓縮模型的使用者，紅帽亦提供已優化且驗證過的開源預訓練模型，可直接於 Hugging Face 平台下載使用，大幅縮短從部署到上線的時程。

• RHEL Image Mode 作業系統鏡像部署

RHEL AI 以穩定可靠的企業級 RHEL 為基石，導入創新的 Image Mode 管理模式。透過 Bootc 技術，將整個作業系統（包含 Kernel 核心、GPU 驅動程式與 AI 執行環境）封裝為標準容器鏡像。這讓維運人員能像管理容器一樣，對「作業系統本身」進行精準的版本控制、原子化更新與大規模一致性部署。

 

 

廣泛的生態系統支援

• 支援的 AI 模型

RHEL AI 支援多種主流開源模型，均已針對 vLLM 進行優化驗證：

• 支援的硬體加速器

1. NVIDIA CUDA（主要支援）— 完整支援各系列 GPU
2. AMD ROCm — 支援 AMD Instinct 系列
3. Intel Gaudi 3（技術預覽）— Intel AI 加速器
4. IBM Spyre — 支援 Power 和 Z 系列主機

最佳適用場景

RHEL AI 特別適合以下企業情境：

1. 高資料安全性產業：如金融、醫療與製造業，需在本地端部署 AI 以確保資料不外流。
2. 高頻推論需求：需要處理大量 AI 請求的應用場景
3. 成本敏感型專案：希望透過高效能推論引擎降低 GPU 成本
4. DevOps 成熟團隊：偏好 GitOps、CI/CD 的現代化運維方式

⚠️重要須知⚠️

 

免費諮詢 Red Hat 台灣總代理 – MetaAge 邁達特

您是否想評估您的企業目前的混合雲自動化成熟度？或希望進一步了解 Red Hat Ansible 在實際 IT 營運場景的作用？MetaAge 邁達特是 Red Hat 台灣總代理，擁有近 30 年雲地整合、混合多雲治理的實戰經驗。邁達特不僅提供產品授權，更專精於規劃、導入與客製化您的 Ansible 策略，確保自動化效益能在您的 IT 環境中真正落地並持續擴展。

您可由此填寫 【免費諮詢表單】聯繫邁達特顧問團隊，讓邁達特的 Ansible 認證工程師為您量身打造以自動化為核心的雲端治理策略，助您掌握混合雲管理全局。