4U 雙 RTX PRO 6000 AI 工作站案例｜EPYC 本地運算配置
企業規劃本地 AI 工作站時，除了顯示卡效能，還需要一起考慮機櫃空間、散熱、供電、資料儲存與後續維護。這台捷大組裝的 4U 工作站，以 AMD EPYC 平台搭配雙 NVIDIA RTX PRO 6000 Blackwell Workstation Edition，提供機架式本地運算配置的實際案例。
本案重點是將雙 GPU、伺服器主機板與儲存設備整合進 4U 機箱。規劃時應以實際使用的模型與軟體確認需求，再決定 GPU、記憶體及散熱配置。
開蓋照片可見雙 GPU、CPU 空冷散熱器、風扇與供電線材的配置。
本案硬體配置
- CPU：AMD EPYC 7542，32 核心、64 執行緒。
- 主機板：ASRock Rack ROMED8-2T。
- 記憶體：128GB ECC DDR4 R-DIMM，32GB × 4。
- GPU：NVIDIA RTX PRO 6000 Blackwell Workstation Edition × 2，單卡 96GB GDDR7 ECC 顯存。
- 儲存：2TB PCIe Gen4 NVMe SSD × 2，搭配 8TB HDD。
- 散熱：CPU 空冷、GPU 原有主動式風冷，配合機箱風扇安排風道。
- 電源：FSP CANNON PRO 2500W。
- 機箱：4U 機架式機箱，搭配滑軌規劃安裝。
以上為本案配置紀錄，非固定價格或即時庫存方案。不同專案可依工作負載、空間與預算重新規劃。
為什麼採用 4U、雙 GPU 與 EPYC 平台？
機架整合：先確認設備放得下，也維護得到
4U 配置可納入機櫃式設備規劃，方便統一安排供電、線路與維護空間。安裝前仍需確認機櫃深度、滑軌相容性、設備重量與前後進出風空間，避免只確認高度，卻忽略日後拆裝與散熱需求。
雙 GPU：依軟體安排多卡或獨立任務
雙卡可用於支援多 GPU 的 AI 工作負載，也可分配不同任務或服務。實際加速幅度取決於模型、框架、資料傳輸與運算方式，不能直接由顯示卡數量推算成兩倍效能。
兩張卡的顯存也不會自動合併成單一 GPU 的顯存。若希望讓同一模型使用多張卡，需確認軟體支援的模型切分或多卡執行方式，並驗證實際可用容量。
CPU、ECC 記憶體與儲存：配合資料處理流程
CPU 與系統記憶體負責資料整理、載入及應用程式運作；ECC 記憶體有助偵測與修正特定記憶體錯誤，但整機穩定性仍需透過測試確認。NVMe SSD 可安排模型與常用資料，HDD 則可存放較少存取的資料；重要內容仍應另外規劃備份。
4U 機箱外觀紀錄；實際機櫃安裝需確認深度、滑軌與散熱空間。
風冷與供電，要怎麼評估？
本案使用主動式風冷 GPU 與 CPU 空冷散熱器。機箱風扇、顯示卡間距、線材走向及機房環境，都會影響散熱表現，因此需在實際配置下觀察溫度、風扇運轉與負載狀態。
GPU 的最高 600W 為官方產品功耗規格，電源的 2500W 為額定輸出規格，皆不等於這台主機每個時刻的實際耗電量。導入前應核對電源完整型號、輸入電壓、迴路容量、插座及 UPS 規格，再依工作負載量測整機用電。
哪些本地 AI 需求可以評估這類配置？
- 企業內部 AI 與知識庫：希望在自有環境處理資料，規劃本地推論、RAG 或內部 AI 應用。
- 研發與模型微調：依模型大小、精度、微調方式及資料量，評估 GPU 顯存與軟體支援。
- 多任務工作站：安排不同 GPU 執行獨立任務，或由支援的軟體使用多卡運算。
本地部署提供資料與運算環境的管理選項，仍需配合帳號權限、網路設定、備份及應用程式資料流，才能符合企業的資料管理需求。
導入前，先用實際工作負載驗證
評估時建議提供模型名稱、推論或訓練用途、精度或量化方式、同時使用人數，以及現有機櫃與供電資訊。驗證項目可包含顯存用量、推論速度或訓練時間、整機用電、運轉溫度及穩定性，並記錄驅動、框架與測試條件，讓結果可供比較。
與捷大討論您的 AI 工作站需求
把使用的軟體、模型、資料量、預算與安裝環境傳給捷大，先確認需要的配置與驗證方式。
查看捷大實際組裝作品 → 查看雙 RTX PRO 6000 CPU 水冷工作站案例 →
產品規格參考
NVIDIA RTX PRO 6000 Blackwell Workstation Edition 官方規格；FSP CANNON PRO 2500W 官方產品資訊。官方產品規格與本案實際工作負載測試應分別判讀。
