IBM攜手Together AI簽2.4億美元協議　打造NVIDIA B300 AI推理叢集

IBM攜手Together AI打造AI推理叢集。（圖／達志影像）

IBM與AI新創Together AI宣布簽署一項為期多年的2.4億美元協議，將在IBM Cloud部署大規模人工智慧（AI）推理運算叢集，採用輝達（NVIDIA）HGX B300系統及Spectrum-X乙太網路技術，協助企業以更低成本部署開源AI模型。

IBM於8月11日表示，這套基礎設施預計於2027年第一季開始提供服務，將成為IBM Cloud首座採用HGX B300系統、專門為大規模AI推理打造的叢集。Together AI將利用這套系統，為企業提供開源AI模型的推理服務。

Together AI營收長Kai Mak接受《路透社》訪問時表示，初始叢集將設於美國，並部署約2,000顆NVIDIA B300 GPU。他預計，這套系統在正式上線前2至3個月就可能被企業客戶預訂一空。

AI推理是指將訓練完成的AI模型實際運行，根據使用者指令產生文字、圖片或其他結果。隨著企業大量採用生成式AI，推理需求快速增加，也成為雲端服務商及晶片業者持續擴充AI資料中心的重要動力。

Together AI成立於2022年，提供企業訓練及運行開源AI模型的平台，支援DeepSeek、MiniMax及Kimi等模型。相較於由特定業者控制的封閉模型，開源模型讓企業能更彈性地選擇模型及基礎設施，也有望降低AI部署成本。

Together AI近期完成8億美元C輪融資，公司估值達83億美元，並表示其推理服務目前每月處理約400兆個token。公司表示，選擇IBM與輝達合作，是因為兩家公司能提供所需的GPU運算能力，並協助降低AI服務的單位成本。

Together AI執行長Vipul Ved Prakash表示，企業希望獲得頂尖AI模型的效能，但不願承擔封閉模型的高昂成本，而高速且可靠的基礎設施是實現這一目標的關鍵。

這項合作也是IBM與輝達擴大AI基礎設施合作的一環。IBM表示，雙方將持續在GPU原生資料分析、非結構化資料處理，以及雲端與企業內部AI基礎設施等領域合作，協助企業擴大AI應用。