過去大家認為AI是在學習，但輝達執行長黃仁勳告訴我們，AI「即時思考」的時代已經來臨。黃仁勳在輝達年度GTC強調，推論將是未來AI的核心，他還宣布推出Groq語言處理單元技術的新晶片，將整合進Vera Rubin平台。另外黃仁勳也公布，下一代Feynman AI晶片的代號將是「Rosa」。
黃仁勳表示，輝達的Token是世界級的，目前無人能及，之所以能達到如此成就，是因為極致的共同設計，他對於獲得「推論之王」這個稱號感到非常高興。能訓練並運行AI模型的GPU讓輝達成為AI霸主，但要維持不敗地位的關鍵在於推論運算能力。
黃仁勳強調，推論運算的轉折點已經來臨。AI現在需要思考，為了思考必須有推論能力；AI也必須去行動，為了行動必須要有推論能力；AI必須閱讀、需要尋找理由，為此都必須有推論能力。AI的每個部分，包括思考與行動，都必須用到Token，必須具備推論能力。
黃仁勳宣布，Groq 3語言處理單位LPU現在已經是輝達產品的一部分，這是用於加速大型語言模型推理的專用晶片，在晶片上內建快速記憶體，有助於幾乎即時生成文字。Groq 3由南韓三星以4奈米製程製造，將在今年下半年推出。這是輝達首次將另一家公司的AI處理器直接整合到其伺服器機櫃，也在某種程度上默認輝達在推論領域可能不再具有絕對優勢。
能容納256個LPU的Groq 3 LPX機架與Vera Rubin平台搭配使用，可以提升兆瓦級參數模型推理35倍。除了Groq 3，還有下一代晶片架構Feynman。黃仁勳表示，一個全新的CPU名叫Rosa，是Rosalyn的縮寫，它將下一代CPU與下一代超級網路卡CX 10連接在一起。另外，Vera CPU是全球首款專門為AI代理打造的CPU，其效率是傳統CPU的2倍，運算速度可以提升50%。
