每經記者｜宋欽章    每經編輯｜張益銘    

人工智能已步入發(fā)展深水區(qū)。記者獲悉，當前AI（人工智能）的發(fā)展正從以模型訓練為核心的階段，逐步邁入訓練與推理并重，甚至推理占比顯著提升的新階段。

訓練是大模型的學習過程，目標是構建或優(yōu)化模型參數；而推理則是大模型的應用過程，目標是應用已訓練好的模型。根據華為公司提供的數據，隨著Agent（智能體）應用的普及，當前推理算力需求已超過訓練。GPT-5開放首周20億次/分鐘，70%的請求為復雜任務推理（如代碼生成、多步規(guī)劃）；而國內火山引擎的日均Token（令牌）調用量已達16.4萬億，其中70%以上來自線上推理而非訓練。

然而，盡管推理需求逐步旺盛，但國內AI推理能力的發(fā)展仍受限于AI基礎設施基礎弱、投資少，以及算力卡閹割、算力卡漲價、HBM（高帶寬內存）漲價等一系列因素。

記者獲悉，當前金融領域AI推理能力的瓶頸開始顯現。華為數據存儲產品線AI存儲首席架構師李國杰表示，從銀行業(yè)來看，核心有三個問題：一是“推不動”，投研分析、輿情分析等場景會涉及到較多的長序列輸入，比如一份投研報告更是上兆級別，所以“推不動”的問題經常出現；二是“推得慢”，核心就是并發(fā)上不去，上去之后每Token時延特別長；三是“推得貴”，原因是需要耗費大量的算力做KV（鍵對值）的重復計算。

8月12日，《每日經濟新聞》記者在上海舉行的“2025金融AI推理應用落地與發(fā)展論壇”上了解到，市場越來越關注模型推理能力的深度優(yōu)化——讓推理過程跑得更快、成本更低、效果更好。如今，通過借助外部存儲的“以查代算”方案，正在為普通企業(yè)突破AI推理瓶頸提供低成本的破題思路。

“以查代算”為AI推理效率與成本找到平衡點

如何讓AI推理能力圍繞“成本—性能—效果”這個“不可能三角”進一步演進，成為困擾業(yè)界的問題。

《每日經濟新聞》記者在論壇上了解到，目前業(yè)內已經形成的一種解決方案是“以查代算”，即通過記憶此前已推理過的內容，降低重復推理，從而提高整體的推理效率。不過這種方案盡管降低了對算力的依賴，卻對存儲提出了更高要求。

此前，行業(yè)的推理能力高度依賴顯卡的HBM，其成本讓普通企業(yè)不堪重負。為了降低對HBM的依賴，業(yè)界開始探索DRAM（動態(tài)隨機存取存儲器）、SSD（固態(tài)硬盤）等外部存儲方案以節(jié)省算力和帶寬。正如清華大學章明星介紹：“GPU（圖形處理器）在算力和帶寬兩個維度上肯定非常好，但是DRAM、SSD等在容量維度上成本很低，如果能夠想辦法利用容量維度，盡可能地節(jié)省對算力和帶寬的開銷，就可以大幅度降低整體系統(tǒng)的成本?！?/p>

記者獲悉，業(yè)界已經出現了諸多通過優(yōu)化存儲分配來提升推理效率的案例。例如，英偉達推出了Dynamo推理方案架構，通過分布式的KV緩存管理器，提升上下文、吞吐率等；華為發(fā)布了UCM（推理記憶數據管理器，Unified Cache Manager）推理記憶數據管理器，可以分級管理推理過程中產生的KV Cache（即“記憶數據”）。

以后者為例，依托UCM層級化自適應的全局前綴緩存技術，系統(tǒng)能直接調用KV緩存數據，避免重復計算，顯著降低首Token時延。UCM還通過分層卸載超長序列Cache（緩存）至專業(yè)存儲，并創(chuàng)新算法擴展推理上下文窗口，滿足長文本處理需求。同時，UCM具備智能分級緩存能力，可根據記憶熱度在HBM、DRAM、SSD等存儲介質中實現按需流動，并融合多種稀疏注意力算法，實現存算協同，大幅提高長序列場景下的TPS（每秒處理Token數）。

值得一提的是，在論壇現場，華為宣布其UCM將于今年9月正式開源，將通過開放統(tǒng)一的南北向接口，適配多類型推理引擎框架、算力及存儲系統(tǒng)。此外，英偉達官網顯示，前述Dynamo其實也是一個開源的模塊化推理框架。

金融領域率先獲得應用

記者在論壇上獲悉，上述UCM技術已率先在金融典型場景進行了試點應用。華為數字金融軍團CEO曹沖介紹，華為和中國銀聯在客戶之聲、智慧營銷和會議助手等場景，已驗證了UCM技術的性能表現。

“金融級應用需微秒級響應，而卡頓、延遲直接影響風控與交易安全?！辈軟_表示，金融場景對AI推理效能有著更高的要求。而UCM技術之所以選擇在金融場景率先試點落地，李國杰解釋道：“金融在IT信息化以及其他技術賦能行業(yè)的建設中一直走在前列。不管是投資上，還是場景需求上，金融領域都有大量數據掘金的機會。例如把投資數據、財務數據、企業(yè)信貸數據等喂給AI，做數據分析?！?/p>

在現場，中國銀聯智能化創(chuàng)新中心副總經理楊燕明透露了上述方案的應用效果?！敖涍^一系列優(yōu)化，我們具備了幾個關鍵能力：一是多輪對話場景中首Token的延遲降低了60%，長序列的場景可以倍數級擴展推理長度，吞吐量達到了2～5倍的提升?！?/p>

記者了解到，就當前階段而言，這類調用外部存儲介質“以查代算”的策略，為企業(yè)在權衡AI推理效率與成本之間提供了一種解決方案。不過，一個更值得深究的問題是，這種路徑究竟是基于HBM等成本壓力下的過渡方案，還是AI推理的長期發(fā)展趨勢？

對此，華為數據存儲產品線副總裁、閃存領域總裁謝黎明在接受《每日經濟新聞》記者采訪時表示：“大部分數據都有一定的生命周期，會存在熱、溫、冷三種狀態(tài)。從這個角度來看，一個分層的存儲介質系統(tǒng)是必然的趨勢。對于面向推理加速的KV數據，也必然存在熱、溫、冷之分，我們不可能用最昂貴的熱介質來存儲所有數據。因此，必須采用多層介質來解決性能問題，同時平衡成本問題?！?/p>

華為數據存儲產品線副總裁樊杰向記者補充道，在AI推理過程中，緩存與外置存儲分工不同，前者主要解決的是短期記憶，容量有限，但是反應速度很快；后者針對的是KV Cache的長期記憶，容量更大，相當于把知識記錄下來。他打了個比方：“人類通過積累，相較于前一代更具智慧，并不是因為人腦變聰明了，而在于人類不停地把知識變成了書籍，后代通過書籍從而站在上一代人的肩膀上繼續(xù)前行?！?/p>

封面圖片來源：圖片來源：視覺中國-VCG211478193393