本文目錄與來源 1 節

文章重點

  • CertiK 與哥倫比亞大學研究人員檢查 GPU 核心程式,讓速度優化與正確性有了新的檢驗方式。

GPU 程式不只要快,也要算得對

AI 模型的回答背後,有大量在 GPU 上反覆執行的小程式。它們把計算切分、搬移資料並盡量讓硬體保持忙碌;程式順利跑完,卻不代表每一次結果都符合預期。如果錯誤沒有讓系統當場停止,後續訓練或推論可能繼續使用錯誤結果。

PANews 報導,CertiK 與哥倫比亞大學研究人員提出 TensorLean,嘗試以形式化驗證檢查實際使用的 AI GPU 核心程式。團隊稱,研究涵蓋 149 個編譯後的核心程式實例,其中 83 個被證明符合對應的 Lean 規格;另在六個程式庫中找出 38 個正確性問題。這些數字是研究團隊對其實驗範圍的描述,並不代表所有 GPU 程式都已完成驗證。

受檢範圍包含 DeepSeek 的 DeepGEMM 與 FlashAttention。依報導,38 個問題中有兩個來自 DeepGEMM、23 個來自 FlashAttention。問題總數是跨六個程式庫的結果,不能把它直接解讀成單一產品在所有版本中的漏洞數。

一般測試通常挑選輸入並觀察輸出,能找出測試案例碰到的錯誤;形式化驗證則先寫清楚程式應滿足的條件,再嘗試證明符合條件的執行都滿足規格。兩者回答的問題不同:測試依賴案例,證明則依賴規格與假設是否準確。

困難在於,真正在用的 GPU 程式為了速度會重排資料、同時搬運與計算,並使用較低精度的數值格式。這些做法能提高吞吐量,也讓同步、資料布局與數值誤差更難檢查。研究團隊表示,TensorLean 直接處理編譯產生的 PTX 表示,並在指定條件與誤差容忍範圍內檢查計算結果。

CertiK 的技術說明指出,相關證明以 Lean 建立並可由機器檢查。對開發團隊來說,這提供了一個可重複的流程:先定義運算與適用條件,修改或優化實作,再檢查新版本是否仍符合要求。如果輸入條件或容許誤差改變,原本的規格也必須調整。

發現問題也不等於修補工作已經完成。研究人員需要定位錯誤、修改程式,再重新確認修改後的版本滿足規格。若新版本更換運算方式或輸入範圍,先前建立的證明可能不再適用,團隊仍須重新檢查。這也說明驗證應跟著軟體更新,而非只在某次發布前做一次。

這種保證有清楚邊界。證明通過,意思是在指定假設下,受檢程式符合所寫規格;它不自動證明規格完整、整個模型沒有錯誤,也不保證所有硬體配置都在範圍內。因此,理解測了哪些版本、輸入與數值容忍度,和看到「通過驗證」同樣重要。

研究方舉出一個假設:若一次訓練消耗價值一億美元的算力,因錯誤重做其中 1% 代表約一百萬美元的額外計算成本。這是說明成本規模的情境,不是已發生的損失。TensorLean 的價值,仍要看更多程式、實際維護成本與後續研究如何檢驗。

資料來源與延伸閱讀

(2)

核對數據時,請一併確認來源的日期、統計期間與適用條件;部分連結會持續更新。

  1. PANews:TensorLean GPU 核心程式驗證 (另開分頁)
  2. TensorLean technical explanation (另開分頁)

本文為資訊與教育用途,不構成投資建議。加密資產可能大幅波動,請獨立查證。

作者與編輯說明 ↗本文有錯誤?告訴我們 ↗
繼續讀這個欄目 ↗