精通 CUDA：探索 GPU 編程資源的版圖

大型語言模型 (LLMs) 與生成式 AI 的爆發，將 GPU 編程推向了聚光燈下。雖然 PyTorch 和 TensorFlow 等高階框架抽象化了大部分的複雜性，但對於尋求突破效能工程極限的人來說，編寫自定義 CUDA kernel 的能力仍然是一項關鍵技能。然而，在過時的教科書與快速演進的硬體海洋中，找到正確的起點對開發者而言是一項重大挑戰。

本指南綜合了 Hacker News 的社群見解與精選清單，旨在幫助您在 CUDA 與並行計算的學習路徑中找到方向。

評估經典教科書

對許多人來說，直覺是轉向已建立的書籍。然而，社群對於傳統 CUDA 文獻的成效存在分歧。由於其描述的硬體年代久遠，一些最常被引用的書名受到了質疑。

CUDA Programming: A Developer's Guide to Parallel Computing with GPUs: 被部分人士高度推薦作為強大的入門教材。
Programming Massively Parallel Processors: A Hands-on Approach: 雖然被廣泛引用，但一些經驗豐富的開發者認為它有所欠缺，指出其包含令人困惑的措辭與微小錯誤，可能會阻礙學習。
CUDA by Example: 常被批評為過於簡單，且過度抽象化了底層架構，這可能導致開發者在面對現實世界的優化時準備不足。

社群的一個關鍵警告是依賴過時教材的風險。正如一位貢獻者所言：「為現代 Nvidia 硬體編寫高效能 kernel 的方式，與 2012 年的書籍所教的東西幾乎完全不同。」對於追求高效能計算的人來說，並行思維的基礎是永恆的，但現代 NVIDIA 架構的特定實作細節則需要更即時的資源。

現代替代方案與高階工具

鑑於硬體演進的快速節奏，許多開發者正轉向互動式訓練、影片內容與高階語言。

互動式訓練與影片

對於比起書籍更喜歡結構化、動手實作方式的人，Oak Ridge Leadership Computing Facility (OLCF) 提供了一系列 CUDA 訓練課程，可作為基礎知識的極佳入門。

此外，為了對核心架構進行精簡的理解，強烈推薦 NVIDIA CUDA 架構師之一的 Stephen Jones 所製作的技術影片。社群建議，掌握他在演講中討論的概念，是理解 CUDA 本質的捷徑。

Python 為主的 CUDA 之崛起

對於想要擁有 GPU 的效能卻不想處理 C++ 樣板程式碼的開發者，NVIDIA Warp 正成為一種強大的替代方案。Warp 允許開發者直接在 Python 中編寫 CUDA kernel，顯著降低了進入門檻並加速了開發週期。

偉大的辯論：要編寫 Kernel 嗎？

GPU 編程社群中存在著一種有趣的緊張關係。雖然對學習 CUDA 有需求，但一些業界人士建議，編寫自定義 kernel 應該是最後的手段。

根據 ADSP podcast 的見解，NVIDIA 內部圈子中的某些人士主張，除非你的全職工作是在 NVIDIA，否則不建議編寫自己的 CUDA kernel。其邏輯在於，維護自定義 kernel 的開銷以及與高度優化的函式庫（如 cuBLAS 或 cuDNN）相比可能產生的次優效能風險，對於大多數開發者而言，往往超過了其帶來的益處。

擴展您的視野：超越 CUDA

如果您的目標是 AI 系統的通用效能工程，社群建議將目光投向特定的 API 手冊之外。對於想要全面了解硬體與軟體如何互動以驅動 AI 效能的人，建議參考如 "AI Systems Performance Engineering" 之類的資源。

學習路徑總結