Data Science 的數學：基礎理論與實際應用

高維幾何作為模型訓練的基礎

了解人類直覺在高維空間中如何失效，是現代數據科學的基本要求。諸如「尖銳性」(spikiness) 以及高維空間中體積的行為等概念，直接影響了模型的擬合方式、訓練的進行方式，以及優化空間的搜尋方式。

這種幾何直覺對於掌握隨機梯度下降 (SGD) 的機制以及高維模型的行為至關重要，因為這些空間的數學特性與三維物理直覺有顯著差異。

統計學在決策與風險緩解中的角色

統計學是數據科學家的首要任務，因為它提供了將數據觀察轉化為可行的商業決策所需的框架，同時防止對資訊的誤解。

貝氏統計與階層模型

貝氏統計透過增量式地概念化微小組件，提供了一種高度具表現力且直觀的模型構建方式。這種方法有助於避免常見的陷阱（「footguns」），並透過各種方法提供推論路徑，包括：

• Variational Inference
• Expectation Maximization (EM)
• Laplace Approximation

在現代貝氏推論中，邊際化 (Marginalization) 仍然是簡化複雜機率模型的一個特別優雅且實用的工具。

實際統計應用

除了理論框架之外，實際的數據科學需要對基礎統計概念有深入的理解以確保可靠性。重點關注的領域包括：

• 線性回歸： 從多個角度理解線性回歸——包括其決定論式的線性代數根源及其底層的機率模型（例如 Bernoulli 或 Poisson 事件）——比僅僅知道如何執行演算法更有價值。
• 抽樣技術： 對專業方法的知識，例如用於長時間調查中無限樣本數的 reservoir sampling，對於維持校準並避免過度或不足抽樣至關重要。
• 顯著性與樣本數： 數據科學中的一個核心經驗法則是在顯著性上移動一個小數點所需的樣本數，大約隨 $N$ 的平方根倒數 ($\frac{1}{\sqrt{N}}$) 變化，儘管當涉及交互因素時，這種複雜性會增加。

核心數學支柱：線性代數與理論

雖然像 graph Laplacians 這樣的進階主題在數學上非常優美，但數據科學中最直接的回報來自於精通線性代數與回歸的基礎。具體而言，Singular Value Decomposition (SVD) 和 Principal Component Analysis (PCA) 被引用為降維與數據理解的必備工具。

數據科學技能組的演進

數據科學家的角色已從關注工具選擇轉向關注判斷力與基礎審核。隨著 AI 研究代理 (research agents) 變得越來越有能力從學術文獻（例如 arXiv）中建議理想的方法，人類從業者者的價值在於審核這些建議的能力。

"最強大的區別者，是能辨識何時該使用簡單的方法，以及何時需要動用大殺器。"

這種轉變強調了對基礎知識的牢固掌握，以判斷何時簡單的線性模型就足夠了，何時需要複雜的架構。