LLMs Reward Expertise: Why Domain Knowledge is the Ultimate Prompting Skill

Domain Expertise as the Primary Driver of LLM Performance

有效使用大型語言模型 (LLMs) 最關鍵的技能並非尋找魔法關鍵字的「提示工程」(prompt engineering)，而是對所查詢領域的深厚專業知識。雖然 LLMs 能讓通才產出「還可以」的結果——例如基礎的 CSS 或通用的商業寫作——但高品質、專業化輸出的天花板，是由使用者自身的領域知識所決定的。

領域專業知識讓使用者能夠超越通用的輸出，透過提供精確的引導、識別細微的錯誤，並利用能觸發更複雜模型回應的專業術語，從模型中榨取最大價值。

The "Signaling" Effect: Triggering Expert Modes

LLMs 的運作方式如同預測生成器，通常會反映出其參與對話的水平。當使用者採用專業術語和精確的技術限制時，他們實際上是在發出專業能力的信號，這會將模型切換到高階推理模式，而非「向外行人解釋」的模式。

Evidence from Expert Interaction

使用數學家 Terence Tao 與 ChatGPT 關於 Jacobian Conjecture 的互動作為例子，可以觀察到幾個區分專家提示與新手提示的模式：

Conciseness: 專家避免逐點回應，而是專注於問題的核心要旨。
Implicit Steering: 透過使用密集且專業的語言，專家能壓縮資訊並減少冗長、ELI5 風格解釋所帶來的「雜訊」，否則這些解釋可能會導致邏輯不穩定或幻覺。
Active Direction: 專家很少採納模型對於下一步該往哪裡走的建議；相反地，他們會親自做出跨越與建議，將 LLM 作為驗證或建立直覺的工具。
Critical Pushback: 專家可以識別回應內容「看起來很奇怪」或過於複雜，從而引導模型回到更簡單或更正確的路徑。

The Expert's Advantage in Technical Workflows

在軟體工程與系統設計中，專家與新手之間的差距會因 LLM 而被放大。雖然新手可能只求程式碼能跑起來，但專家會利用 LLM 來加速實現一個特定的、架構良好的願景。

Precision vs. "Vibe Coding"

「Vibe coding」——依賴模型來猜測預期結果——與專家主導的開發之間存在著顯著差異。專家利用其內部的「注意力權重」(attention weights) 來優先處理關鍵領域（例如：memory layouts, API ergonomics, 或 Rust 中的 RAII patterns），同時將樣板程式碼 (boilerplate) 委派給 AI。

The Bottleneck of Vocabulary

若缺乏正確的詞彙，使用者往往會陷入「功能討論的漩渦」中，AI 會腦力激盪各種可能性，卻從未產生具體的解決方案。例如，一個知道「hero section with call-to-action buttons」這個術語的使用者，會比描述「頂部有一個大區塊，上面有一些可以點擊的東西」的使用者，獲得截然不同且更專業的結果。

Synthesis of Counterpoints and Risks

雖然主流觀點認為專業知識會獎勵使用者，但關於技能習得的未來，存在著幾種關鍵的緊張關係：

The Expertise Paradox

如果 LLMs 讓新手在不經歷基礎磨練的情況下就能達到「6/10」的水準，那麼下一代專家可能永遠無法養成。經驗通常是透過解決困難、乏味問題的「動手實作過程」建立的——而這些任務現在正被委派給 AI。

The Verifier Argument

有人認為，在可自我驗證的領域（例如 GPU kernel optimization 或基礎編碼），對人類專業知識的需求會降低，因為模型可以被置於閉環 RL 環境中，透過迭代改進直到結果被編譯器或基準測試 (benchmark) 驗證。然而，在驗證困難的領域（例如進階數學或複雜系統架構），人類仍然是主要的瓶頸。

The "Mirror" Analogy

許多使用者描述 LLM 為一個「放大鏡」般的反射鏡。將其作為自身心智的延伸來使用的人會蓬勃發展，而將其作為心智的替代品來使用的人則會掙扎。正如一位貢獻者所言：

"If you don't know where you're going or how to get there... it will get you very far in the wrong direction before you've realised."

Conclusion: The Human as the Bottleneck

隨著模型變得越來越強大，限制因素已從模型的能力轉移到人類溝通精確預期方案的能力。資訊往往已經存在於模型的權重中，但提取它需要使用者知道正確答案的模樣以及如何要求它。