AI by Hand: 数学とアルゴリズムの可視化による技術教育

AI by Handは、第一原理に基づいたAIの理解を提供します

AI by Handは、Prof. Tom Yehによって設立されたBy Hand Researchの研究出版物です。このプラットフォームは、複雑なAIアーキテクチャ、アルゴリズム、数学を「手計算（by hand）」の演習に分解することで、モデルの解釈可能性と説明可能性に焦点を当てています。この手法は、ブラックボックス的なフレームワークの使用を超え、学習者が手計算と可視化を通じて、最先端のAIの根底にあるメカニズムを理解できるようにすることを目的としています。

教育フレームワークとコンテンツの柱

このプラットフォームは、技術コンテンツを「Foundation（基礎）」と「Frontier（最先端）」の2つの主要なトラックに整理しています。

Foundation: AI数学の核

Foundationトラックは、ディープラーニングの不可欠な構成要素に焦点を当てています。主なリソースは以下の通りです：

インタラクティブ・ワークブック: Matrix Multiplication (Matmul) や Linear Layers に特化したモジュールを含む、Deep Learning Math Workbook のデジタル版。
Attention Mechanisms: Single vs. Multi-Head Attention および Self vs. Cross Attention を網羅する、11個のインタラクティブな図解シリーズ。
Activation Functions: ネットワーク内でニューロンがどのように活性化されるかについての12のインタラクティブなレッスンを含む専用チャプター。
可視化ツール: データの移動と変換を可視化するために設計された「Matmul Flow」や「Self-Attention Flow」などの特化型ツール。

Frontier: 高度なアーキテクチャとアルゴリズム

Frontierトラックでは、大規模AIモデルとハードウェアにおける最新の開発を分析します。注目すべきトピックには以下が含まれます：

モデル分析: Qwen 3.6 や Gemma 4 などのモデルに関するテクニカルセミナーと録画。
最適化アルゴリズム: 強化学習とアライメント技術への深い掘り下げ。特に PPO (Proximal Policy Optimization) から DPO (Direct Preference Optimization)、GRPO、および Rubrics の使用への進展。
ハードウェアアーキテクチャ: Google Ironwood TPU の分析、ビットから High Bandwidth Memory (HBM) までのデータパスの追跡。
専門コンポーネント: SwiGLU 活性化関数と PPO Clipped Policy Loss アルゴリズムの技術的な分解。

コミュニティの視点と代替リソース

一部のユーザーは、その厳密さから「手計算」のアプローチを称賛していますが、技術コミュニティの他の人々は、プラットフォームのアクセシビリティとユーザーエクスペリエンスに関する課題を指摘しています。

アクセシビリティへの批判

一部のユーザーは、プラットフォームのUXが障壁になり得ると指摘しており、コンテンツの大部分がサブスクリプションの壁の向こう側にロックされている、あるいはリンクにアクセスする前にサブスクリプションページをナビゲートする必要があるといったコメントがいくつか見られます。

補完的な「From Scratch」リソース

コミュニティのメンバーは、LLMをゼロから構築しようとする人々のために、いくつかの代替または補完的なリソースを提案しています：

コードベースの実装: llm-from-scratch や ml-by-hand (micrograd に触発) のようなプロジェクトは、微積分とコードのつながりを強調しています。
構造化されたコース: Sebastian Raschka の Build a Large Language Model (From Scratch) は、解説動画と組み合わせる価値のあるリソースとして引用されています。
学術的入門書: No Starch Press の書籍 Deep Learning: A Visual Approach が、基礎的な入門書として推奨されています。
理論論文: 理論的な基盤として、論文 Foundations of Large Language Models (arXiv:2501.09223v2) が提案されています。