AI by Hand: 수학 및 알고리즘 시각화를 통한 기술 교육

AI by Hand는 AI 이해를 위한 제1원리 접근 방식을 제공합니다

AI by Hand는 Tom Yeh 교수가 설립한 By Hand Research의 연구 간행물입니다. 이 플랫폼은 복잡한 AI 아키텍처, 알고리즘, 수학을 "by hand" 연습 문제로 분해하여 모델의 해석 가능성과 설명 가능성에 집중합니다. 이 방법은 블랙박스 프레임워크의 사용을 넘어, 학습자가 수동 계산과 시각화를 통해 최첨단 AI의 근본적인 메커니즘을 이해할 수 있도록 하는 것을 목표로 합니다.

교육 프레임워크 및 콘텐츠 핵심 요소

이 플랫폼은 기술 콘텐츠를 Foundation과 Frontier라는 두 가지 주요 트랙으로 구성합니다.

Foundation: 핵심 AI 수학

Foundation 트랙은 딥러닝의 필수적인 구성 요소를 중심으로 합니다. 주요 리소스는 다음과 같습니다:

  • Interactive Workbooks: Deep Learning Math Workbook의 디지털 버전으로, Matrix Multiplication (Matmul) 및 Linear Layers에 대한 특정 모듈을 포함합니다.
  • Attention Mechanisms: Single vs. Multi-Head Attention 및 Self vs. Cross Attention을 다루는 11개의 인터랙티브 다이어그램 시리즈입니다.
  • Activation Functions: 네트워크 내에서 뉴런이 어떻게 활성화되는지에 대한 12개의 인터랙티브 레슨을 특징으로 하는 전용 챕터입니다.
  • Visualization Tools: 데이터의 이동과 변환을 시각화하기 위해 설계된 "Matmul Flow" 및 "Self-Attention Flow"와 같은 특화된 도구입니다.

Frontier: 고급 아키텍처 및 알고리즘

Frontier 트랙은 대규모 AI 모델과 하드웨어의 최신 발전을 분석합니다. 주목할 만한 주제는 다음과 같습니다:

  • Model Analysis: Qwen 3.6 및 Gemma 4와 같은 모델에 대한 기술 세미나 및 녹화본입니다.
  • Optimization Algorithms: 강화 학습 및 정렬 기술에 대한 심층 분석으로, 특히 PPO (Proximal Policy Optimization)에서 DPO (Direct Preference Optimization), GRPO, 그리고 Rubrics의 사용으로 이어지는 과정을 다룹니다.
  • Hardware Architecture: Google Ironwood TPU의 데이터 경로를 비트(bits)에서 High Bandwidth Memory (HBM)까지 추적하는 분석입니다.
  • Specialized Components: SwiGLU 활성화 함수와 PPO Clipped Policy Loss 알고리즘에 대한 기술적 분석입니다.

커뮤니티 관점 및 대안 리소스

일부 사용자는 "by hand" 방식의 엄격함을 칭찬하지만, 기술 커뮤니티의 다른 이들은 플랫폼의 접근성 및 사용자 경험에 관한 문제를 지적했습니다.

접근성에 대한 비판

일부 사용자는 플랫폼의 UX가 장벽이 될 수 있다고 언급했으며, 여러 댓글에서는 콘텐츠의 상당 부분이 구독 장벽 뒤에 잠겨 있거나 링크에 접근하기 전에 구독 페이지를 거쳐야 한다고 언급했습니다.

보완적인 "From Scratch" 리소스

커뮤니티 구성원들은 LLM을 밑바닥부터 구축하려는 사람들을 위해 몇 가지 대안 또는 보완적인 리소스를 제안했습니다:

  • Code-Based Implementations: llm-from-scratch 및 ml-by-hand (micrograd에서 영감을 얻음)와 같은 프로젝트는 미분과 코드 사이의 연결을 강조합니다.
  • Structured Courses: Sebastian Raschka의 *Build a Large Language Model (From Scratch)*는 설명 영상과 함께 짝을 이루는 가치 있는 자료로 인용됩니다.
  • Academic Primers: No Starch Press의 Deep Learning: A Visual Approach 도서서는 기초적인 입문서로 추천됩니다.
  • Theoretical Papers: 이론적 토대를 위해 Foundations of Large Language Models 논문 (arXiv:2501.09223v2)이 제안됩니다.

Sources

관련