amitshekhariitbhu/ai-system-design

AI System Design - Learn how to design AI systems built on LLMs, RAG, and AI Agents step by step.

AI System Design – 이 저장소의 내용

유형: 오픈소스 학습 가이드(Markdown 중심 저장소)
범위: AI 시스템 설계 분야 전체를 다룹니다 – LLM 추론 메커니즘, 하드웨어 선택, 캐싱, 라우팅, RAG부터 에이전트, 멀티 에이전트 오케스트레이션, 멀티모달/음성 파이프라인, 안전 가드레일, 관찰 가능성, 비용 최적화 및 인터뷰 준비까지.

범위에 포함되는 이유: 이 저장소는 프로덕션급 AI 서비스를 구축하는 방법을 가르치는 선별되고 지속적으로 업데이트되는 설명 기사, 다이어그램 및 링크 모음입니다. 모든 주제는 현대 AI/LLM 엔지니어링과 직접 관련되어 있어 진정한 AI 중심 교육 프로젝트로 인정됩니다.

빠른 요약

대규모 언어 모델을 중심으로 AI 시스템을 설계, 배포, 확장하려는 엔지니어를 위한 단계별 가이드.
각 하위 주제에 대한 심층 블로그 게시물로 연결되는 상세한 목차가 있는 긴 Markdown 문서로 구성됩니다.
기초(토큰, GPU, 추론 서버) → 핵심 엔지니어링(확장, 캐싱, 라우팅, RAG) → 고급 레이어(에이전트, 멀티 에이전트 시스템, 멀티모달, 안전, 관찰 가능성, 비용, 파인튜닝) → 인터뷰 프레임워크를 다룹니다.
초보자를 위해 작성되었으며 전문 용어를 피하고 실제 숫자, 도구 및 아키텍처 다이어그램을 포함합니다.
Amit Shekhar(Outcome School 창립자)가 유지 관리하며 그의 교육 플랫폼 및 관련 AI 엔지니어링 과정에 상호 연결됩니다.

누가 사용할까요

대상	얻는 것
AI로 전환하는 소프트웨어 엔지니어	기본 토큰 경제학부터 프로덕션급 파이프라인까지의 명확한 로드맵.
백엔드 / 모바일 / 프론트엔드 개발자	LLM 추론, 스트리밍, 속도 제한 및 게이트웨이 통합에 대한 실용적인 지침.
ML / 데이터 과학자	모델을 연구에서 확장 가능한 서빙 스택(GPU 크기 조정, 양자화 등)으로 전환하는 단계.
엔지니어링 매니저 및 아키텍트	하드웨어, 병렬 처리, 캐싱 및 비용 최적화를 위한 의사 결정 프레임워크.
학생 및 인터뷰 준비자	반복 가능한 8단계 방법으로 AI 시스템 설계 인터뷰 문제를 해결하는 전용 섹션.

핵심 콘텐츠 하이라이트

LLM 추론 메커니즘 – Prefill과 decode, TTFT, TPS, KV-cache, chunked prefill 및 disaggregation.
확장 전략 – 수직/수평 확장, 텐서/파이프라인 병렬 처리, 자동 확장 웜 풀.
캐싱 레이어 – KV-cache, 프롬프트 캐시, 시맨틱 캐시, 임베딩 캐시 및 압축 기술.
라우팅 및 로드 밸런싱 – 규칙 기반, 분류기 기반, 임베딩 기반, LLM-as-router 및 캐스케이드 라우팅.
RAG 및 벡터 데이터베이스 – 인덱스 유형, 하이브리드 검색, HyDE 쿼리 변환, 재랭킹, GraphRAG, 벡터리스 RAG.
컨텍스트 관리 – 창 순환, RoPE 감쇠, 요약, 계층적 메모리.
에이전트 아키텍처 – 5가지 핵심 부분, 루프 엔지니어링, 도구 호출, Model Context Protocol (MCP), 메모리 스택.
멀티 에이전트 시스템 – 조정 패턴, A2A 프로토콜, 하위 에이전트, 트레이드오프.
멀티모달 및 음성 – 엣지 AI, 지연 시간 예산, barge-in, SSE/WebSockets를 통한 스트리밍.
안전 및 규정 준수 – 가드레일, 프롬프트 인젝션, 레드팀, 워터마킹, PII 편집, 감사 로그.
관찰 가능성 및 평가 – 추적, 스팬, LLM-as-judge, 에이전트 평가 파이프라인.
비용 최적화 – 모델 선택, 캐싱, 배치 추론, 더 저렴한 검색, 자체 호스팅.
인터뷰 프레임워크 – 8단계 문제 해결 방법, 실제 사례 연구(Claude Code, Cursor, 음성 AI), FAQ.

시작하는 방법

저장소를 클론하고 README.md를 엽니다 – 목차를 통해 모든 주제로 이동할 수 있습니다.
학습 경로(Mermaid 다이어그램)를 따르세요 – 초보자라면: 기초 → LLM 추론 → 확장 → … → 인터뷰.
심층 블로그는 각 섹션에서 연결됩니다. 구체적인 예, 코드 스니펫 및 아키텍처 다이어그램을 위해 읽어보세요.
적용: 각 섹션 후에 개념을 자신의 말로 설명하거나 작은 버전을 프로토타입해 보세요(예: KV-cache 데모 또는 간단한 RAG 파이프라인).

라이선스

이 저장소는 오픈소스 라이선스(README 끝의 License 섹션 참조)로 공개되어 자유로운 재사용 및 수정이 허용됩니다.

결론: AI System Design은 LLM과 에이전트를 중심으로 한 프로덕션 AI 시스템을 구축, 확장 및 유지하는 방법을 엔지니어에게 가르치는 포괄적이고 초보자 친화적인 오픈소스 가이드입니다. 이는 AI 시스템 분야에서 진정한 교육 프로젝트입니다.