kernel-memory: 무엇이며, 어떤 문제를 해결하고, 왜 주목받고 있는가

해결하는 문제

Kernel Memory(KM)는 대규모 다중 모달 데이터셋을 구조화된 방식으로 색인하고 이를 Retrieval Augmented Generation(RAG)에 활용할 수 있게 해줍니다. 파일 추출, 텍스트 청크화, 벡터화 등 데이터 수집 파이프라인 구축의 복잡성을 해결하면서, 사용자는 자연어 질의와 인용 및 출처 링크를 통해 데이터를 조회할 수 있습니다.

작동 원리

KM은 웹 서비스, Docker 컨테이너, 혹은 임베디드 .NET 라이브러리 형태로 배포 가능한 다중 모달 AI 서비스입니다. 연속적인 데이터 하이브리드 파이프라인을 사용해 문서(PDF, Word, Excel 등)를 텍스트 추출 → 청크 분할 → LLM을 통한 임베딩 생성 → 벡터 데이터베이스 저장의 순서로 처리합니다. 사용자가 질문을 하면 시스템이 관련 데이터를 검색해 근거가 있는 답변을 생성합니다.

대상 사용자

RAG 기능이 필요한 AI 애플리케이션을 개발하는 개발자를 위해 설계되었으며, 특히 Semantic Kernel, Microsoft Copilot, ChatGPT와 통합하려는 경우에 적합합니다. 문서 처리용 확장 가능한 비동기 백엔드가 필요한 팀이나 .NET 앱을 위한 경량 서버리스 컴포넌트를 원하는 경우에도 유용합니다.

주요 특징

• 유연한 배포: 웹 서비스, Docker 컨테이너, 임베디드 .NET 라이브러리 중 선택 가능.
• 맞춤형 파이프라인: 데이터 추출, 청크화, 저장 방식을 변경할 수 있는 커스텀 핸들러 지원.
• 다중 모달 지원: 웹 페이지, PDF, 이미지, Word, PowerPoint, Excel, Markdown, JSON 등 다양한 형식 처리.
• 광범위한 통합: AI 제공자(OpenAI, Ollama, Anthropic), 벡터 스토어(Azure AI Search, Postgres, Qdrant, Redis), 파일 스토리지(Azure Blob, AWS S3)용 확장 기능 풍부.
• 보안 및 조직화: 문서 소유권 및 태깅을 지원해 파싯 탐색 및 보안 필터링 가능.