VILA-Lab/Awesome-DLMs

The official GitHub repo for the survey paper "A Survey on Diffusion Language Models".

해결 과제

이 프로젝트는 확산 언어 모델(DLMs)에 관한 연구 및 리소스를 중앙 집중식으로 최신 상태로 유지해야 할 필요성을 해결합니다. 기존의 자기회귀 모델과는 다른 확산 기술을 사용하는 텍스트 생성 모델의 급변하는 환경을 연구자와 개발자가 탐색할 수 있도록 돕습니다.

작동 방식

큐레이션된 지식 허브 역할을 합니다. 학술 논문, 코드 구현, 프로젝트 데모를 "Discrete DLMs", "Continuous DLMs", "Inference Optimization", "Training Strategies"와 같은 논리적 범주로 구성합니다. 이 저장소는 마일스톤 타임라인을 통해 해당 분야의 발전을 추적하며, arXiv 논문, GitHub 저장소 및 대화형 웹 데모에 대한 직접적인 링크를 제공합니다.

대상 사용자

이 컬렉션은 기초 이론부터 최첨단 추론 가속화 기술에 이르기까지, 확산 기반 텍스트 생성의 최신 발전을 파악하고자 하는 AI 연구자, 머신러닝 엔지니어 및 학생들을 위해 설계되었습니다.

주요 특징

  • 포괄적이고 자주 업데이트되는 연구 논문 및 코드베이스 목록.
  • 기초, 학습, 추론 및 멀티모달 응용 분야를 다루는 카테고리별 섹션.
  • 다양한 확산 언어 모델의 라이브 데모를 제공하는 전용 "Playground" 섹션.
  • 연속 확산 모델에서 이산 확산 모델로의 전환을 보여주는 시각적 타임라인.
  • 디코딩 속도와 효율성을 향상시키는 DARTree와 같은 최첨단 연구 포함.

관련

  • 프로젝트
    HazyResearch/ncm

    차세대 개념 모델링(NCM)은 다중 스케일 VQ 토크나이저와 트랜스포머를 사용하여 시퀀스를 거친-세밀하게 생성하는 2단계 병렬 텍스트 생성 프레임워크로, 요약, 번역, 언어 모델링 및 스도쿠에서 확산 기반 모델과 동등한 성능을 유지하면서 9-31배의 속도 향상을 달성합니다. 저장소에는 설치 지침, 평가 스크립트, 여러 데이터셋에 대한 사전 훈련된 토크나이저 및 생성기 컬렉션이 포함되어 있습니다.

  • 프로젝트
    anthropics/anthropic-sdk-go

    Anthropic의 Claude LLM API를 호출하기 위한 Go 클라이언트 라이브러리로, 프롬프트 구성 및 응답 처리를 위한 타입화된 헬퍼를 제공합니다.

  • 프로젝트
    OpenTSLM/OpenTSLM

    OpenTSLM은 Llama 3.2 및 Gemma LLM에 네이티브 시계열 처리 기능을 추가하는 오픈소스 라이브러리로, ECG, EEG, 가속도계 등 의료 신호에 대한 자연어 프롬프트 및 추론을 가능하게 합니다. 사전 학습된 체크포인트, 간단한 `OpenTSLM` Python API, 여러 벤치마크 작업을 위한 데모 스크립트, MCQ, 캡션 생성, 체인 오브 써드 추론 단계를 포함하는 커리큘럼 학습 트레이닝 파이프라인을 제공합니다. `pip install opentslm`로 설치하고, Hugging-Face에서 모델을 로드한 후 제공된 스크립트로 미세 조정 또는 평가가 가능합니다. MIT 라이선스.

  • 프로젝트
    qwdwqfwq/topconf-paper-figure-gallery

    6개 주요 AI/ML 컨퍼런스(2023-2026)의 Figure 1/티저 이미지를 선별하고 검색 가능한 갤러리로 제공하며, CLIP+BM25를 통해 참조 그림을 검색하고 LLM을 사용하여 자신의 논문에 대한 출판 스타일의 Figure 1을 초안 작성하는 브라우저 도구 FigureForge를 함께 제공합니다.