Core ML로 Mistral 7B 실행
Hugging Face는 WWDC 24에서 소개된 새로운 Core ML 기능을 사용해 Mac에서 Mistral 7B를 실행하는 방법을 보여주며, 4비트 블록 단위 양자화를 통해 모델 크기를 4GB 이하로 줄였습니다.
Docmatix 데이터셋 출시
Hugging Face가 2.4백만 장의 이미지와 9.5백만 개의 Q/A 쌍을 포함한 Document Visual Question Answering (DocVQA) 데이터셋인 Docmatix를 출시했으며, 이전 데이터셋 대비 규모가 240배 증가했습니다.
TGI Multi-LoRA: 한 번 배포하고 30개 모델 제공
Hugging Face는 Text Generation Inference (TGI)에서 Multi‑LoRA 서빙을 도입하여, 조직이 단일 베이스 모델을 배포하고 수십 개의 특화 파인튜닝 어댑터를 동적으로 제공함으로써 비용과 운영 복잡성을 줄일 수 있게 했습니다.
distilabel을 활용한 Argilla SDK 챗봇 – 엔드‑투‑엔드 튜토리얼
Hugging Face는 distilabel로 생성한 합성 데이터, 파인튜닝된 임베딩, lancedb 벡터 저장소, 그리고 Spaces에 배포된 Gradio 앱을 사용해 Argilla 2.0 챗봇을 구축하는 방법을 보여주는 튜토리얼을 공개했습니다.
SmolLM 출시: 고성능 소형 언어 모델
Hugging Face는 정교하게 큐레이션된 고품질 데이터셋으로 학습된 최첨단 소형 언어 모델(135M, 360M, 1.7B 파라미터) 패밀리인 SmolLM을 소개합니다.
NuminaMath 7B TIR, AIMO 진행상금 수상 – 기술 요약
NuminaMath 7B TIR는 50개의 숨겨진 수학 문제 중 29개를 해결해 첫 번째 AIMO 진행상금을 수상했으며, 두 단계 파인튜닝 레시피, 대규모 고품질 수학 데이터, 도구 통합 추론을 활용한 자기 일관성(SC‑TIR) 전략의 강력함을 보여줍니다.
Hugging Face와 Presidio를 활용한 PII 탐지 실험
Hugging Face는 Microsoft Presidio를 Dataset Hub에 통합하여 자동 PII 탐지 보고서를 제공하는 실험을 진행하고 있으며, 이를 통해 실무자들이 머신러닝 데이터셋의 개인정보 위험을 식별하고 완화할 수 있도록 돕습니다.
TRL, Vision-Language Models를 위한 Direct Preference Optimization 지원 추가
Hugging Face는 TRL 라이브러리에 Vision-Language Models를 위한 Direct Preference Optimization(DPO) 지원을 추가하여, bfloat16 양자화와 LoRA를 사용하여 단일 GPU에서 Idefics-2와 같은 모델을 선호도 데이터로 미세 조정할 수 있도록 했습니다.
Hugging Face와 KerasHub 통합
Hugging Face와 KerasHub는 이제 모델 저장 형식을 공유하여, KerasHub 사용자가 Hugging Face Hub에서 Transformers 라이브러리 모델 30만 개 이상을 직접 로드할 수 있게 됩니다.
Google Cloud TPU를 Hugging Face Inference Endpoints 및 Spaces에 적용
Hugging Face는 Google Cloud TPU v5e 지원을 Inference Endpoints와 Spaces에 통합하여 사용자가 비용 효율적이고 고성능 하드웨어로 AI 모델을 배포하고 확장할 수 있도록 했습니다.
Banque des Territoires, Polyconseil, 그리고 Hugging Face, EduRénov 프로그램을 위한 주권 RAG 솔루션 배포
Hugging Face, Polyconseil, 그리고 Banque des Territoires는 프랑스 EduRénov 학교 리노베이션 프로그램을 위한 이메일 지원 자동화를 위해 주권적이고 오픈소스인 RAG 시스템을 출시했으며, 데이터 거주성을 보장하면서 공공 정책을 위한 생성 AI를 확장했습니다.
Hugging Face 데이터셋 허브 검색 기능 업데이트
Hugging Face는 데이터셋 허브에 180,000개 이상의 공개 데이터셋을 보다 쉽게 찾을 수 있도록 모달리티, 크기, 형식, 라이브러리 호환성 네 가지 새로운 검색 필터를 도입했습니다.
Intel Gaudi 2에서 단백질 언어 모델 ProtST 가속
Intel과 MILA는 Intel Gaudi 2 가속기에 맞게 ProtST 다중 모달 단백질 언어 모델을 최적화하여 NVIDIA A100 GPU에 비해 최대 2.92배 빠른 파인튜닝을 달성했습니다.
Hugging Face Transformers 코드 에이전트 GAIA 벤치마크 결과
Hugging Face는 transformers.agents 라이브러리로 구축된 코드 에이전트를 사용하여 GAIA 벤치마크에서 최고 순위를 달성했으며, 코드 기반 행동이 JSON 기반 도구 호출보다 더 효율적이고 효과적임을 입증했습니다.
Google Gemma 2 릴리스 노트
Google은 9B와 27B 파라미터 크기로 제공되는 오픈-웨이트 LLM 패밀리인 Gemma 2를 출시했으며, 성능 향상을 위한 증류 및 어텐션 메커니즘의 기술적 진보를 특징으로 합니다.
XLSCOUT ParaEmbed 2.0 릴리스
XLSCOUT는 전문가가 선별한 특허 데이터를 기반으로 미세 조정된 독점 임베딩 모델인 ParaEmbed 2.0을 출시했으며, 이는 ParaEmbed 1.0 대비 정확도가 23% 향상되었습니다.
Hugging Face 윤리와 사회 뉴스레터 #6: 데이터 품질의 중요성
Hugging Face는 데이터 품질에 대한 전체적이고 책임감 있는 접근 방식을 제시하며, 고품질 데이터는 AI 모델 성능, 공정성 및 과학적 재현성을 보장하기 위해 의도된 목적에 적합해야 함을 강조합니다.
Microsoft Florence-2를 DocVQA에 파인튜닝
Hugging Face는 Microsoft의 Florence-2 비전-언어 모델을 DocVQA 데이터셋에 파인튜닝하는 방법을 보여주며, 7 에폭 후 검증 유사도가 0에서 57.0으로 향상되었습니다.
Hugging Face 데이터는 함께할 때 더 좋다 이니셔티브
Hugging Face와 Argilla는 오픈소스 커뮤니티가 고품질이며 다양하고 포괄적인 머신러닝 데이터셋을 공동으로 만들 수 있도록 Data Is Better Together (DIBT) 이니셔티브를 시작했습니다.
Prezi 사례 연구: Hugging Face 전문가 지원으로 ML 로드맵 가속화
Prezi는 Hugging Face Expert Support Program과 Inference Endpoints를 활용해 효율적인 오픈소스 멀티모달 모델을 Prezi AI 프레젠테이션 생성 도구에 통합하고 있습니다.
BigCodeBench: 복잡한 파이썬 코드 생성을 위한 새로운 벤치마크
Hugging Face는 실용적인 프로그래밍과 다양한 라이브러리 사용을 평가하기 위해 1,140개의 함수 수준 작업으로 구성된 벤치마크인 BigCodeBench를 출시했으며, HumanEval의 단순성 및 오염 문제를 해결했습니다.
Hugging Face Accelerate: DeepSpeed와 FSDP 정밀도 조화
Hugging Face Accelerate 0.30.0은 PyTorch FSDP에 대한 자동 업캐스팅을 도입하여 정밀도 처리를 DeepSpeed와 맞추고, 두 백엔드 간에 수렴성 손실 없이 원활하게 전환할 수 있게 합니다.
Stable Diffusion 3 Medium과 Diffusers 통합
Hugging Face는 Stable Diffusion 3 Medium(2B 파라미터)을 Diffusers 라이브러리에 통합하고, Multimodal Diffusion Transformer(MMDiT)와 rectified flow‑matching을 도입해 텍스트‑투‑이미지 합성 성능을 향상시켰습니다.
Hugging Face TRL RLOO 트레이너 출시
Hugging Face는 TRL에 RLOO (REINFORCE Leave One-Out) 트레이너를 도입했습니다. 이 온라인 RLHF 알고리즘은 vRAM을 50-70% 적게 사용하고 PPO보다 최대 3배 빠르게 수렴하면서도 성능 면에서 경쟁력을 유지합니다.
Amazon SageMaker용 Hugging Face 임베딩 컨테이너 출시
Hugging Face는 텍스트 임베딩 추론(TEI)으로 구동되는 Amazon SageMaker용 일반 제공(GA) 임베딩 컨테이너를 출시했으며, 이를 통해 오픈 임베딩 모델을 고성능으로 배포할 수 있습니다.
Hugging Face Transformers 문서 재설계
Hugging Face는 제품 개발자를 위해 맞춤화된 코드 우선, 통합된 경험으로 전환하기 위해 경직되고 점진적인 구조에서 Transformers 문서를 재설계하고 있습니다.
인공 분석 텍스트-이미지 리더보드 및 아레나 출시
Hugging Face는 45,000개 이상의 투표에서 얻은 인간 선호 데이터를 활용해 오픈소스 및 독점 이미지 생성 모델을 순위 매기는 인공 분석 텍스트-이미지 리더보드와 아레나를 출시했습니다.
Hugging Face NPC-Playground: 3D 환경에서 LLM 기반 NPC 통합
Hugging Face는 Cubzh와 Gigax를 활용하여 함수 호출과 Lua 스크립팅을 통해 현실적인 LLM 기반 NPC 상호작용을 가능하게 하는 3D 데모인 NPC-Playground를 소개합니다.
Intel Gaudi 보조 생성 지원
Hugging Face는 Optimum Habana에 보조 생성(추측 샘플링)을 통합하여 Intel Gaudi 프로세서에서 대형 트랜스포머 기반 모델에 대해 최대 2배의 속도 향상을 가능하게 했습니다.
Hugging Face Spaces 비밀 보안 업데이트
Hugging Face는 Spaces 비밀 중 일부에 대한 무단 접근이 발생한 보안 사고를 공개했으며, 이로 인해 영향을 받은 토큰이 취소되고 세분화된 접근 토큰으로 전환되었습니다.
텍스트 생성 추론 벤치마킹
Hugging Face는 텍스트 생성 추론 (TGI)용 벤치마킹 도구를 소개하여 개발자가 처리량과 지연 시간 간의 트레이드오프를 프로파일링하고 LLM 배포 비용 및 성능을 최적화할 수 있도록 돕습니다.
Sentence Transformers를 사용한 임베딩 모델 훈련 및 파인튜닝
Hugging Face는 Sentence Transformers 라이브러리를 사용하여 임베딩 모델을 훈련하고 파인튜닝하는 포괄적인 가이드를 제공하며, 의미 검색 및 RAG와 같은 작업에 적용하고 새로운 SentenceTransformerTrainer를 소개합니다.
CyberSecEval 2: 대형 언어 모델의 사이버 보안 위험 평가
Hugging Face와 Meta가 CyberSecEval 2를 도입했습니다. 이 포괄적인 프레임워크는 LLM이 코드 인터프리터 남용, 공격적인 사이버 보안 능력, 프롬프트 인젝션 공격에 취약한지를 평가합니다.
Hugging Face AWS Inferentia2 통합
Hugging Face는 AWS Inferentia2에 대한 지원을 확대하여 Amazon SageMaker를 통해 100,000개 이상의 모델을 배포하고 Hugging Face Inference Endpoints에 새로운 Inf2 인스턴스 옵션을 도입했습니다.
Hugging Face와 Microsoft 전략적 협업 업데이트 2024년 5월
Hugging Face와 Microsoft는 전략적 파트너십을 확대하여 인기 있는 오픈 모델을 Azure Model Catalog에 통합하고, Azure에서 AMD MI300X GPU 지원을 활성화했으며, Hugging Face Spaces를 위한 VS Code 통합을 도입했습니다.
AMD Instinct MI300 GPU에 대한 Hugging Face 통합
Hugging Face는 AMD Instinct MI300 GPU에 대한 일류 통합을 구현했으며, MI250에 비해 Llama 3 70B에 대해 최대 3배 빠른 추론과 2배 빠른 파인튜닝을 제공합니다.
Dell Enterprise Hub: 온프레미스 AI 배포 및 교육
Hugging Face와 Dell이 Dell 하드웨어에서 오픈소스 대형 언어 모델의 온프레미스 교육 및 배포를 간소화하는 플랫폼인 Dell Enterprise Hub를 출시했습니다.
Hugging Face Spaces Dev Mode 릴리스
Hugging Face는 Spaces Dev Mode를 도입하여 PRO 구독자가 VS Code 또는 SSH를 통해 실시간 코드 편집을 할 수 있게 했으며, 매번 git 푸시가 필요하지 않습니다.
Hugging Face KV 캐시 양자화
Hugging Face는 Transformers 라이브러리에 KV 캐시 양자화를 도입하여, 모델 품질에 거의 영향을 주지 않으면서 장기 컨텍스트 텍스트 생성 시 메모리 사용량을 줄였습니다.
오픈 아라비아 LLM 리더보드 소개
Hugging Face와 Technology Innovation Institute는 아라비아 대형 언어 모델을 위한 전문적이고 개방된 평가 플랫폼인 Open Arabic LLM Leaderboard (OALL)를 출시했습니다.
PaliGemma 비전 언어 모델 출시
Google은 SigLIP-So400m과 Gemma-2B를 결합한 오픈 비전-언어 모델 패밀리인 PaliGemma를 출시했으며, 이미지 캡션 생성, 시각 질문 응답, 객체 탐지와 같은 작업을 가능하게 합니다.
Hugging Face와 LangChain이 langchain_huggingface 파트너 패키지를 출시합니다
Hugging Face와 LangChain이 공동으로 유지 관리하는 파트너 패키지인 langchain_huggingface를 출시하여 Hugging Face 모델을 LangChain 생태계에 원활하게 통합할 수 있게 했습니다.
Intel Gaudi 2와 Intel Xeon을 활용한 비용 효율적인 엔터프라이즈 RAG 애플리케이션 구축
Hugging Face는 OPEA 프레임워크를 통해 Intel Gaudi 2 가속기와 Intel Xeon CPU를 결합하면 H100 기반 시스템에 비해 성능 대비 비용이 뛰어난 RAG 애플리케이션을 기업이 구축할 수 있음을 보여줍니다.
Hugging Face Enterprise Hub가 이제 AWS Marketplace에서 제공됩니다
Hugging Face는 Enterprise Hub를 AWS Marketplace와 통합하여 조직이 계정을 업그레이드하고 AWS 계정을 통해 직접 청구를 관리할 수 있도록 했습니다.
히브리어 LLM을 위한 Hugging Face 오픈 리더보드
Hugging Face는 히브리어 대형 언어 모델(LLM)의 평가와 개선을 위해 특별히 설계된 오픈 리더보드를 출시했으며, 저자원 및 형태학적으로 복잡한 언어의 과제를 해결합니다.
Hugging Face의 Artificial Analysis LLM 성능 리더보드
Hugging Face는 Artificial Analysis LLM 성능 리더보드를 통합하여 AI 엔지니어에게 100개가 넘는 서버리스 LLM API 엔드포인트의 품질, 가격, 속도를 비교할 수 있는 통합 메트릭 시스템을 제공하고 있습니다.
Hugging Face Inference Endpoints ASR 및 화자 구분 파이프라인
Hugging Face는 Whisper ASR, Pyannote 화자 구분 및 추측 디코딩을 결합한 모듈식 파이프라인을 Inference Endpoints에 배포하기 위한 맞춤형 추론 핸들러를 소개합니다.
구조화된 생성으로 프롬프트 일관성 향상
Hugging Face와 Dottxt의 연구는 LLM 출력에 구조화된 생성을 적용해 프롬프트 형식과 샷 순서에 따른 성능 변동을 줄이고, 순위 일관성을 향상시킨다는 것을 보여줍니다.
StarCoder2-15B-Instruct-v0.1 릴리스 노트 / 새로운 내용
Hugging Face는 완전 투명하고 관용적인 파이프라인으로 학습된 최초의 완전 자체 정렬 코드 LLM인 StarCoder2-15B-Instruct-v0.1을 소개합니다. 이 모델은 HumanEval에서 CodeLlama-70B-Instruct보다 성능이 뛰어납니다.
Hugging Face 오픈 체인 오브 사고 리더보드
Hugging Face는 도전적인 추론 작업에서 다양한 LLM에 대한 체인 오브 사고 프롬프트가 제공하는 구체적인 정확도 향상을 측정하기 위해 오픈 체인 오브 사고 리더보드를 도입했습니다.