Jack of All Trades (JAT) 다목적 트랜스포머 에이전트
Hugging Face는 Atari, BabyAI, Meta‑World, MuJoCo 환경에서 다양한 순차 의사결정 작업을 수행할 수 있는 단일 트랜스포머 기반 에이전트인 Jack of All Trades (JAT)를 소개합니다.
오픈 메디컬-LLM 리더보드: 의료 분야 대형 언어 모델 벤치마킹
Hugging Face가 오픈 메디컬-LLM 리더보드를 도입했습니다. 이는 다양한 의료 데이터셋에서 LLM의 성능을 평가하고 비교하기 위한 표준화된 플랫폼으로, 신뢰성 향상과 환자 안전을 목표로 합니다.
Meta Llama 3 릴리스 노트
Meta는 8B와 70B 파라미터 모델을 갖춘 오픈 액세스 LLM 패밀리인 Llama 3를 출시했으며, 토크나이징이 개선되고 15조 토큰으로 학습되었습니다.
Ryght 사례 연구: Hugging Face와 함께하는 생명과학 생성 AI 플랫폼 구축
Ryght는 의료 및 생명과학 분야를 위한 엔터프라이즈급 생성 AI 플랫폼인 Ryght Preview를 출시했으며, Hugging Face의 Expert Support, TGI, TEI를 활용해 안전하고 유연하며 고성능 AI 코파일럿을 제공합니다.
Hugging Face 엔드포인트에서 개인정보 보호 추론 실행
Hugging Face와 Zama는 Fully Homomorphic Encryption(FHE) 모델을 Hugging Face 엔드포인트를 통해 배포할 수 있게 하여, 사용자가 데이터를 복호화하지 않고도 암호화된 데이터에 대해 머신러닝 추론을 수행할 수 있도록 했습니다.
LiveCodeBench 리더보드: 코드 LLM을 위한 오염 방지 평가
Hugging Face는 UC Berkeley, MIT, Cornell 연구원들이 개발한 새로운 벤치마크인 LiveCodeBench 리더보드를 도입했습니다. 이 벤치마크는 시간 구간별 문제 세트를 활용해 벤치마크 오염을 방지하면서 LLM의 코드 생성 및 추론 능력을 평가합니다.
빠른 AI 앱 개발을 위한 Gradio 리로드 모드
Gradio의 리로드 모드는 개발자가 서버를 재시작하지 않고도 AI 애플리케이션에 소스 코드 변경을 즉시 적용할 수 있게 하여 개발 지연 시간을 크게 줄여줍니다.
Idefics2 8B 비전-언어 모델 출시 – 아키텍처, 데이터, 및 성능
Hugging Face는 VQA와 OCR 벤치마크에서 다른 8‑B 모델보다 뛰어난 성능을 보이며 🤗 Transformers를 통해 파인튜닝할 수 있는 8B 오픈소스 비전‑언어 모델 Idefics2를 출시했습니다.
비전 언어 모델 설명
Hugging Face는 비전 언어 모델(VLM)에 대한 포괄적인 가이드를 제공하며, 아키텍처, 오픈소스 옵션, 평가 벤치마크, 그리고 TRL 라이브러리를 통한 새로운 실험적 파인튜닝 지원을 상세히 설명합니다.
Hugging Face와 Google Cloud Vertex AI Model Garden 통합
Hugging Face는 'Deploy on Google Cloud'를 출시하여 사용자가 Hugging Face Hub 또는 Vertex Model Garden을 통해 수천 개의 오픈 파운데이션 모델을 Vertex AI 또는 Google Kubernetes Engine(GKE)으로 배포할 수 있게 했습니다.
CodeGemma 릴리스 노트 / 새로운 소식
Google은 Gemma를 기반으로 한 오픈 액세스 코드 전문 LLM 패밀리인 CodeGemma를 출시했으며, 코드, 수학 및 영어 데이터 5천억 개의 추가 토큰으로 학습되었습니다.
Hugging Face 공공 정책 프로그램 개요 및 제출 자료
Hugging Face는 미국, EU, 영국 정책 입안자들에게 상세한 입장문, 증언, 의견 서한을 제공하는 포괄적인 공공 정책 프로그램을 발표했으며, 이는 책임 있는 개방성과 AI 규제 형성을 위한 교차 기능적 약속을 반영합니다.
AI 보안을 위한 Hugging Face와 Wiz 연구 파트너십
Hugging Face는 Wiz와 파트너십을 맺어 고급 취약점 관리 및 클라우드 보안 자세 관리(CSPM)를 통합함으로써 플랫폼과 더 넓은 AI/ML 생태계를 보호하고 있습니다.
Hugging Face Dataset Viewer API와 DuckDB-NSQL-7B를 활용한 Text2SQL
Hugging Face는 DuckDB-NSQL-7B 모델과 Dataset Viewer API를 활용해 자연어 질문을 SQL 쿼리로 변환하고, 120,000개가 넘는 공개 데이터셋을 분석하는 방법을 보여줍니다.
Xeon에서 🤗 Optimum Intel와 함께하는 SetFit 추론 가속화
Hugging Face는 🤗 Optimum Intel 라이브러리를 통한 사후 훈련 정적 양자화를 사용하여 Intel Xeon CPU에서 SetFit 모델의 추론 처리량을 최대 7.8배 빠르게 달성하는 방법을 보여줍니다.
Hugging Face와 Cloudflare Workers AI 통합
Hugging Face는 Cloudflare Workers AI를 통합하여 인기 있는 오픈 모델에 대한 서버리스 GPU 추론을 제공하고, 개발자가 요청당 과금 모델로 AI 애플리케이션을 배포할 수 있도록 했습니다.
Pollen-Vision: 로봇 분야 제로샷 비전 모델을 위한 통합 인터페이스
Hugging Face와 Pollen Robotics 팀은 제로샷 비전 모델을 통합하여 로봇이 3D 공간에서 알 수 없는 물체를 감지하고 위치를 파악할 수 있게 하는 오픈소스 라이브러리 pollen-vision을 출시했습니다.
Hugging Face Transformers: 오픈소스 머신러닝 입문 가이드
Hugging Face는 Transformers 라이브러리와 Hub를 사용하여 Microsoft의 Phi-2와 같은 오픈소스 머신러닝 모델을 배포하고 실행하는 포괄적인 입문 가이드를 제공합니다.
임베딩 양자화: 더 빠르고 저렴한 검색을 위한 이진 및 스칼라 기법
Hugging Face는 이진 및 int8 임베딩 양자화를 발표했으며, 메모리를 32배 또는 4배 줄이고 검색 속도를 최대 45배 가속화하면서 원래 성능의 96%–99%를 유지합니다.
Hugging Face와 Lighthouz AI가 챗봇 가드레일 아레나를 소개합니다
Hugging Face와 Lighthouz AI가 커뮤니티 주도 스트레스 테스트 플랫폼인 Chatbot Guardrails Arena를 출시했습니다. 이 플랫폼은 LLM과 가드레일의 데이터 프라이버시 및 보안을 평가하도록 설계되었습니다.
GaLore: 소비자 등급 하드웨어에서 대규모 모델 훈련 진전
GaLore는 저랭크 그래디언트 투영을 통해 옵티마이저 상태 메모리 요구량을 82.5% 이상 감소시켜, 소비자 등급 GPU에서 수십억 파라미터 모델 훈련을 가능하게 합니다.
Cosmopedia: LLM 사전 학습을 위한 대규모 합성 데이터
Hugging Face는 Mixtral-8x7B-Instruct-v0.1으로 생성된 3천만 파일과 250억 토큰을 포함한, LLM 사전 학습을 위한 가장 큰 공개 합성 데이터셋인 Cosmopedia를 소개합니다.
Intel Meteor Lake에서 Phi-2: 로컬 LLM 추론
Hugging Face는 OpenVINO와 Optimum Intel을 사용한 4비트 양자화를 통해 Intel Meteor Lake (Core Ultra) 프로세서에서 Microsoft Phi-2 모델을 로컬로 실행하는 방법을 보여줍니다.
Quanto: Optimum용 PyTorch 양자화 백엔드
Hugging Face는 다양한 모달리티에 걸쳐 저정밀 모델 배포를 간소화하도록 설계된, 다재다능하고 디바이스에 구애받지 않는 PyTorch 양자화 백엔드 Quanto를 Optimum용으로 소개합니다.
Hugging Face DGX 클라우드에서 학습
Hugging Face는 엔터프라이즈 Hub 조직이 NVIDIA H100 및 L40S GPU를 사용해 오픈 모델을 미세 조정할 수 있는 노코드 서비스인 Train on DGX Cloud를 출시했습니다.
WebSight 데이터셋 및 Sightseer 모델
Hugging Face는 200만 개의 스크린샷-HTML 쌍으로 구성된 합성 데이터셋인 WebSight와 웹 스크린샷을 기능적 HTML 코드로 변환할 수 있는 비전-언어 모델인 Sightseer를 소개했다.
Optimum Intel 및 fastRAG를 활용한 CPU 최적화 임베딩
Hugging Face와 Intel은 Optimum Intel 및 fastRAG를 사용해 Xeon CPU에서 임베딩 모델을 가속화하는 방법을 소개했으며, int8 양자화를 통해 최대 4.5배의 지연 시간 감소와 4배의 처리량 향상을 달성했습니다.
ConTextual: 텍스트가 풍부한 장면에서 멀티모달 추론 벤치마킹
Hugging Face와 UCLA 연구진은 복잡하고 텍스트가 풍부한 이미지에서 텍스트와 시각적 단서를 공동으로 추론하는 대형 멀티모달 모델(LMM)들을 평가하기 위해 설계된 데이터셋 및 리더보드인 ConTextual을 소개했습니다.
Hugging Face와 Argilla가 공동 커뮤니티 데이터셋 구축을 가능하게 하다
Hugging Face와 Argilla는 Hugging Face Spaces와 Argilla를 활용한 간소화된 워크플로를 도입하여 커뮤니티가 고품질의 오픈소스 데이터셋을 공동으로 구축할 수 있도록 했습니다.
Intel Gaudi 2 AI 가속기에서 텍스트 생성 파이프라인
Hugging Face는 Intel Gaudi 2 AI 가속기를 위한 맞춤형 텍스트 생성 파이프라인을 소개하며, Optimum Habana을 통해 Llama 2 모델(7b, 13b, 70b)의 간소화된 배포를 가능하게 합니다.
StarCoder2와 The Stack v2 릴리스
BigCode는 3B, 7B, 15B 파라미터 크기의 투명하게 학습된 오픈 코드 LLM 패밀리인 StarCoder2를 새로운 대규모 Stack v2 데이터셋으로 제공했습니다.
Hugging Face TTS Arena: 텍스트-음성 변환 모델 벤치마킹
Hugging Face는 텍스트-음성 변환 모델 품질을 객관적으로 측정하기 위해 Elo 레이팅 시스템을 활용한 크라우드소싱 방식의 나란히 비교 도구 및 리더보드를 제공하는 TTS Arena를 출시했습니다.
AI 워터마킹 101: 도구와 기법
Hugging Face는 이미지, 텍스트, 오디오 전반에 걸친 AI 워터마킹 기법에 대한 포괄적인 개요를 제공하여 딥페이크와 싸우고 콘텐츠 출처를 보장합니다.
Matryoshka 임베딩 모델 소개
Matryoshka 임베딩 모델은 성능 손실 없이 축소할 수 있는 가변 크기 임베딩을 제공하여 저장 공간, 속도 및 정확성 사이의 유연한 트레이드오프를 가능하게 합니다.
Hugging Face에서 Gemma 모델 파인튜닝
Hugging Face는 Parameter-Efficient Fine-Tuning(PEFT)과 Low-Rank Adaptation(LoRA)을 활용해 Google의 Gemma 모델을 GPU와 Cloud TPU에서 맞춤화하는 가이드를 제공합니다.
Hugging Face와 Haize Labs, Red-Teaming Resistance 리더보드 소개
Hugging Face와 Haize Labs는 특정 안전 위반 카테고리별 고품질 인간형 적대적 프롬프트에 대한 LLM 견고성을 평가하기 위해 Red-Teaming Resistance (RTR) 벤치마크를 출시했습니다.
Google Gemma 오픈 LLM 릴리스
Google은 Gemini를 기반으로 하는 오픈 액세스 대형 언어 모델 패밀리인 Gemma를 출시했으며, 2B 및 7B 파라미터 크기의 기본 및 인스트럭션 튜닝 변형을 제공합니다.
오픈 Ko-LLM 리더보드
Hugging Face와 Upstage가 Open Ko-LLM 리더보드를 출시하여, 한국어 대형 언어 모델을 위한 공정하고 투명한 평가 생태계를 제공하고, 데이터 오염을 방지하기 위해 비공개 테스트 세트를 사용합니다.
Hugging Face PEFT 새로운 LoRA 병합 방법
Hugging Face는 PEFT 라이브러리에 여러 새로운 병합 방법을 도입하여, 사용자가 동일한 기본 모델에서 파생된 여러 LoRA 어댑터를 실시간으로 결합해 새로운 기능을 합성할 수 있게 했습니다.
오픈소스 LLM을 활용한 합성 데이터가 맞춤형 모델의 비용, 지연 시간 및 탄소 배출을 감소시킵니다
Hugging Face는 오픈소스 LLM을 사용해 합성 데이터를 생성하고 작은 RoBERTa 모델을 미세조정함으로써, 추론 비용을 $3061에서 $2.7로, 지연 시간을 수초에서 0.13 s로, CO₂ 배출량을 약 1 t에서 0.12 kg으로 감소시키면서 금융 감성 분류에서 GPT‑4와 동일한 정확도를 달성하는 방법을 보여줍니다.
AMD Pervasive AI 개발자 콘테스트
AMD와 Hugging Face가 파트너십을 맺어 Pervasive AI Developer Contest를 시작했으며, 개발자들에게 AMD 하드웨어를 무료로 제공하고 현금 상금을 통해 생성 AI, 로보틱스 AI, 그리고 PC AI 분야에서 AI 애플리케이션을 구축하도록 지원합니다.
Hugging Face TGI 메시지 API 출시
Hugging Face는 버전 1.4.0부터 Text Generation Inference (TGI)를 위한 Messages API를 도입했으며, 이를 통해 오픈 LLM에 대한 OpenAI Chat Completion API 호환성을 제공합니다.
SegMoE: Segmind 확산 전문가 혼합
SegMoE는 Stable Diffusion 아키텍처의 Feed-Forward 레이어를 희소 MoE 레이어로 교체하여 프롬프트 이해도를 향상시키는 Mixture-of-Experts (MoE) Diffusion 모델을 생성하기 위한 프레임워크입니다.
NPHardEval 리더보드: 계산 복잡성을 통한 LLM 추론 평가
Hugging Face는 계산 복잡도 클래스를 활용하여 대형 언어 모델의 논리적 추론 능력을 정량적으로 측정하는 동적 벤치마크인 NPHardEval 리더보드를 소개합니다.
Hugging Face에서의 PatchTST 통합
Hugging Face는 시계열 패칭과 채널 독립성을 활용하여 장기 예측을 개선하고 전이 학습을 가능하게 하는 Transformer 기반 모델인 PatchTST를 통합했습니다.
Hugging Face 텍스트 생성 추론이 이제 AWS Inferentia2를 지원합니다
Hugging Face는 Amazon SageMaker를 통해 AWS Inferentia2에서 Text Generation Inference를 일반적으로 사용할 수 있게 되었음을 발표했으며, GPU 배포에 대한 대안으로 비용 효율적이고 고처리량의 LLM 서비스를 가능하게 합니다.
오픈 LLM을 활용한 헌법 AI
Hugging Face는 오픈 모델에서 헌법적 AI(CAI)를 구현하기 위한 엔드‑투‑엔드 레시피와 llm-swarm 도구를 소개합니다. 이를 통해 사용자 정의 원칙에 기반한 확장 가능한 자체 정렬이 가능해지며, 비용이 많이 드는 인간 피드백이 필요하지 않습니다.
Enterprise Scenarios Leaderboard: 실제 비즈니스 사례에 대한 LLM 평가
Hugging Face와 Patronus AI는 실제 비즈니스 작업 6가지에 대한 언어 모델을 평가하기 위해 Enterprise Scenarios Leaderboard를 출시했으며, 학술 벤치마크를 넘어 실용적인 엔터프라이즈 활용도를 측정합니다.
Optimum Intel으로 Intel Xeon에서 StarCoder 가속
Hugging Face와 Intel은 8비트 양자화와 보조 생성을 결합하여 4세대 Intel Xeon 프로세서에서 StarCoder-15B 모델에 대해 7배 이상의 추론 가속을 보여줍니다.
Hugging Face 환각 리더보드 출시 및 초기 결과
Hugging Face는 사실성 및 충실도 오류에 대한 LLM을 벤치마크하기 위해 여러 오픈소스 데이터셋을 활용한 Hallucinations Leaderboard를 출시했으며, 투명한 순위를 제공하여 모델 선택 및 연구를 안내합니다.