Hugging Face 2024 보안 기능 하이라이트
Hugging Face는 2024년 보안 환경을 상세히 설명하며, 모든 사용자를 위한 기본 보호 기능 세트와 엔터프라이즈 Hub 사용자를 위한 고급 거버넌스 제어를 도입했습니다.
Google이 Gemma 2 2B, ShieldGemma 및 Gemma Scope를 출시했습니다
Google은 Gemma 2 2B, ShieldGemma 안전 분류기, 그리고 Gemma Scope 희소 오토인코더를 출시하여 오픈소스 LLM 기능, 검열 도구 및 해석 가능성 리소스를 확장했습니다.
Quanto 양자화가 Transformer 확산 파이프라인의 메모리를 절감합니다
Hugging Face 양자화(Quanto)는 Transformer 확산 모델의 GPU 메모리를 약 12 GB에서 약 5 GB로 줄이며 지연 시간과 품질 영향을 최소화합니다.
Hugging Face NVIDIA NIM API (serverless) 출시 및 폐지
Hugging Face는 Enterprise Hub 사용자를 위해 NVIDIA DGX Cloud H100 GPU에서 오픈소스 LLM을 OpenAI 호환 API로 사용량 기반(pay‑as‑you‑go) 서버리스 추론할 수 있는 **NVIDIA NIM API (serverless)** 를 출시했습니다.
LAVE: LLM을 활용한 Docmatix의 제로샷 VQA 평가
Hugging Face는 전통적인 VQA 메트릭의 경직성을 해결하기 위해 LAVE(LLM‑Assisted VQA Evaluation)를 도입했으며, Docmatix 데이터셋에서 제로샷 성능을 평가할 때 50% 수준의 정확도 향상을 입증했습니다.
OpenAI SearchGPT 프로토타입 발표
OpenAI는 AI 모델과 실시간 웹 정보를 결합하여 명확한 출처 인용과 함께 직접 답변을 제공하는 임시 프로토타입인 SearchGPT를 소개했습니다.
OpenAI 모델 안전을 위한 규칙 기반 보상
OpenAI는 명시적이고 단계적인 규칙을 사용해 AI 안전 행동을 정렬하는 방법인 규칙 기반 보상(RBRs)을 도입했으며, 방대한 인간 데이터 수집이 필요하지 않습니다.
Llama 3.1 출시 노트: 다국어 지원, 긴 컨텍스트 및 405B 모델
Meta는 8B, 70B, 405B 크기의 모델, 128K 컨텍스트 길이, 8개 언어에 대한 다국어 지원 및 합성 데이터 생성을 허용하는 관대한 라이선스를 특징으로 하는 Llama 3.1을 출시했습니다.
Core ML로 Mistral 7B 실행
Hugging Face는 WWDC 24에서 소개된 새로운 Core ML 기능을 사용해 Mac에서 Mistral 7B를 실행하는 방법을 보여주며, 4비트 블록 단위 양자화를 통해 모델 크기를 4GB 이하로 줄였습니다.
GPT-4o mini 릴리스 노트 / 새로운 소식
OpenAI는 GPT-4o mini를 출시했습니다. 이 모델은 비용 효율성이 매우 높은 소형 모델로, GPT-3.5 Turbo 및 기타 소형 모델들을 주요 추론 및 멀티모달 벤치마크에서 능가합니다.
Docmatix 데이터셋 출시
Hugging Face가 2.4백만 장의 이미지와 9.5백만 개의 Q/A 쌍을 포함한 Document Visual Question Answering (DocVQA) 데이터셋인 Docmatix를 출시했으며, 이전 데이터셋 대비 규모가 240배 증가했습니다.
TGI Multi-LoRA: 한 번 배포하고 30개 모델 제공
Hugging Face는 Text Generation Inference (TGI)에서 Multi‑LoRA 서빙을 도입하여, 조직이 단일 베이스 모델을 배포하고 수십 개의 특화 파인튜닝 어댑터를 동적으로 제공함으로써 비용과 운영 복잡성을 줄일 수 있게 했습니다.
ChatGPT Enterprise 컴플라이언스 및 관리 도구 업데이트
OpenAI는 규제 요구 사항을 충족하고 AI 배포를 안전하게 확장할 수 있도록 기업 고객을 돕기 위해 Compliance API, 자동 사용자 관리를 위한 SCIM, 그리고 세분화된 GPT 제어 기능을 도입했습니다.
OpenAI 프루버‑검증자 게임은 언어 모델 출력의 가독성을 향상시킵니다
OpenAI는 강력한 언어 모델이 약한 모델이 검증할 수 있는 솔루션을 생성하도록 하는 프루버‑검증자 게임 훈련 방식을 발표했으며, 이를 통해 정확성과 인간 가독성을 모두 향상시켰습니다.
distilabel을 활용한 Argilla SDK 챗봇 – 엔드‑투‑엔드 튜토리얼
Hugging Face는 distilabel로 생성한 합성 데이터, 파인튜닝된 임베딩, lancedb 벡터 저장소, 그리고 Spaces에 배포된 Gradio 앱을 사용해 Argilla 2.0 챗봇을 구축하는 방법을 보여주는 튜토리얼을 공개했습니다.
SmolLM 출시: 고성능 소형 언어 모델
Hugging Face는 정교하게 큐레이션된 고품질 데이터셋으로 학습된 최첨단 소형 언어 모델(135M, 360M, 1.7B 파라미터) 패밀리인 SmolLM을 소개합니다.
NuminaMath 7B TIR, AIMO 진행상금 수상 – 기술 요약
NuminaMath 7B TIR는 50개의 숨겨진 수학 문제 중 29개를 해결해 첫 번째 AIMO 진행상금을 수상했으며, 두 단계 파인튜닝 레시피, 대규모 고품질 수학 데이터, 도구 통합 추론을 활용한 자기 일관성(SC‑TIR) 전략의 강력함을 보여줍니다.
OpenAI와 Los Alamos National Laboratory 바이오사이언스 연구 파트너십
OpenAI와 Los Alamos National Laboratory은 멀티모달 프론티어 AI 모델인 GPT-4o와 같은 모델이 물리적 실험실 환경에서 과학자들을 안전하게 지원하여 바이오사이언스 연구를 진전시킬 수 있는 방법을 평가하기 위해 파트너십을 체결했습니다.
Hugging Face와 Presidio를 활용한 PII 탐지 실험
Hugging Face는 Microsoft Presidio를 Dataset Hub에 통합하여 자동 PII 탐지 보고서를 제공하는 실험을 진행하고 있으며, 이를 통해 실무자들이 머신러닝 데이터셋의 개인정보 위험을 식별하고 완화할 수 있도록 돕습니다.
TRL, Vision-Language Models를 위한 Direct Preference Optimization 지원 추가
Hugging Face는 TRL 라이브러리에 Vision-Language Models를 위한 Direct Preference Optimization(DPO) 지원을 추가하여, bfloat16 양자화와 LoRA를 사용하여 단일 GPU에서 Idefics-2와 같은 모델을 선호도 데이터로 미세 조정할 수 있도록 했습니다.
Hugging Face와 KerasHub 통합
Hugging Face와 KerasHub는 이제 모델 저장 형식을 공유하여, KerasHub 사용자가 Hugging Face Hub에서 Transformers 라이브러리 모델 30만 개 이상을 직접 로드할 수 있게 됩니다.
Google Cloud TPU를 Hugging Face Inference Endpoints 및 Spaces에 적용
Hugging Face는 Google Cloud TPU v5e 지원을 Inference Endpoints와 Spaces에 통합하여 사용자가 비용 효율적이고 고성능 하드웨어로 AI 모델을 배포하고 확장할 수 있도록 했습니다.
Banque des Territoires, Polyconseil, 그리고 Hugging Face, EduRénov 프로그램을 위한 주권 RAG 솔루션 배포
Hugging Face, Polyconseil, 그리고 Banque des Territoires는 프랑스 EduRénov 학교 리노베이션 프로그램을 위한 이메일 지원 자동화를 위해 주권적이고 오픈소스인 RAG 시스템을 출시했으며, 데이터 거주성을 보장하면서 공공 정책을 위한 생성 AI를 확장했습니다.
Hugging Face 데이터셋 허브 검색 기능 업데이트
Hugging Face는 데이터셋 허브에 180,000개 이상의 공개 데이터셋을 보다 쉽게 찾을 수 있도록 모달리티, 크기, 형식, 라이브러리 호환성 네 가지 새로운 검색 필터를 도입했습니다.
Intel Gaudi 2에서 단백질 언어 모델 ProtST 가속
Intel과 MILA는 Intel Gaudi 2 가속기에 맞게 ProtST 다중 모달 단백질 언어 모델을 최적화하여 NVIDIA A100 GPU에 비해 최대 2.92배 빠른 파인튜닝을 달성했습니다.
Hugging Face Transformers 코드 에이전트 GAIA 벤치마크 결과
Hugging Face는 transformers.agents 라이브러리로 구축된 코드 에이전트를 사용하여 GAIA 벤치마크에서 최고 순위를 달성했으며, 코드 기반 행동이 JSON 기반 도구 호출보다 더 효율적이고 효과적임을 입증했습니다.
GPT-4의 실수를 GPT-4로 찾기
OpenAI는 RLHF 과정에서 인간 트레이너를 지원하기 위해 ChatGPT의 코드 출력에서 오류를 식별하도록 설계된 GPT-4 기반 모델인 CriticGPT를 소개했습니다.
OpenAI와 TIME 전략적 콘텐츠 파트너십
OpenAI와 TIME은 TIME의 101년 저널리즘 아카이브를 OpenAI 제품에 통합하고, TIME에게 제품 개발을 위한 OpenAI 기술 접근성을 제공하는 다년간 전략적 파트너십을 체결했습니다.
Google Gemma 2 릴리스 노트
Google은 9B와 27B 파라미터 크기로 제공되는 오픈-웨이트 LLM 패밀리인 Gemma 2를 출시했으며, 성능 향상을 위한 증류 및 어텐션 메커니즘의 기술적 진보를 특징으로 합니다.
XLSCOUT ParaEmbed 2.0 릴리스
XLSCOUT는 전문가가 선별한 특허 데이터를 기반으로 미세 조정된 독점 임베딩 모델인 ParaEmbed 2.0을 출시했으며, 이는 ParaEmbed 1.0 대비 정확도가 23% 향상되었습니다.
Hugging Face 윤리와 사회 뉴스레터 #6: 데이터 품질의 중요성
Hugging Face는 데이터 품질에 대한 전체적이고 책임감 있는 접근 방식을 제시하며, 고품질 데이터는 AI 모델 성능, 공정성 및 과학적 재현성을 보장하기 위해 의도된 목적에 적합해야 함을 강조합니다.
Microsoft Florence-2를 DocVQA에 파인튜닝
Hugging Face는 Microsoft의 Florence-2 비전-언어 모델을 DocVQA 데이터셋에 파인튜닝하는 방법을 보여주며, 7 에폭 후 검증 유사도가 0에서 57.0으로 향상되었습니다.
OpenAI가 실시간 데이터 검색을 위해 Rockset을 인수
OpenAI는 실시간 분석 데이터베이스인 Rockset을 인수하여 고성능 인덱싱 및 쿼리 기능을 OpenAI의 검색 인프라에 통합합니다.
OpenAI 사이버보안 보조금 프로그램: AI 기반 방어 연구 지원
OpenAI는 LLM 신뢰성 향상, 취약점 자동 탐지 및 자율 사이버 방어 에이전트 개발을 목표로 하는 사이버보안 보조금 프로그램의 여러 프로젝트를 강조했습니다.
OpenAI Consistency Models: 빠른 단일 단계 생성 AI
OpenAI는 Consistency Models라는 새로운 생성 모델 계열을 소개했으며, 이는 노이즈를 데이터에 직접 매핑함으로써 고품질의 단일 단계 생성을 가능하게 하여 확산 모델의 느린 반복 샘플링을 극복합니다.
OpenAI의 원치 않는 콘텐츠 탐지에 대한 총체적 접근 방식
OpenAI는 성적 콘텐츠, 폭력, 괴롭힘을 포함한 원치 않는 콘텐츠를 탐지하기 위해 기성 모델보다 뛰어난 성능을 발휘하는 견고한 자연어 분류 시스템을 구축하기 위한 총체적 프레임워크를 도입했습니다.
Hugging Face 데이터는 함께할 때 더 좋다 이니셔티브
Hugging Face와 Argilla는 오픈소스 커뮤니티가 고품질이며 다양하고 포괄적인 머신러닝 데이터셋을 공동으로 만들 수 있도록 Data Is Better Together (DIBT) 이니셔티브를 시작했습니다.
Prezi 사례 연구: Hugging Face 전문가 지원으로 ML 로드맵 가속화
Prezi는 Hugging Face Expert Support Program과 Inference Endpoints를 활용해 효율적인 오픈소스 멀티모달 모델을 Prezi AI 프레젠테이션 생성 도구에 통합하고 있습니다.
ChatGPT Enterprise와 맞춤 GPT를 활용해 개발자 생산성을 향상시킨 Paf
게임 회사 Paf는 ChatGPT Enterprise와 85개 이상의 맞춤 GPT를 도입해 보일러플레이트 코드를 자동화하고 개발자 교육을 가속화했으며, 그 결과는 12명의 정규직 직원에 해당하는 생산량을 달성했습니다.
Clay: 에이전트형 영업 프로스펙팅으로 10배 성장 달성
Clay는 GPT-4를 활용해 `Claygent`라는 AI 에이전트를 구동하여, go-to-market 팀을 위한 웹 조사와 데이터 강화 작업을 자동화하고 연간 10배 성장이라는 결과를 달성했습니다.
BigCodeBench: 복잡한 파이썬 코드 생성을 위한 새로운 벤치마크
Hugging Face는 실용적인 프로그래밍과 다양한 라이브러리 사용을 평가하기 위해 1,140개의 함수 수준 작업으로 구성된 벤치마크인 BigCodeBench를 출시했으며, HumanEval의 단순성 및 오염 문제를 해결했습니다.
Color Health는 GPT-4o를 사용하여 암 치료 및 진단 작업을 가속화합니다
Color Health는 GPT-4o 기반 코파일럿 애플리케이션을 개발하여 임상의가 누락된 진단을 식별하고 개인화된 암 선별 및 치료 계획을 만들 수 있도록 지원합니다.
OpenAI, 은퇴한 미국 육군 장군 Paul M. Nakasone을 이사회에 임명
OpenAI는 AI 기술이 AGI로 발전함에 따라 회사의 사이버 보안 태세와 안전 감독을 강화하기 위해 은퇴한 미국 육군 장군 Paul M. Nakasone을 이사회에 임명했습니다.
Hugging Face Accelerate: DeepSpeed와 FSDP 정밀도 조화
Hugging Face Accelerate 0.30.0은 PyTorch FSDP에 대한 자동 업캐스팅을 도입하여 정밀도 처리를 DeepSpeed와 맞추고, 두 백엔드 간에 수렴성 손실 없이 원활하게 전환할 수 있게 합니다.
Stable Diffusion 3 Medium과 Diffusers 통합
Hugging Face는 Stable Diffusion 3 Medium(2B 파라미터)을 Diffusers 라이브러리에 통합하고, Multimodal Diffusion Transformer(MMDiT)와 rectified flow‑matching을 도입해 텍스트‑투‑이미지 합성 성능을 향상시켰습니다.
Hugging Face TRL RLOO 트레이너 출시
Hugging Face는 TRL에 RLOO (REINFORCE Leave One-Out) 트레이너를 도입했습니다. 이 온라인 RLHF 알고리즘은 vRAM을 50-70% 적게 사용하고 PPO보다 최대 3배 빠르게 수렴하면서도 성능 면에서 경쟁력을 유지합니다.
OpenAI, Sarah Friar를 CFO로, Kevin Weil을 CPO로 임명
OpenAI는 Sarah Friar를 최고재무책임자(CFO)로, Kevin Weil을 최고제품책임자(CPO)로 임명하여 회사가 성장함에 따라 운영 및 제품 배포를 확대합니다.
OpenAI Voice Engine: 기술 구현 및 안전 프레임워크
OpenAI의 Voice Engine은 2022년부터 개발된 합성 음성 모델로, 안전 연구 및 정책 개발에 정보를 제공하기 위해 통제된 릴리스를 통해 반복적으로 배포되었습니다.
Amazon SageMaker용 Hugging Face 임베딩 컨테이너 출시
Hugging Face는 텍스트 임베딩 추론(TEI)으로 구동되는 Amazon SageMaker용 일반 제공(GA) 임베딩 컨테이너를 출시했으며, 이를 통해 오픈 임베딩 모델을 고성능으로 배포할 수 있습니다.
Hugging Face Transformers 문서 재설계
Hugging Face는 제품 개발자를 위해 맞춤화된 코드 우선, 통합된 경험으로 전환하기 위해 경직되고 점진적인 구조에서 Transformers 문서를 재설계하고 있습니다.