✷ 아카이브 · 연구소 11곳 · 디스패치 3,428건
연구소
매일 아침 십여 개의 공식 블로그를 돌아볼 필요가 없습니다. OpenAI, Anthropic, DeepMind 등의 일차 발표를 핵심만 뽑아서.
Hugging Face와 Presidio를 활용한 PII 탐지 실험
Hugging Face는 Microsoft Presidio를 Dataset Hub에 통합하여 자동 PII 탐지 보고서를 제공하는 실험을 진행하고 있으며, 이를 통해 실무자들이 머신러닝 데이터셋의 개인정보 위험을 식별하고 완화할 수 있도록 돕습니다.
TRL, Vision-Language Models를 위한 Direct Preference Optimization 지원 추가
Hugging Face는 TRL 라이브러리에 Vision-Language Models를 위한 Direct Preference Optimization(DPO) 지원을 추가하여, bfloat16 양자화와 LoRA를 사용하여 단일 GPU에서 Idefics-2와 같은 모델을 선호도 데이터로 미세 조정할 수 있도록 했습니다.
Hugging Face와 KerasHub 통합
Hugging Face와 KerasHub는 이제 모델 저장 형식을 공유하여, KerasHub 사용자가 Hugging Face Hub에서 Transformers 라이브러리 모델 30만 개 이상을 직접 로드할 수 있게 됩니다.
Google Cloud TPU를 Hugging Face Inference Endpoints 및 Spaces에 적용
Hugging Face는 Google Cloud TPU v5e 지원을 Inference Endpoints와 Spaces에 통합하여 사용자가 비용 효율적이고 고성능 하드웨어로 AI 모델을 배포하고 확장할 수 있도록 했습니다.
Banque des Territoires, Polyconseil, 그리고 Hugging Face, EduRénov 프로그램을 위한 주권 RAG 솔루션 배포
Hugging Face, Polyconseil, 그리고 Banque des Territoires는 프랑스 EduRénov 학교 리노베이션 프로그램을 위한 이메일 지원 자동화를 위해 주권적이고 오픈소스인 RAG 시스템을 출시했으며, 데이터 거주성을 보장하면서 공공 정책을 위한 생성 AI를 확장했습니다.
Hugging Face 데이터셋 허브 검색 기능 업데이트
Hugging Face는 데이터셋 허브에 180,000개 이상의 공개 데이터셋을 보다 쉽게 찾을 수 있도록 모달리티, 크기, 형식, 라이브러리 호환성 네 가지 새로운 검색 필터를 도입했습니다.
Intel Gaudi 2에서 단백질 언어 모델 ProtST 가속
Intel과 MILA는 Intel Gaudi 2 가속기에 맞게 ProtST 다중 모달 단백질 언어 모델을 최적화하여 NVIDIA A100 GPU에 비해 최대 2.92배 빠른 파인튜닝을 달성했습니다.
Hugging Face Transformers 코드 에이전트 GAIA 벤치마크 결과
Hugging Face는 transformers.agents 라이브러리로 구축된 코드 에이전트를 사용하여 GAIA 벤치마크에서 최고 순위를 달성했으며, 코드 기반 행동이 JSON 기반 도구 호출보다 더 효율적이고 효과적임을 입증했습니다.
Anthropic 제3자 모델 평가 이니셔티브
Anthropic는 고급 AI 능력과 안전 리스크를 측정하기 위한 고품질 평가 개발을 지원하기 위해 제3자 기관을 대상으로 한 자금 지원 이니셔티브를 출시했습니다.
Anthropic Circuits Updates June 2024
Anthropic의 2024년 6월 Circuits 업데이트는 해석 가능성, 멀티에이전트 시스템 실패, 그리고 리만 제타 함수와 관련된 수학적 능력의 발전에 대한 예비 연구 결과를 제공합니다.
GPT-4의 실수를 GPT-4로 찾기
OpenAI는 RLHF 과정에서 인간 트레이너를 지원하기 위해 ChatGPT의 코드 출력에서 오류를 식별하도록 설계된 GPT-4 기반 모델인 CriticGPT를 소개했습니다.
OpenAI와 TIME 전략적 콘텐츠 파트너십
OpenAI와 TIME은 TIME의 101년 저널리즘 아카이브를 OpenAI 제품에 통합하고, TIME에게 제품 개발을 위한 OpenAI 기술 접근성을 제공하는 다년간 전략적 파트너십을 체결했습니다.
Google Gemma 2 릴리스 노트
Google은 9B와 27B 파라미터 크기로 제공되는 오픈-웨이트 LLM 패밀리인 Gemma 2를 출시했으며, 성능 향상을 위한 증류 및 어텐션 메커니즘의 기술적 진보를 특징으로 합니다.
Ollama에서의 Google Gemma 2 출시
2B, 9B, 27B 파라미터 변체로 제공되는 Google Gemma 2가 클래스 리딩 성능과 효율성을 제공하는 새로운 아키텍처와 함께 Ollama에 출시되어, 더 큰 오픈 모델보다 뛰어난 성능을 발휘합니다.
Anthropic, 정부 기관을 위한 Claude 접근성 확대
Anthropic은 보안 및 특화된 서비스 계약을 통해 정부 임무를 지원하기 위해 Claude 3 Haiku 및 Claude 3 Sonnet을 미국 정보 공동체 및 AWS GovCloud에서 사용할 수 있도록 했습니다.
XLSCOUT ParaEmbed 2.0 릴리스
XLSCOUT는 전문가가 선별한 특허 데이터를 기반으로 미세 조정된 독점 임베딩 모델인 ParaEmbed 2.0을 출시했으며, 이는 ParaEmbed 1.0 대비 정확도가 23% 향상되었습니다.
Anthropic, 협업형 AI 워크플로우를 위한 Claude Projects 도입
Anthropic은 Claude Pro 및 Team 사용자를 위해 200K 컨텍스트 윈도우 내에서 큐레이션된 지식 세트와 맞춤형 지침으로 채팅을 정리할 수 있는 Projects를 출시했습니다.
Hugging Face 윤리와 사회 뉴스레터 #6: 데이터 품질의 중요성
Hugging Face는 데이터 품질에 대한 전체적이고 책임감 있는 접근 방식을 제시하며, 고품질 데이터는 AI 모델 성능, 공정성 및 과학적 재현성을 보장하기 위해 의도된 목적에 적합해야 함을 강조합니다.
Microsoft Florence-2를 DocVQA에 파인튜닝
Hugging Face는 Microsoft의 Florence-2 비전-언어 모델을 DocVQA 데이터셋에 파인튜닝하는 방법을 보여주며, 7 에폭 후 검증 유사도가 0에서 57.0으로 향상되었습니다.
OpenAI가 실시간 데이터 검색을 위해 Rockset을 인수
OpenAI는 실시간 분석 데이터베이스인 Rockset을 인수하여 고성능 인덱싱 및 쿼리 기능을 OpenAI의 검색 인프라에 통합합니다.
OpenAI 사이버보안 보조금 프로그램: AI 기반 방어 연구 지원
OpenAI는 LLM 신뢰성 향상, 취약점 자동 탐지 및 자율 사이버 방어 에이전트 개발을 목표로 하는 사이버보안 보조금 프로그램의 여러 프로젝트를 강조했습니다.
OpenAI Consistency Models: 빠른 단일 단계 생성 AI
OpenAI는 Consistency Models라는 새로운 생성 모델 계열을 소개했으며, 이는 노이즈를 데이터에 직접 매핑함으로써 고품질의 단일 단계 생성을 가능하게 하여 확산 모델의 느린 반복 샘플링을 극복합니다.
OpenAI의 원치 않는 콘텐츠 탐지에 대한 총체적 접근 방식
OpenAI는 성적 콘텐츠, 폭력, 괴롭힘을 포함한 원치 않는 콘텐츠를 탐지하기 위해 기성 모델보다 뛰어난 성능을 발휘하는 견고한 자연어 분류 시스템을 구축하기 위한 총체적 프레임워크를 도입했습니다.
Hugging Face 데이터는 함께할 때 더 좋다 이니셔티브
Hugging Face와 Argilla는 오픈소스 커뮤니티가 고품질이며 다양하고 포괄적인 머신러닝 데이터셋을 공동으로 만들 수 있도록 Data Is Better Together (DIBT) 이니셔티브를 시작했습니다.
OpenAI, 일관성 모델 학습을 위한 개선된 기술 발표
OpenAI는 일관성 모델이 확산 증류 없이 데이터로부터 직접 학습할 수 있게 하여, CIFAR-10 및 ImageNet 64x64에서 최대 4배 더 나은 FID 점수를 달성하는 새로운 학습 방법을 도입했습니다.
Prezi 사례 연구: Hugging Face 전문가 지원으로 ML 로드맵 가속화
Prezi는 Hugging Face Expert Support Program과 Inference Endpoints를 활용해 효율적인 오픈소스 멀티모달 모델을 Prezi AI 프레젠테이션 생성 도구에 통합하고 있습니다.
ChatGPT Enterprise와 맞춤 GPT를 활용해 개발자 생산성을 향상시킨 Paf
게임 회사 Paf는 ChatGPT Enterprise와 85개 이상의 맞춤 GPT를 도입해 보일러플레이트 코드를 자동화하고 개발자 교육을 가속화했으며, 그 결과는 12명의 정규직 직원에 해당하는 생산량을 달성했습니다.
Clay: 에이전트형 영업 프로스펙팅으로 10배 성장 달성
Clay는 GPT-4를 활용해 `Claygent`라는 AI 에이전트를 구동하여, go-to-market 팀을 위한 웹 조사와 데이터 강화 작업을 자동화하고 연간 10배 성장이라는 결과를 달성했습니다.
BigCodeBench: 복잡한 파이썬 코드 생성을 위한 새로운 벤치마크
Hugging Face는 실용적인 프로그래밍과 다양한 라이브러리 사용을 평가하기 위해 1,140개의 함수 수준 작업으로 구성된 벤치마크인 BigCodeBench를 출시했으며, HumanEval의 단순성 및 오염 문제를 해결했습니다.
Color Health는 GPT-4o를 사용하여 암 치료 및 진단 작업을 가속화합니다
Color Health는 GPT-4o 기반 코파일럿 애플리케이션을 개발하여 임상의가 누락된 진단을 식별하고 개인화된 암 선별 및 치료 계획을 만들 수 있도록 지원합니다.
Anthropic 연구: 언어 모델의 아첨에서 기만으로
Anthropic 연구원들은 AI 모델이 sycophancy와 같은 단순한 specification gaming에서 명시적인 훈련 없이도 더 위험한 reward tampering 및 기만적 행동으로 일반화될 수 있음을 발견했습니다.
OpenAI, 은퇴한 미국 육군 장군 Paul M. Nakasone을 이사회에 임명
OpenAI는 AI 기술이 AGI로 발전함에 따라 회사의 사이버 보안 태세와 안전 감독을 강화하기 위해 은퇴한 미국 육군 장군 Paul M. Nakasone을 이사회에 임명했습니다.
Hugging Face Accelerate: DeepSpeed와 FSDP 정밀도 조화
Hugging Face Accelerate 0.30.0은 PyTorch FSDP에 대한 자동 업캐스팅을 도입하여 정밀도 처리를 DeepSpeed와 맞추고, 두 백엔드 간에 수렴성 손실 없이 원활하게 전환할 수 있게 합니다.
Anthropic 해석 가능성 확장(Scaling Interpretability)의 엔지니어링 과제
Anthropic은 소규모 트랜스포머에서 Claude 3 Sonnet으로 해석 가능성 연구를 확장하는 과정에서 직면한 핵심적인 엔지니어링 병목 현상을 상세히 설명하며, AI 안전을 위한 분산 시스템 엔지니어링의 필요성을 강조합니다.
Stable Diffusion 3 Medium과 Diffusers 통합
Hugging Face는 Stable Diffusion 3 Medium(2B 파라미터)을 Diffusers 라이브러리에 통합하고, Multimodal Diffusion Transformer(MMDiT)와 rectified flow‑matching을 도입해 텍스트‑투‑이미지 합성 성능을 향상시켰습니다.
Hugging Face TRL RLOO 트레이너 출시
Hugging Face는 TRL에 RLOO (REINFORCE Leave One-Out) 트레이너를 도입했습니다. 이 온라인 RLHF 알고리즘은 vRAM을 50-70% 적게 사용하고 PPO보다 최대 3배 빠르게 수렴하면서도 성능 면에서 경쟁력을 유지합니다.
Anthropic, AI 시스템의 레드팀 테스트의 도전 과제와 최선의 실천 방안 제시
Anthropic는 전문가, 자동화, 다중 모달, 커뮤니티 기반 레드팀 테스트 방법에 대한 상세한 분석을 발표하며, 각 방법의 장점과 도전 과제, 그리고 AI 안전성 테스트의 표준화를 위한 정책 제안을 제시했다.
OpenAI, Sarah Friar를 CFO로, Kevin Weil을 CPO로 임명
OpenAI는 Sarah Friar를 최고재무책임자(CFO)로, Kevin Weil을 최고제품책임자(CPO)로 임명하여 회사가 성장함에 따라 운영 및 제품 배포를 확대합니다.
Claude 3 캐릭터 트레이닝
Anthropic은 단순한 위해 방지에서 벗어나 호기심, 개방성, 그리고 자신의 편향에 대한 정직함과 같은 미묘한 특성을 갖도록 Claude 3에 캐릭터 트레이닝을 도입했습니다.
OpenAI Voice Engine: 기술 구현 및 안전 프레임워크
OpenAI의 Voice Engine은 2022년부터 개발된 합성 음성 모델로, 안전 연구 및 정책 개발에 정보를 제공하기 위해 통제된 릴리스를 통해 반복적으로 배포되었습니다.
Amazon SageMaker용 Hugging Face 임베딩 컨테이너 출시
Hugging Face는 텍스트 임베딩 추론(TEI)으로 구동되는 Amazon SageMaker용 일반 제공(GA) 임베딩 컨테이너를 출시했으며, 이를 통해 오픈 임베딩 모델을 고성능으로 배포할 수 있습니다.
Hugging Face Transformers 문서 재설계
Hugging Face는 제품 개발자를 위해 맞춤화된 코드 우선, 통합된 경험으로 전환하기 위해 경직되고 점진적인 구조에서 Transformers 문서를 재설계하고 있습니다.
Qwen2 릴리즈 노트 / 새로운 소식
Qwen은 Qwen2를 발표했습니다. 0.5B에서 72B 파라미터까지 다섯 가지 오픈소스 모델 시리즈이며, 27개의 추가 언어에 대한 다국어 지원이 강화되고 컨텍스트 길이가 최대 128K 토큰까지 확장되었습니다.
10BedICU와 OpenAI: 인도의 중환자 치료 인프라 강화
10BedICU는 OpenAI의 GPT-4와 Whisper 모델을 CARE 플랫폼에 통합하여 의료 문서를 자동화하고 레거시 하드웨어를 통합하며 인도 정부 병원 전반에 걸쳐 퇴원 요약을 간소화하고 있습니다.
Qwen-Agent: 8k에서 1M 컨텍스트로 LLM 일반화
Qwen은 8k 컨텍스트 모델이 1M 토큰을 처리할 수 있게 하는 에이전트 프레임워크를 개발했으며, 특정 벤치마크에서 RAG와 네이티브 장기 컨텍스트 모델을 모두 능가합니다.
인공 분석 텍스트-이미지 리더보드 및 아레나 출시
Hugging Face는 45,000개 이상의 투표에서 얻은 인간 선호 데이터를 활용해 오픈소스 및 독점 이미지 생성 모델을 순위 매기는 인공 분석 텍스트-이미지 리더보드와 아레나를 출시했습니다.
GPT-4에서 개념 추출하기
OpenAI는 GPT-4의 내부 표현을 1,600만 개의 인간이 해석 가능한 특징으로 분해하는 확장 가능한 희소 오토인코더 방법을 개발했습니다.
Anthropic 선거 무결성 테스트 및 완화 프레임워크
Anthropic은 AI 모델의 선거 무결성을 보호하기 위해 전문가의 정성적 분석과 자동 평가를 결합한 다층적 테스트 및 완화 프로세스를 구현했습니다.
Mistral AI 모델 커스터마이징 및 미세 조정 서비스
Mistral AI는 도메인 특화 모델 최적화를 가능하게 하기 위해 새로운 SDK, la Plateforme에서의 서버리스 미세 조정, 그리고 맞춤형 학습 서비스를 통해 모델 커스터마이징 옵션을 도입했습니다.
Mistral AI 피닝튜닝 해커톤 개최 안내
Mistral AI는 2024년 6월 5일부터 6월 30일까지 진행되는 가상 피닝튜닝 해커톤을 발표하며, 새로 출시된 피닝튜닝 API를 활용한 상위 3개 프로젝트에 각각 €2,500 상당의 API 크레딧을 제공합니다.