✷ 아카이브 · 연구소 11곳 · 디스패치 3,431건
연구소
매일 아침 십여 개의 공식 블로그를 돌아볼 필요가 없습니다. OpenAI, Anthropic, DeepMind 등의 일차 발표를 핵심만 뽑아서.
GPT-3.5 Turbo 파인튜닝 및 API 업데이트
OpenAI는 GPT-3.5 Turbo에 대한 파인튜닝 기능을 출시하여 개발자가 모델 성능을 맞춤화하고, 출력 신뢰성을 향상시키며, 프롬프트 비용을 절감할 수 있도록 했습니다.
IDEFICS: 최첨단 시각 언어 모델의 오픈 재현
Hugging Face는 Flamingo 아키텍처를 기반으로 한 오픈 액세스 시각 언어 모델인 IDEFICS를 출시했으며, 9B 및 80B 파라미터 크기의 interleaved 이미지 및 텍스트 입력을 지원합니다.
Hugging Face SafeCoder 발표
Hugging Face는 기업이 자체 보안 인프라 내에서 독점적인 Code LLM을 구축하고 배포할 수 있도록 하는 자체 호스팅 엔터프라이즈급 코드 어시스턴트 솔루션인 SafeCoder를 선보였습니다.
OpenAI가 Global Illumination을 인수함
OpenAI는 창의적 도구 및 인프라 회사인 Global Illumination을 인수하여, ChatGPT를 포함한 핵심 제품 개발에 팀을 통합했습니다.
GPT-4를 사용한 콘텐츠 모더레이션
OpenAI는 정책 적용 및 정교화를 자동화하여 콘텐츠 모더레이션을 가속화하기 위해 GPT-4를 활용하고 있으며, 이로써 맞춤형 정책 개발에 필요한 시간을 개월에서 시간으로 단축하고 있습니다.
Anthropic과 SK Telecom 파트너십 발표
Anthropic과 SK Telecom (SKT)은 통신 산업을 위한 맞춤형 LLM을 개발하기 위해 상업적 파트너십 및 전략적 투자를 체결했습니다.
AWS Marketplace의 Hugging Face Hub
Hugging Face는 AWS Marketplace와 Hub를 통합하여, 조직이 AWS 계정을 통해 Inference Endpoints 및 AutoTrain과 같은 관리형 서비스를 직접 결제할 수 있도록 했습니다.
BentoML을 사용한 DeepFloyd IF 배포
Hugging Face는 BentoML을 사용하여 DeepFloyd IF 텍스트-이미지 모델을 배포하는 방법을 보여주며, 여러 GPU에 걸쳐 다단계 픽셀 확산 아키텍처를 독립적으로 확장할 수 있게 합니다.
🤗 Transformers를 사용한 Bark 최적화
Hugging Face는 Better Transformer, 반정밀도(fp16), CPU 오프로드를 사용하여 Bark 텍스트-음성 모델의 메모리 사용량을 줄이고 추론 속도를 높이는 방법을 보여줍니다.
Claude Instant 1.2 릴리스 노트
Anthropic는 수학, 코딩, 추론 및 안전성 측면에서 1.1 버전보다 향상된 더 빠르고 저렴한 모델인 Claude Instant 1.2를 출시했습니다.
Swift Transformers 출시: Apple 기기에서 온디바이스 LLM 실행
Hugging Face가 알파 swift-transformers Swift 패키지, swift-chat 데모 앱, 업데이트된 exporters 및 transformers-to-coreml 도구, 그리고 Llama 2 7B와 Falcon 7B의 Core ML 버전을 출시하여 개발자가 Apple 앱에서 온디바이스 LLM을 실행할 수 있게 했습니다.
TRL을 통한 Direct Preference Optimization (DPO)를 사용한 Llama 2 미세 조정
Hugging Face은 TRL 라이브러리에 Direct Preference Optimization (DPO)를 통합하여, 복잡한 RLHF 파이프라인 대신 간단한 바이너리 크로스 엔트로피 손실을 사용하여 Llama 2 및 기타 LLMs의 정렬을 가능하게 했습니다.
영향 함수를 통한 대규모 언어 모델 일반화 연구
Anthropic 연구원들은 EK-FAC 근사법을 사용하여 영향 함수를 최대 520억 개의 파라미터를 가진 LLM으로 확장하여, 모델 동작을 유도하는 특정 훈련 예제를 식별할 수 있게 합니다.
Anthropic 연구: 영향 함수를 사용한 모델 출력에서 훈련 데이터 추적하기
Anthropic 연구진은 최대 520억 파라미터의 LLM에 영향 함수를 확장하여, 모델 규모가 커질수록 일반화가 더 추상적이고 개념 중심으로 전환됨을 발견했습니다.
Hugging Face Inference Endpoints를 통해 MusicGen 배포하기
Hugging Face은 표준 파이프라인으로 지원되지 않는 모델에 대해 커스텀 핸들러를 사용하여 Inference Endpoints를 통해 MusicGen, 텍스트-음악 생성 모델을 API로 배포하는 방법을 보여줍니다.
FHE를 이용한 암호화된 대규모 언어 모델을 향하여
Hugging Face와 Zama는 완전 동형 암호(FHE)를 통해 대규모 언어 모델이 모델 소유자의 지적 재산을 보호하면서 암호화된 사용자 데이터를 처리할 수 있는 방법을 보여줍니다.
허기 링고: 머신러닝을 사용한 허깅 페이스 허브 언어 메타데이터 개선
허깅 페이스는 fastText 언어 식별 모델과 Librarian-Bot을 사용하여 현재 언어 메타데이터가 없는 데이터셋에 대해 언어를 자동으로 감지하고 메타데이터를 제안합니다.
인공지능을 위한 신뢰 구축 조치
OpenAI와 버클리 리스크 앤드 시큐리티 랩은 foundation models이 도입한 국제 보안 위험을 완화하기 위해 여섯 가지 신뢰 구축 조치(CBMs)를 제안합니다.
실용적인 3D 에셋 생성 가이드
Hugging Face는 OpenAI의 Shap-E 모델과 Blender, Dream Textures를 결합하여 저해상도 PS1 스타일 3D 에셋을 만드는 단계별 워크플로를 제공합니다.
Segmind SD-Small 및 SD-Tiny 지식 증류 출시
Segmind가 Stable Diffusion보다 각각 35% 및 55% 작으면서도 최대 2배 빠른 추론 속도를 제공하는 두 가지 확산 모델인 SD-Small 및 SD-Tiny의 코드와 사전 학습된 가중치를 오픈 소스로 공개했습니다.
Ollama를 사용하여 로컬에서 검열되지 않은 Llama 2 모델 실행하기
Ollama를 사용하면 사용자가 Llama 2 및 기타 모델의 검열되지 않은 버전을 로컬에서 실행할 수 있으며, 이는 표준 모델에서 흔히 발생하는 과도하게 신중하거나 거부하는 정렬 제약 조건을 제거합니다.
고급 Core ML 양자화를 이용한 Mac용 Stable Diffusion XL
Hugging Face와 Apple이 Stable Diffusion XL을 Core ML로 포팅했으며, 혼합 비트 팔레트화를 도입해 UNet 크기를 71% 줄이면서 Apple Silicon Mac에서 이미지 품질을 유지합니다.
프론티어 모델 포럼 발표
OpenAI, Google, Microsoft, 그리고 Anthropic은 프론티어 AI 모델의 개발을 위한 안전 표준, 연구, 정보 공유를 조정하기 위해 Frontier Model Forum을 출시했습니다.
Anthropic의 AI 안전을 위한 전면 위협 적군 훈련
Anthropic는 국가안보 위험을 식별하고 완화하기 위해 전면 위협 적군 훈련 프레임워크를 구축했다. 특히 제한되지 않은 LLM이 다음 2~3년 내에 생물무기 개발을 가속화할 수 있다고 밝혔다.
Anthropic Frontier Model Security Framework
Anthropic은 도난 및 오용을 방지하기 위해 양자 제어와 보안 소프트웨어 개발 표준에 기반한 프론티어 AI 모델을 위한 보안 프레임워크를 제안합니다.
Agents.js 출시: JavaScript를 사용하여 LLM에 도구 제공
Hugging Face가 Agents.js를 출시했습니다. 이는 브라우저 또는 서버에서 LLM이 도구에 접근하고 실행할 수 있게 하는 JavaScript 라이브러리입니다.
허깅 페이스와 파트너들이 EU AI 법안을 위한 오픈 ML 고려사항을 제시하다
허깅 페이스는 크리에이티브 커먼즈, 엘레우더 AI, 깃허브, LAION, 오픈 퓨처와의 연합으로 EU AI 법안이 오픈소스 머신러닝 개발을 지원하도록 보장하는 다섯 가지 핵심 권장 사항을 제시했다.
OpenAI AI 거버넌스 약속
OpenAI는 내부 및 외부 레드팀링, 정보 공유, AI 생성 콘텐츠 식별, 그리고 모델 기능과 사회적 위험에 대한 투명한 보고를 포함한 프레임워크에 전념하고 있습니다.
허깅 페이스 오픈 소스 AI 게임 잼 결과
허깅 페이스는 첫 번째 오픈 소스 AI 게임 잼을 개최했으며, 이로 인해 88개의 게임 제출작이 나왔는데, 이 게임들은 자산, 코딩, 게임플레이 메커니즘에 오픈 소스 AI 도구를 통합했습니다.
ChatGPT 맞춤 지시사항 출시
OpenAI는 ChatGPT용 맞춤 지시사항을 도입하여, 사용자가 모델이 모든 미래 대화에서 고려하도록 지속적인 선호도와 요구사항을 설정할 수 있게 했습니다.
Hugging Face Diffusers 첫 번째 주년 개요
Hugging Face는 텍스트-이미지, 비디오, 3D, 오디오 생성을 위한 모듈형 툴박스로의 진화를 강조하며 Diffusers 라이브러리의 첫 번째 주년을 축하합니다.
OpenAI와 American Journalism Project의 지역 뉴스 파트너십
OpenAI는 1천만 달러 규모의 자금 및 API 크레딧을 통해 American Journalism Project(AJP)와 파트너십을 맺어 AI가 지역 저널리즘을 어떻게 향상시킬 수 있고 허위 정보를 어떻게 막을 수 있는지 탐구합니다.
Llama 2 출시 및 Hugging Face 통합
Meta가 Hugging Face 생태계와 완전히 통합되어 상업적 용도로 사용 가능한 오픈 액세스 대규모 언어 모델 제품군인 Llama 2를 출시했습니다.
Anthropic, 모델 생성 추론의 신뢰성 향상에 있어 질문 분해의 효과를 입증
Anthropic는 표준 사고의 흐름 프롬프트에 비해 질문을 하위 질문으로 분해하는 방식이 대규모 언어 모델의 추론 신뢰성에 크게 기여함을 발표했다.
Anthropic의 Chain-of-Thought 추론의 충실도에 관한 연구
Anthropic은 대규모 언어 모델이 종종 충실하지 않은 chain-of-thought 설명을 생성하며, 충실도는 작업과 모델 크기에 따라 크게 달라진다는 것을 발견했습니다.
Hugging Face AI WebTV: 자동화된 비디오 및 음악 합성 스트림 구축
Hugging Face는 LLM이 생성한 프롬프트로부터 비디오와 음악 스트림을 자동으로 합성하는 Zeroscope와 MusicGen을 사용하는 실험적인 데모인 AI WebTV를 개발했습니다.
Hugging Face의 오픈 소스 텍스트 생성 및 LLM 생태계
Hugging Face의 2023년 블로그 게시물은 모델 배경, 라이선스, 서빙 도구 및 매개변수 효율적 미세 조정을 다루며 오픈 소스 텍스트 생성 및 LLM 생태계를 조사합니다.
Hugging Face Diffusers를 사용하여 Intel Sapphire Rapids CPUs에서 Stable Diffusion 미세 조정
Hugging Face는 다섯 개의 예시 이미지만 사용하여 텍스트 역전환을 통해 Intel Sapphire Rapids CPU에서 Stable Diffusion 모델을 미세 조정하는 방법을 보여주며, Intel Extension for PyTorch와 oneCCL을 통한 CPU 기반 미세 조정을 시연합니다.
Claude 2 출시 노트
Anthropic은 100K 토큰 컨텍스트 창, 코딩 및 추론 성능 향상, 그리고 Claude 1.3 대비 강화된 안전성을 특징으로 하는 Claude 2를 출시했습니다.
Viable과 GPT-4를 활용한 대규모 질적 데이터 분석
Viable은 미세 조정 된 GPT-4 모델을 활용하여 단순한 요약을 넘어 정확한 대규모 질적 데이터 분석을 제공하여 비즈니스 인사이트를 도출합니다.
OpenAI 프론티어 AI 규제 제안
OpenAI와 다학제 연구자 그룹은 표준 설정, 등록, 준수 메커니즘을 통해 공공 안전 위험을 관리하기 위한 프론티어 AI 모델 규제 프레임워크를 제안합니다.
Transformers.js를 사용한 기계 학습 기반 웹 게임 만들기
Hugging Face는 Transformers.js와 파인튜닝된 MobileViT 모델을 사용하여 브라우저 내에서 완전히 실행되는 실시간 스케치 감지 게임인 Doodle Dash를 만드는 방법을 보여줍니다.
Hugging Face Inference Endpoints로 LLM 배포하기
Hugging Face Inference Endpoints는 개발자가 오픈소스 LLM을 프로덕션 준비가 된 API로 배포할 수 있도록 하는 관리형 SaaS 솔루션이며, 자동 스케일링, 스케일-투-제로, 엔터프라이즈급 보안과 같은 기능을 제공합니다.
허깅 페이스: 오픈 ML 모델을 사용한 웹 앱 생성기 만들기
허깅 페이스는 NodeJS, WizardCoder-15B 모델, 그리고 Hugging Face Inference Endpoints API를 사용하여 텍스트-웹앱 생성기를 구축하는 방법을 보여줍니다.
복잡한 생성형 AI 사용 사례에 대한 Hugging Face 활용: Writer 사례 연구
Hugging Face는 Writer와의 파트너십을 강조하며, 해당 회사가 사용자에서 고객 및 오픈소스 기여자로 진화한 과정을 보여줍니다. 이는 Hugging Face Expert Acceleration Program을 활용하여 확장 가능한 LLM 생산을 달성함으로써 이루어집니다.
OpenAI 글로벌 대화: 통찰과 전략적 집중 영역
OpenAI는 25개 도시와 6개 대륙을 대상으로 글로벌을 대상으로 글로벌 경청 투어를 진행하여 사용자, 개발자, 정책 입안자의 피드백을 수집하여 AI 개발 및 배포 전략을 개선했습니다.
비전-언어 모델 가속화: Habana Gaudi2 기반의 BridgeTower
Hugging Face는 더 많은 dataloader 워커와 하드웨어 가속 이미지 디코딩을 사용함으로써, Optimum Habana를 통해 Habana Gaudi2에서 BridgeTower 비전-언어 모델을 미세 조정할 때 Nvidia A100 대비 최대 2.5배, H100 대비 1.4배의 속도 향상을 얻을 수 있음을 보여줍니다.
Anthropic, LLM 내 주관적 글로벌 의견 표현을 측정하기 위한 GlobalOpinionQA 프레임워크 도입
Anthropic은 LLM이 미국 및 특정 유럽의 의견을 반영하는 경우가 많다는 것을 밝히는 데이터셋이자 정량적 프레임워크인 GlobalOpinionQA를 출시했습니다. 또한 프롬프팅이나 번역이 이러한 편향을 전환할 수는 있지만 완전히 수정할 수는 없음을 보여줍니다.
OpenAI 런던 사무소 개설
OpenAI는 런던에 첫 번째 국제 사무소를 열어 연구 및 개발 범위를 확장하고 안전한 AGI 개발을 위한 글로벌 인재를 유치했습니다.
Hugging Face 윤리와 사회 뉴스레터 #4: 텍스트-이미지 모델의 편향
Hugging Face는 텍스트-이미지 모델의 복잡한 편향 원인을 설명하고, 탐색 도구, 레드팀링, 문서화를 활용한 다각적 접근법을 제시하여 이러한 편향을 탐지하고 완화하려고 합니다.