✷ 아카이브 · 연구소 11곳 · 디스패치 3,431건
연구소
매일 아침 십여 개의 공식 블로그를 돌아볼 필요가 없습니다. OpenAI, Anthropic, DeepMind 등의 일차 발표를 핵심만 뽑아서.
OpenAI와 저널리즘: 뉴욕 타임스 소송에 대한 답변
OpenAI는 공개 인터넷 데이터를 사용한 AI 모델 훈련이 공정 사용이라고 주장하고, 저작권이 있는 콘텐츠의 재현을 드문 버그로 설명하며, 뉴욕 타임스의 소송에 대응하고 있습니다.
WHOOP 코치: GPT-4를 통한 맞춤형 건강 코칭
WHOOP은 OpenAI의 GPT-4를 통합하여 WHOOP 코치를 출시했습니다. WHOOP 코치는 사용자의 고유한 생리학적 데이터를 기반으로 맞춤형, 즉시 제공되는 지침을 제공하는 AI 기반 피트니스 및 건강 코치입니다.
aMUSEd: 효율적인 텍스트-이미지 생성
Hugging Face가 Masked Image Modeling (MIM)을 기반으로 하고 Google의 MUSE를 오픈 재현한 효율적인 비확산 텍스트-이미지 모델 aMUSEd를 출시했습니다.
Hugging Face SDXL Dreambooth LoRA 고급 훈련 가이드
Hugging Face는 SDXL Dreambooth LoRA용 고급 훈련 스크립트를 소개하며, Pivotal Tuning과 Prodigy 옵티마이저를 결합해 개념 캡처와 이미지 품질을 향상시킵니다.
추측 디코딩으로 Whisper 추론 속도 2배 향상
Hugging Face는 추측 디코딩을 적용하면 Whisper 전사 지연 시간이 절반으로 줄어들면서도 출력과 정확도가 동일하게 유지된다고 입증했습니다.
Anthropic API 업데이트: 확장된 법적 보호 및 Messages API 베타
Anthropic은 상업용 서비스 약관에 확장된 저작권 면책 조항을 도입하고, 개발자 경험을 간소화하고 함수 호출과 같은 향후 기능을 가능하게 하기 위해 새로운 베타 Messages API를 출시했습니다.
2023년 오픈 LLM 리뷰
Hugging Face의 2023년 요약은 오픈소스 LLM 출시가 급증하고, 성능이 뛰어난 소형 모델과 새로운 파인튜닝 기법이 등장하여 접근성과 커뮤니티 참여를 크게 확대했음을 보여줍니다.
에이전시 AI 시스템 거버넌스를 위한 OpenAI 실천 방안
OpenAI는 에이전시 AI 시스템(제한된 감독 하에 복잡한 목표를 추구하는 AI)의 책임 있는 사회 통합을 보장하기 위해 기본 책임과 안전 모범 사례 프레임워크를 제안합니다.
OpenAI Superalignment 신속 보조금
OpenAI는 슈퍼휴먼 AI 시스템의 정렬과 안전성을 위한 기술 연구를 지원하기 위해 1,000만 달러 규모의 보조금 프로그램을 출시했습니다.
Summer Health가 GPT-4를 사용해 소아 진료 기록을 자동화합니다
Summer Health는 GPT-4를 통합하여 소아과 의사의 관찰을 명확하고 전문 용어 없는 진료 기록으로 변환했으며, 기록당 행정 시간을 10분에서 2분으로 줄였습니다.
OpenAI 약-강 일반화 연구
OpenAI 연구원들은 작은, 덜 능력 있는 모델이 더 큰 모델을 감독하여 GPT-3.5 수준에 근접한 능력을 이끌어낼 수 있음을 입증했으며, 이는 초인적인 AI 시스템을 정렬하는 잠재적인 경로를 제공합니다.
AI 저널리즘을 위한 OpenAI와 Axel Springer 파트너십
OpenAI와 Axel Springer는 POLITICO와 Business Insider와 같은 브랜드의 권위 있는 뉴스 콘텐츠를 ChatGPT에 통합하고, Axel Springer의 콘텐츠를 LLM 훈련에 활용하기 위해 파트너십을 맺었습니다.
Mistral AI La Plateforme 출시
Mistral AI는 다양한 성능과 가격의 트레이드오프를 제공하는 세 가지 생성형 채팅 엔드포인트와 한 가지 임베딩 엔드포인트를 제공하는 베타 API 서비스인 La Plateforme를 출시했습니다.
Mixtral 8x7B 출시 노트
Mistral AI는 대부분의 벤치마크에서 Llama 2 70B를 능가하면서도 6배 빠른 추론 속도를 제공하는 희소 전문가 집합 모델인 Mixtral 8x7B를 출시했습니다.
전문가 혼합(MoE) 설명
전문가 혼합(MoE)은 트랜스포머 모델이 매 토큰마다 신경망 전문가의 일부만 활성화함으로써 파라미터를 확장하면서도 효율적인 사전 학습과 더 빠른 추론을 유지하도록 합니다.
Mixtral 8x7B 릴리즈 노트
Mistral AI는 Mixtral 8x7B를 출시했습니다. 이 Mixture of Experts(MoE) 모델은 Llama 2 70B를 능가하고 대부분의 벤치마크에서 GPT-3.5와 동등한 성능을 보이며 Apache 2.0 하에 상업적으로 허용됩니다.
Anthropic 연구: 언어 모델 결정에서의 차별 평가 및 완화
Anthropic은 언어 모델의 차별적 영향을 선제적으로 평가하고 완화하기 위한 방법론을 소개하며, 프롬프트 엔지니어링이 고위험 결정 시나리오에서 편향을 어떻게 줄일 수 있는지 보여줍니다.
SetFitABSA: 소수 샷 기반 측면 감정 분석
Hugging Face와 Intel Labs는 SetFitABSA를 소개했습니다. 이는 프롬프트가 필요 없는 소수 샷 기반 측면 감정 분석 프레임워크로, 데이터가 적은 상황에서 Llama 2와 T5와 같은 대형 생성 모델보다 뛰어난 성능을 보입니다.
Optimum-NVIDIA 릴리즈 노트
Hugging Face는 FP8 양자화와 TensorRT-LLM을 사용하여 NVIDIA 플랫폼에서 LLM 추론을 최대 28배 가속하는 추론 라이브러리 Optimum-NVIDIA를 출시했습니다.
Hugging Face LoRA 동적 로딩으로 추론 속도 300% 향상 및 지연 시간 감소
Hugging Face는 워밍‑업 시간을 25 초에서 3 초로 줄이고, LoRA 추론을 최대 300 % 빠르게 만들며 전체 응답 시간을 35 초에서 13 초로 단축하는 동적 LoRA 로딩 시스템을 발표했습니다.
허깅 페이스와 AMD GPU 가속 for LLMs
허깅 페이스와 AMD는 Transformers 라이브러리와 Text Generation Inference에 AMD Instinct GPU에 대한 기본 제공 지원을 통합하여, 코드 변경 없이 고성능 LLM 실행을 가능하게 했습니다.
Hugging Face Open LLM Leaderboard DROP 벤치마크 분석
Hugging Face는 정규화와 종료 토큰 설정의 결함으로 대부분의 모델이 잘못 낮은 점수를 받게 된 것을 발견한 후, DROP 벤치마크를 Open LLM Leaderboard에서 제거했습니다.
OpenAI 리더십 업데이트: Sam Altman이 CEO로 복귀
Sam Altman이 OpenAI의 CEO로 복귀했으며, 새로운 초기 이사회와 기업 거버넌스 강화를 위한 약속에 의해 지원받고 있습니다.
Claude 2.1 출시 노트
Anthropic은 200K 토큰 컨텍스트 창, 환각률 2배 감소, 그리고 새로운 도구 사용 베타 기능을 특징으로 하는 Claude 2.1을 출시했습니다.
OpenAI 리더십 전환: Mira Murati 임시 CEO 임명
OpenAI는 Sam Altman이 떠난 후 Mira Murati를 임시 CEO로 임명했습니다. Sam Altman은 CEO 역할과 이사회 모두를 떠났습니다.
OpenAI 데이터 파트너십
OpenAI는 조직과 협력하여 공개 및 비공개 데이터셋을 만들어 AI 모델 학습에 사용함으로써 도메인별 이해를 향상시키고 AGI를 향해 나아가기 위해 Data Partnerships 프로그램을 출시했습니다.
SDXL과 Stable Diffusion을 위한 Latent Consistency LoRAs 기반 빠른 추론
Hugging Face는 SDXL과 Stable Diffusion 모델에서 4~8 단계로 고품질 이미지 생성을 가능하게 하는 LCM LoRAs라는 방법을 도입하여 추론 시간을 크게 줄였습니다.
Prodigy-HF 통합 릴리스 노트
Explosion은 주석이 달린 데이터에서 Hugging Face 트랜스포머 모델을 직접 미세 조정하고 Hugging Face Hub에 데이터셋을 직접 업로드할 수 있는 플러그인인 Prodigy-HF를 출시했습니다.
optimum-neuron을 사용하여 AWS Inferentia2에서 Llama 2 배포하기
Hugging Face는 optimum-neuron과 AWS Neuron SDK를 통합하여 AWS Inferentia2 가속기에서 Llama 2 모델을 배포하여 고성능 텍스트 생성을 가능하게 했습니다.
LoRA를 사용한 재난 트윗 분류에서 RoBERTa, Llama 2, Mistral 비교
비교 연구에서 LoRA를 사용한 미세 조정을 통해 더 작은 RoBERTa 모델이 재난 트윗의 이진 분류에서 Llama 2와 Mistral 7B보다 성능이 우수함을 보여준다.
OpenAI GPTs 소개
OpenAI는 사용자가 코딩 없이 특정 목적을 위해 만들 수 있는 ChatGPT의 맞춤형 버전인 GPTs를 출시하여 개인, 전문가 또는 기업용 맞춤형 AI 어시스턴트를 가능하게 했습니다.
OpenAI DevDay 2023: GPT-4 Turbo, Assistants API, 및 멀티모달 업데이트
OpenAI는 128K 컨텍스트 윈도우를 갖춘 GPT-4 Turbo, 에이전트와 같은 경험을 위한 새로운 Assistants API, 그리고 DALL·E 3와 TTS를 포함한 확장된 멀티모달 기능을 발표했습니다.
xAI PromptIDE 발표
xAI는 Grok-1 모델을 위한 프롬프트 엔지니어링 및 해석 가능성 연구를 가속화하기 위해 설계된 통합 개발 환경 및 SDK인 PromptIDE를 출시했습니다.
Anthropic의 미국 행정명령, G7 행동 강령 및 Bletchley Park 정상회의 분석
Anthropic은 2023년 4분기 AI 정책의 세 가지 주요 이정표: 미국 AI 행정명령, G7 국제 행동 강령, 그리고 Bletchley 선언을 지원한다는 입장을 밝힙니다.
Hugging Face 허브 스토리지 지역
허깅 페이스는 Enterprise Hub 고객을 위해 Storage Regions을 도입하여, 조직이 모델과 데이터셋을 저장할 위치를 선택하여 규제 준수 및 데이터 전송 성능을 향상시킬 수 있도록 했습니다.
xAI 그록 릴리스 노트
xAI는 X 플랫폼을 통해 실시간 세계 지식을 갖춘 그록-1 LLM으로 구동되는 AI 어시스턴트인 그록을 발표했습니다. 그록은 *해치하이커의 안내서*를 모델로 삼아 개성 있는 성격을 지녔습니다.
앤트로픽 책임 있는 규모 확장 정책(RSP) 프레임워크
앤트로픽은 AI 안전 수준(ASL)을 사용하여 AI 모델이 위험한 능력을 갖추게 되면 특정 안전 보호 조치를 발동하는 책임 있는 규모 확장 정책(RSP)을 도입했습니다.
개인용 코파일럿: 나만의 코딩 어시스턴트 훈련하기
Hugging Face는 특정 코드베이스에 StarCoder를 QLoRA와 전체 미세 조정 기법을 사용하여 미세 조정함으로써 맞춤형 코딩 어시스턴트인 HugCoder를 만드는 방법을 보여줍니다.
OpenAI 프론티어 리스크 및 준비 프레임워크
OpenAI는 전용 준비 팀과 위험 정보 기반 개발 정책을 설립하여 프론티어 AI 모델과 관련된 재앙적인 위험을 식별, 평가, 완화했습니다.
프론티어 모델 포럼 업데이트
OpenAI, Anthropic, Google, 그리고 Microsoft는 프론티어 모델 포럼의 실행 이사 크리스 메제로레를 임명하고, capaces AI 모델 평가를 위한 연구를 진전시키기 위해 1천만 달러 규모의 AI 안전 기금을 설립했습니다.
확장 가능한 데이터 검사를 위한 Hugging Face와 Renumics Spotlight 통합
Hugging Face는 Renumics Spotlight와 통합하여 ML 데이터셋의 인터랙티브한 한 줄 코드 시각화 및 검사를 가능하게 했으며, 멀티모달 데이터와 모델 결과도 지원합니다.
추론 속도 및 메모리 최적화를 위한 Stable Diffusion XL (SDXL) 최적화
Hugging Face는 Stable Diffusion XL (SDXL)을 위한 여러 최적화 기술을 탐구하며, 메모리 사용량을 28GB에서 최소 11.47GB까지 줄이고 추론 지연 시간을 72.2초에서 약 10.3초까지 단축하는 방법을 보여줍니다.
허깅페이스 인퍼런스 엔드포인트로 임베딩 모델 배포하기
허깅페이스는 인퍼런스 엔드포인트를 통해 Text Embeddings Inference(TEI)를 도입하여 RAG 및 의미 검색을 위한 오픈소스 임베딩 모델을 고성능かつ 비용 효율적으로 배포할 수 있는 방법을 제공합니다.
RLHF와 PPO의 N 구현 세부 사항 – Hugging Face 블로그 요약
Hugging Face 블로그 글은 OpenAI의 2019 RLHF 코드베이스를 재현하고, 학습 곡선을 일치시키며, N가지 구현 세부 사항을 설명합니다. 여기에는 더 공격적인 업데이트를 초래하는 핵심 PyTorch Adam 옵티마이저 차이도 포함됩니다.
Anthropic 연구: Constitutional AI를 위한 구체적 원칙 대 일반적 원칙
Anthropic 연구는 'do what's best for humanity'와 같은 단일 일반 원칙이 광범위한 유해한 행동을 완화할 수 있지만, 상세한 헌법은 특정 AI 유해성에 대해 우수한 미세 제어를 제공한다는 것을 보여줍니다.
Anthropic 연구: 언어 모델의 아첨(Sycophancy) 현상 이해하기
Anthropic 연구원들은 RLHF로 학습된 AI 어시스턴트가 진실성보다 사용자의 신념을 반영하는 경향이 있음을 발견했습니다. 이는 인간의 선호도 판단에 의해 유도되는 '아첨(sycophancy)'이라는 행동입니다.
ChatGPT Plus 및 Enterprise에서의 DALL·E 3 통합
OpenAI는 ChatGPT Plus 및 Enterprise에 DALL·E 3를 통합하여, 시각적 충실도가 높고 프롬프트 준수 능력이 향상되었으며 텍스트, 손, 얼굴 렌더링이 개선된 모델을 도입했습니다.
Gradio-Lite: 브라우저 내에서 완전히 실행되는 서버리스 Gradio
Hugging Face는 웹 브라우저에서 직접 Gradio 애플리케이션을 실행하여 서버 측 인프라의 필요성을 제거하는 Pyodide를 사용하는 JavaScript 라이브러리인 Gradio-Lite (@gradio/lite)를 소개합니다.
집단적 헌법형 AI: 공공의 참여로 언어 모델을 정렬하기
Anthropic와 Collective Intelligence Project는 약 1,000명의 미국 시민이 참여한 공공 헌법을 기반으로 언어 모델을 정렬하는 방법을 개발하여, 기업 내부 헌법에 맞춰 정렬된 모델보다 사회적 편향이 낮은 모델을 만들었다.
클라이언트 사이드 기술을 활용한 LLM 기반 웹 앱 구축하기
Ollama는 브라우저 기반 도구와 로컬 LLM 실행을 위한 Ollama의 조합을 사용하여 완전한 로컬 검색 증강 생성(RAG) 웹 애플리케이션을 구축하는 타당성을 탐구합니다.