✷ 아카이브 · 디스패치 6,241건
모든 디스패치
AgentLensHQ가 기록한 모든 것 — AI 생태계 전반에서 압축.
Anthropic, Claude를 위한 100K 토큰 컨텍스트 창 발표
Anthropic은 Claude의 컨텍스트 창을 9K에서 100K 토큰으로 확장하여, 모델이 수백 페이지의 텍스트를 1분 미만으로 흡수하고 분석할 수 있도록 했습니다.
OpenAI, GPT‑4를 사용해 GPT‑2용 자동 뉴런 설명 데이터셋 공개
OpenAI는 GPT‑4를 활용해 GPT‑2의 모든 뉴런에 대한 자연어 설명을 생성하고 점수를 매기는 방법을 발표했으며, 그 결과 데이터셋, 뷰어, 코드를 연구 커뮤니티에 공개했습니다.
StarCoder로 코딩 어시스턴트 만들기 – 요약
이 글에서는 Hugging Face 팀이 16 B 파라미터 StarCoder 코드 생성 모델을 대화형 코딩 어시스턴트(StarChat‑α)로 전환한 과정을 설명합니다. 특수 채팅 토큰을 추가하고, 필터링된 Open‑Assistant 대화 데이터셋을 준비하며, DeepSpeed ZeRO‑3로 파인튜닝함으로써 사용자 프롬프트를 이해하고 실행 가능한 코드를 생성할 수 있는 모델을 훈련했습니다(예: 플롯, 지도, 시각화). 또한 토크나이저 설정, 사용자 턴에 대한 손실 마스킹, 학습 환경, 평가(벤치마크 및 LLM 기반) 및 제한 사항과 향후 방향에 대해서도 다룹니다. 최종 모델은 허브에 공개되어 있습니다.
클로드의 헌법: 모델 정렬을 위한 헌법적 인공지능 구현
애너트릭은 인간의 암묵적 피드백에만 의존하지 않고, 명시적인 서면 원칙을 사용하여 클로드를 유용하고 정직하며 해로움이 적은 모델로 훈련하는 방법인 헌법적 인공지능을 소개한다.
텍스트-비디오 모델 탐구
Hugging Face는 텍스트-비디오 생성 모델의 진화를 기술적으로 개요하며, GAN에서 Transformer 및 Diffusion 아키텍처로의 전환을 상세히 설명하고, 시간적 일관성 및 데이터 부족이라는 고유한 과제를 강조합니다.
StarCoder 릴리스 노트
Hugging Face와 ServiceNow의 BigCode 협업은 허가된 라이선스 데이터로 학습된 15B 파라미터 코드 LLM인 StarCoder와 StarCoderBase를 출시했으며, 프로그래밍 벤치마크에서 여러 오픈 및 클로즈드 모델을 능가합니다.
Anthropic 연구: 분산 표현, 구성, 그리고 중첩
Anthropic은 분산 표현에서 구성과 중첩의 차이를 명확히 하며, 이 두 메커니즘이 신경망의 일반화와 선형 계산 가능성에 미치는 영향을 설명합니다.
Hugging Face Unity API 설치 및 사용 가이드
Hugging Face Unity API는 전용 패키지와 API 마법사를 통해 개발자가 Hugging Face Inference API 모델을 Unity 프로젝트에 통합할 수 있도록 합니다.
Hugging Face Transformers, TensorFlow 및 TPU를 사용한 언어 모델 훈련
Hugging Face는 TensorFlow와 TPU 팟을 사용해 처음부터 마스크 언어 모델을 훈련하기 위한 확장 가능한 종단 간 가이드를 제공하며, 고성능 컴퓨팅을 위해 XLA 호환성을 활용합니다.
Databricks와 Hugging Face, Apache Spark를 통합해 LLM 학습 속도 향상
Databricks는 Dataset.from_spark() 함수를 통해 Hugging Face Datasets에 본격적인 Apache Spark 지원을 도입했으며, 대규모 모델 학습 및 튜닝 시 데이터 로딩 시간을 최대 40%까지 단축했습니다.
Diffusers와 함께 무료 티어 Google Colab에서 DeepFloyd IF 실행하기
Hugging Face는 8‑비트 양자화, 모듈식 파이프라인 로딩, Diffusers와 통합된 최적화를 활용해 무료 Google Colab 노트북에서 오픈‑소스 DeepFloyd IF 텍스트‑투‑이미지 모델을 실행하는 방법을 보여줍니다.
Anthropic과 Scale의 기업용 생성형 AI 파트너십
Anthropic은 Scale의 플랫폼에 Claude AI 어시스턴트를 통합하기 위해 Scale과 파트너십을 맺었으며, 기업에 배포 도구, 프롬프트 엔지니어링 및 보안 데이터 통합을 제공합니다.
OpenAI가 ChatGPT를 위한 새로운 데이터 관리 제어 기능을 도입했습니다
OpenAI는 사용자 대화가 모델 학습에 사용되는 것을 방지하기 위해 채팅 기록을 비활성화하는 새로운 설정을 도입했으며, ChatGPT 비즈니스 구독 및 새로운 데이터 내보내기 도구 계획도 함께 발표했습니다.
Hugging Face, 전 세계 AI 커뮤니티 지원을 위한 중국어 블로그 개설
Hugging Face는 번역된 기술 자료를 제공하고 중국 AI 커뮤니티와의 협업을 강화하기 위해 전용 중국어 블로그 (hf.co/blog/zh)를 개설했습니다.
Hugging Face Spaces에서 Unity 게임 호스팅
Hugging Face Spaces는 Static HTML 템플릿과 WebGL 빌드 타깃을 활용하여 플레이 가능한 Unity 게임을 호스팅할 수 있습니다.
인텔리전트 제안: AI 측정을 위한 NIST 예산 증대
Anthropic는 효과적인 AI 규제를 위한 전제 조건으로, 국립 표준 기술 연구소(NIST)가 표준화된 AI 측정 도구와 안전 기준을 개발할 수 있도록 적극적인 예산 증대를 제안한다.
AWS Inferentia2와 함께 Hugging Face Transformers 가속화
Hugging Face와 AWS는 대규모 모델의 지연 시간을 크게 줄이고 처리량을 높이는 전용 추론 가속기인 AWS Inferentia2용 Transformer를 최적화했습니다.
Transformers를 이용한 그래프 분류
Hugging Face는 Transformers 라이브러리 내에서 Graphormer 모델을 사용해 그래프 분류를 수행하는 방법을 보여주며, 데이터 포맷팅, 전처리 및 파인튜닝을 다룹니다.
Substra를 활용한 프라이버시 보호 AI 만들기
허깅페이스와 Substra는 연합 학습이 어떻게 분산된 데이터 소스 전반에 걸쳐 AI 모델을 훈련시켜 프라이버시와 보안을 유지할 수 있는지, 특히 의료와 같은 민감한 분야에서 강조합니다.
OpenAI 버그 현상금 프로그램 발표
OpenAI는 시스템의 취약점을 식별하고 해결하는 보안 연구원에게 보상을 제공하기 위해 Bugcrowd와 협력하여 버그 현상금 프로그램을 시작했습니다.
기업용 기반 모델을 위한 Snorkel AI와 Hugging Face 통합
Snorkel AI는 Hugging Face와 파트너십을 맺어 Hugging Face Inference Endpoints를 Snorkel Flow에 통합했습니다. 이를 통해 기업은 150,000개가 넘는 오픈소스 기반 모델에 손쉽게 접근하고 맞춤화할 수 있습니다.
OpenAI의 AI 안전 접근 방식
OpenAI는 강력한 AI 시스템과 관련된 위험을 완화하기 위해 엄격한 사전 배포 테스트, 반복적인 실제 배포, 지속적인 정렬 연구를 결합한 다층 안전 전략을 사용합니다.
StackLLaMA: Stack Exchange를 위한 RLHF 기반 LLaMA 훈련
Hugging Face는 Stack Exchange 질문에 답변하도록 지도 학습 미세조정, 보상 모델링, 그리고 인간 피드백 기반 강화 학습(RLHF)을 활용해 훈련된 모델인 StackLLaMA를 소개합니다.
Hugging Face 윤리와 사회 뉴스레터 #3: 윤리적 개방성 이니셔티브
Hugging Face는 여섯 가지 윤리 태그, 플래깅 시스템, 그리고 청중을 안내하는 메타데이터를 포함한 새로운 윤리적 개방성 조치를 발표하여 오픈소스 ML을 보다 안전하고 포용적으로 만들고자 합니다.
Intel Sapphire Rapids CPU에서 Stable Diffusion 추론 가속화
Hugging Face는 Optimum Intel, OpenVINO, 시스템 수준 튜닝, IPEX BF16, 그리고 더 빠른 스케줄러를 활용해 Intel Sapphire Rapids CPU에서 Stable Diffusion 이미지 생성 시간을 32초에서 약 5초로 단축하는 방법을 보여줍니다.
BLOOMZ 추론 on Habana Gaudi2 가속기
Hugging Face는 Habana Gaudi2 가속기가 Optimum Habana 라이브러리와 DeepSpeed-inference를 활용하여 BLOOMZ 176B 모델에 대해 Nvidia A100 80GB보다 더 빠른 추론을 달성한다는 것을 보여줍니다.
Hugging Face와 Flower를 이용한 연합 학습
Hugging Face는 Flower 프레임워크를 사용해 사전 학습된 distilBERT 모델을 IMDB 데이터셋의 감성 분석에 적용하는 연합 학습 방법을 보여줍니다.
OpenAI 3월 20일 ChatGPT 중단 및 데이터 노출 분석
OpenAI는 2023년 3월 20일, 오픈소스 라이브러리의 버그로 인해 일부 활성 ChatGPT Plus 구독자의 채팅 제목 및 결제 정보가 노출되는 문제를 해결하기 위해 ChatGPT 서비스를 일시 중단했습니다.
Hugging Face Diffusers로 ControlNet 훈련하기
Hugging Face는 diffusers 라이브러리를 통해 포괄적인 가이드와 훈련 스크립트를 제공하여 사용자가 Stable Diffusion용 맞춤 ControlNet 모델을 훈련할 수 있도록 지원하며, 'Uncanny Faces' 포즈 모델 제작 사례로 이를 보여줍니다.
ChatGPT 플러그인 출시
OpenAI는 ChatGPT용 플러그인을 도입하여 모델이 실시간 정보에 접근하고, 계산을 수행하며, 타사 서비스와 통합하여 활용도를 확대하고 환각을 줄일 수 있게 했습니다.
Hugging Face Hub 향상된 Jupyter Notebook 지원
Hugging Face는 Hub에 호스팅된 Jupyter Notebook에 대한 인간이 읽을 수 있는 렌더링을 도입하여 머신러닝 실무자들의 재현성 및 접근성을 향상시켰습니다.
GPT는 GPT다: 대형 언어 모델의 노동 시장 영향
OpenAI 연구에 따르면, 미국 노동력의 약 80%가 대형 언어 모델에 의해 작업의 최소 10%가 영향을 받을 수 있으며, 이는 이 모델들을 범용 기술로 자리매김하게 합니다.
Anthropic, 트랜스포머 잔차 스트림에서의 특권적 기저를 밝혀내다
Anthropic은 트랜스포머 잔차 스트림의 차원이 임의적인 것이 아니라 Adam의 차원별 정규화 인자로 인해 특권적 기저와 정렬된다는 것을 발견했으며, 이는 기존의 이론적 가정을 정면으로 반박합니다.
OpenAI GPT-4 발표 및 기능 개요
OpenAI는 GPT‑4를 발표했으며, 이는 많은 전문 벤치마크에서 인간 수준의 성능을 달성하는 대규모 멀티모달 모델로, 현재 ChatGPT, API 대기자 명단, 오픈소스 평가 도구를 통해 이용할 수 있습니다.
OpenAI, Be My Eyes를 위한 GPT‑4 기반 가상 자원봉사자 발표
OpenAI는 GPT‑4의 시각 입력 기능을 Be My Eyes 앱에 통합하여 이미지를 설명하고 분석하며 대화할 수 있는 가상 자원봉사자를 만들었으며, 이를 통해 시각 장애인 및 저시력 사용자의 시각 접근성을 크게 확대했습니다.
Stripe GPT-4 통합 사례 연구
Stripe는 플랫폼 전반에 GPT-4를 통합하여 비즈니스 요약을 자동화하고, 문서 분석을 통한 개발자 지원을 강화하며, 커뮤니티 포럼에서의 사기 탐지를 개선했습니다.
Duolingo, 고급 언어 학습을 위해 GPT-4를 통합
Duolingo는 GPT‑4 기반 Role Play와 Explain my Answer 기능을 제공하는 새로운 구독 등급인 Duolingo Max를 출시했습니다. 이를 통해 몰입형 대화 연습과 상황에 맞는 문법 피드백을 제공합니다.
Khan Academy가 GPT-4를 통합해 Khanmigo AI 어시스턴트를 구동
Khan Academy는 GPT-4 기반 AI 튜터 및 교사 보조인 Khanmigo를 파일럿 프로그램으로 진행하여 개별 학습과 교육 지원을 제공하고 있습니다.
OpenAI와 아이슬란드 정부의 아이슬란드어 보존 파트너십
OpenAI는 아이슬란드 정부 및 민간 기업과 협력하여 GPT-4와 인간 피드백 강화 학습(RLHF)을 활용해 디지털 시대에 아이슬란드어를 보존하고 있습니다.
Claude 소개
Anthropic은 유익하고, 정직하며, 해롭지 않은 AI 어시스턴트인 차세대 AI 어시스턴트 Claude를 출시했으며, 고성능 버전과 빠르고 가벼운 버전으로 제공됩니다.
OpenAI GPT-4 출시
OpenAI는 GPT-3.5에 비해 고급 추론, 더 높은 문제 해결 정확도, 그리고 향상된 안전성 및 사실적 신뢰성을 보여주는 대규모 언어 모델인 GPT-4를 출시했습니다.
Informer를 활용한 다변량 확률적 시계열 예측
Hugging Face는 계산 및 메모리 복잡성을 줄여 효율적인 다변량 확률적 시계열 예측을 가능하게 하기 위해 Informer 모델을 Transformers 라이브러리에 통합했습니다.
24GB 소비자 GPU에서 RLHF를 이용한 20B LLM 파인튜닝
Hugging Face는 TRL과 PEFT의 통합을 발표했으며, 이를 통해 8비트 양자화와 저랭크 어댑터를 사용해 24 GB GPU 하나에서 200억 파라미터 언어 모델의 강화 학습 파인튜닝이 가능해졌습니다.
Anthropic의 AI 안전성에 대한 핵심 관점
Anthropic는 전환적 AI 시스템의 급속한 확장과 관련된 치명적 위험을 완화하기 위해 경험 기반의 포트폴리오 기반 접근법을 제시합니다.
Kakao Brain ViT 및 ALIGN 모델, COYO 700M 데이터셋과 함께 공개
Kakao Brain과 Hugging Face가 새로운 700 M 이미지‑텍스트 COYO 데이터셋으로 학습된 오픈소스 ViT와 ALIGN 시각‑언어 모델을 공개했습니다. 이는 최초의 공개 ALIGN 모델이자 재현 가능한 학습 데이터를 갖춘 ViT 모델을 제공한다는 의미입니다.
Diffusers의 ControlNet
Hugging Face는 Diffusers 라이브러리에 ControlNet을 통합하여 Canny 엣지, 깊이 맵, 인간 포즈와 같은 조건을 사용해 Stable Diffusion 이미지 생성에 정밀한 공간 제어를 가능하게 했습니다.
재난 대응을 위한 머신러닝 활용: afetharita 프로젝트
Hugging Face는 자원봉사자들이 Hugging Face 생태계를 활용해 2023년 2월 터키 지진 피해자들을 돕기 위해 OCR, NER 및 원격 감지를 위한 머신러닝 모델을 신속히 배포한 과정을 설명합니다.
Hugging Face Diffusers 윤리 가이드라인
Hugging Face는 Diffusers 라이브러리를 위한 윤리 프레임워크를 도입하여 기술적 결정과 커뮤니티 기여를 안내하고, 확산 모델의 잠재적인 사회적 위험을 완화합니다.
Hugging Face 전문가 가속 프로그램: Witty Works 사례 연구
Witty Works는 Hugging Face 전문가 가속 프로그램과 SetFit을 활용하여 최소한의 라벨링 데이터로 높은 정확도의 문맥 의존 포괄적 언어 분류기를 구축했습니다.
AGI와 그 너머를 위한 OpenAI 계획
OpenAI는 사회가 적응할 수 있도록 AI 시스템의 점진적 배포 전략을 제시하며, 정렬 연구 확대, 글로벌 거버넌스, 그리고 존재적 위험에 대한 신중한 접근의 필요성을 강조합니다.