Hugging Face Inference Endpoints로 LLM 배포하기
Hugging Face Inference Endpoints는 개발자가 오픈소스 LLM을 프로덕션 준비가 된 API로 배포할 수 있도록 하는 관리형 SaaS 솔루션이며, 자동 스케일링, 스케일-투-제로, 엔터프라이즈급 보안과 같은 기능을 제공합니다.
허깅 페이스: 오픈 ML 모델을 사용한 웹 앱 생성기 만들기
허깅 페이스는 NodeJS, WizardCoder-15B 모델, 그리고 Hugging Face Inference Endpoints API를 사용하여 텍스트-웹앱 생성기를 구축하는 방법을 보여줍니다.
복잡한 생성형 AI 사용 사례에 대한 Hugging Face 활용: Writer 사례 연구
Hugging Face는 Writer와의 파트너십을 강조하며, 해당 회사가 사용자에서 고객 및 오픈소스 기여자로 진화한 과정을 보여줍니다. 이는 Hugging Face Expert Acceleration Program을 활용하여 확장 가능한 LLM 생산을 달성함으로써 이루어집니다.
OpenAI 글로벌 대화: 통찰과 전략적 집중 영역
OpenAI는 25개 도시와 6개 대륙을 대상으로 글로벌을 대상으로 글로벌 경청 투어를 진행하여 사용자, 개발자, 정책 입안자의 피드백을 수집하여 AI 개발 및 배포 전략을 개선했습니다.
비전-언어 모델 가속화: Habana Gaudi2 기반의 BridgeTower
Hugging Face는 더 많은 dataloader 워커와 하드웨어 가속 이미지 디코딩을 사용함으로써, Optimum Habana를 통해 Habana Gaudi2에서 BridgeTower 비전-언어 모델을 미세 조정할 때 Nvidia A100 대비 최대 2.5배, H100 대비 1.4배의 속도 향상을 얻을 수 있음을 보여줍니다.
OpenAI 런던 사무소 개설
OpenAI는 런던에 첫 번째 국제 사무소를 열어 연구 및 개발 범위를 확장하고 안전한 AGI 개발을 위한 글로벌 인재를 유치했습니다.
Hugging Face 윤리와 사회 뉴스레터 #4: 텍스트-이미지 모델의 편향
Hugging Face는 텍스트-이미지 모델의 복잡한 편향 원인을 설명하고, 탐색 도구, 레드팀링, 문서화를 활용한 다각적 접근법을 제시하여 이러한 편향을 탐지하고 완화하려고 합니다.
허깅 페이스 오픈 LLM 리더보드 MMLU 평가 분석
허깅 페이스는 MMLU 벤치마크의 다양한 구현 세부 사항이 동일한 LLM에 대해 성능 점수와 순위를 크게 다르게 만든다고 설명합니다.
Hugging Face Spaces와의 Panel 통합
Hugging Face는 Hugging Face Spaces에 Panel 템플릿을 통합하여 사용자가 Python 기반 대시보드와 복잡한 애플리케이션을 손쉽게 구축하고 배포할 수 있도록 했습니다.
Hugging Face의 미국 NTIA AI 책임성에 대한 의견 요청에 대한 응답
2023년 6월 12일, Hugging Face는 미국 NTIA의 AI 책임성에 대한 의견 요청에 응답을 제출했으며, 책임 메커니즘이 머신러닝 생명주기의 전체를 포괄하고, 내부 문서화와 외부 투명성을 결합하며, 다양한 이해관계자의 참여를 유도해야 한다고 권고했습니다.
저자원 ASR을 위한 MMS 어댑터 모델 미세 조정하기
Hugging Face는 Meta AI의 Massive Multilingual Speech (MMS) 모델에 어댑터 레이어를 미세 조정하는 것이 단 몇 분의 학습만으로 저자원 언어에 대해 최첨단 단어 오류율(WER)을 사용하여, 전체 모델 미세 조정보다 메모리 효율적임을 발표했습니다.
Autoformer – Transformers는 시계열 예측에 효과적이다
Hugging Face가 Autoformer 모델이 이제 🤗 Transformers 라이브러리에서 사용 가능하다고 발표했으며, 이는 Transformer 기반 모델이 시계열 예측 벤치마크에서 DLinear와 같은 간단한 선형 기준을 능가함을 보여줍니다.
허깅 페이스 콘텐츠 가이드라인 및 정책 업데이트
허깅 페이스는 머신러닝 아티팩트의 독특한 조정 과제를 해결하고 사용자 권리와 프라이버시를 보호하기 위해 동의를 핵심 가치로 삼기 위해 콘텐츠 정책을 업데이트했습니다.
Livebook 노트북을 Hugging Face Spaces의 앱으로 배포하기
Hugging Face는 이제 Livebook 노트북을 Hugging Face Spaces의 대화형 애플리케이션으로 배포하는 것을 지원하여, Elixir 기반 머신러닝 앱을 쉽게 공유할 수 있게 합니다.
iPhone, iPad, Mac에서 Core ML을 사용한 더 빠른 Stable Diffusion
Hugging Face와 Apple은 Core ML에 6-bit 팔레트화 및 업데이트된 attention 레이어 최적화를 도입하여 Apple 기기에서 Stable Diffusion의 메모리 사용량을 크게 줄이고 추론 속도를 높였습니다.
OpenAI 함수 호출 및 API 업데이트
OpenAI는 gpt-4-0613 및 gpt-3.5-turbo-0613에 함수 호출을 도입하여 모델이 외부 도구 및 API 통합을 위해 구조화된 JSON을 출력할 수 있게 했습니다.
Hugging Face와 AMD의 모델 가속 파트너십
Hugging Face와 AMD는 최신 트랜스포머 모델을 AMD CPU, GPU 및 AI 가속기에 최적화하여 훈련 및 추론의 비용-성능 표준을 향상시키기 위해 파트너십을 체결했습니다.
갤러리, 도서관, 기록관 및 박물관을 위한 Hugging Face Hub
Hugging Face는 갤러리, 도서관, 기록관 및 박물관이 모델, 데이터셋 및 데모를 공유하기 위해 자사의 Hub를 어떻게 사용할 수 있는지 보여주는 가이드를 발표하여, GLAM 분야의 머신러닝 장벽을 낮추는 방법을 제시했습니다.
파운데이션 모델이 인간처럼 데이터를 라벨링할 수 있을까? Hugging Face 분석
허깅페이스는 GPT-4가 LLM 선호도 평가에서 인간 라벨러를 안정적으로 대체할 수 있는지 조사했으며, 상당한 위치 편향과 장황함 편향을 발견하여 인간 판단의 대안으로서 정확도가 제한됨을 확인했다.
허깅페이스 허브와 DuckDB 통합을 통한 데이터셋 분석
허깅페이스는 이제 허브에서 자동으로 Parquet 형식으로 변환된 50,000개 이상의 공개 데이터셋에서 DuckDB를 통해 SQL 쿼리를 실행할 수 있게 되었습니다.
fastText와 Hugging Face Hub 통합
Hugging Face는 이제 157개 언어의 fastText 단어 벡터와 언어 식별 모델의 공식 미러를 호스팅하여 모델 접근 및 배포를 간소화합니다.
Falcon 모델 출시 및 Hugging Face 생태계 통합
Hugging Face는 오픈 Apache‑2.0 라이선스의 Falcon 모델 제품군을 발표했으며, Falcon‑40B가 Open LLM Leaderboard에서 1위를 차지한 점을 강조하고 Hugging Face 도구를 사용하여 이를 실행, 양자화, 미세 조정하는 방법을 보여주었습니다.
Unity에서의 AI 음성 인식
Hugging Face는 Unity 게임 내에서 최첨단 자동 음성 인식(ASR)을 구현하여 음성 명령과 NPC 상호작용을 가능하게 하는 가이드와 API를 제공합니다.
OpenAI 사이버 보안 보조금 프로그램
OpenAI는 방어자들을 강화하고 사이버 보안에서 AI의 역할을 정량화하기 위해 $1M 규모의 사이버 보안 보조금 프로그램을 출시했으며, 이후 GPT-5.3-Codex 출시와 함께 $10M 규모의 API 크레딧 및 Trusted Access for Cyber를 포함하도록 진화했습니다.
허깅 페이스 오픈 소스 AI 게임 잼 발표
허깅 페이스는 2023년 7월 7일부터 9일까지 오픈 소스 AI 게임 잼을 개최하여 게임 개발자들이 오픈 소스 생성형 AI 도구를 개발 워크플로우와 게임 기능에 통합하도록 장려합니다.
OpenAI가 프로세스 감독을 통한 수학적 추론 개선
OpenAI는 과정 감독(process supervision)을 통해 각 올바른 추론 단계에 보상을 주어 최종 답만 보상하는 결과 감독(outcome supervision)보다 수학적 문제 해결을 개선하는 방법을 개발했으며,これにより 최첨단 성능과 더 나은 AI 정렬을 달성했습니다.
허깅 페이스 LLM 추론 컨테이너 Amazon SageMaker용
허깅 페이스는 Text Generation Inference(TGI)를 기반으로 한 목적에 맞춘 LLM 추론 컨테이너(DLC)를 Amazon SageMaker용으로 출시하여 오픈소스 대형 언어 모델의 고성능 배포를 가능하게 했습니다.
OpenAI 민주적 입력 AI 프로그램
OpenAI는 AI 시스템이 따라야 할 규칙을 결정하기 위한 민주적 프로세스를 개발하기 위한 10개의 100,000달러 실험을 지원하기 위한 보조금 프로그램을 출시했습니다.
NNCF와 🤗 Optimum을 사용한 Intel CPU용 Stable Diffusion 최적화
Hugging Face는 NNCF와 Optimum을 사용하여 Stable Diffusion을 양자화하고 Token Merging을 적용하는 워크플로를 발표했으며, Intel CPU에서 최대 5.1x 추론 속도 향상과 모델 풋프린트 4x 감소를 달성했습니다.
Azure Machine Learning에서의 Hugging Face 모델 카탈로그
Hugging Face와 Microsoft는 Azure Machine Learning Studio 내에서 Hugging Face Hub 모델 카탈로그의 네이티브 통합을 출시하여 보안 Azure 인프라에서 오픈소스 모델 배포를 간소화했습니다.
Hugging Face 4비트 양자화 및 QLoRA 출시
Hugging Face는 bitsandbytes를 통한 4비트 양자화 지원과 QLoRA 방식을 발표하여, 소비자용 GPU에서 대형 언어 모델의 추론 및 어댑터 파인튜닝을 가능하게 했습니다.
InstructPix2Pix와 함께 Stable Diffusion 명령어 튜닝
Hugging Face는 InstructPix2Pix를 확장하여 Stable Diffusion이 다중 작업 명령어 튜닝 접근 방식을 통해 특정 이미지 변환 및 저수준 처리 명령을 따르도록 교육하는 방안을 탐구합니다.
Hugging Face Safetensors 보안 감사 및 기본 채택
Hugging Face, EleutherAI, 그리고 Stability AI는 Trail of Bits의 보안 감사를 통해 임의 코드 실행을 초래하는 중요한 결함이 없음을 확인한 후, safetensors를 기본 모델 저장 형식으로 전환하고 있습니다.
Hugging Face와 IBM의 watsonx.ai 파트너십
Hugging Face와 IBM은 Hugging Face 오픈소스 라이브러리와 모델을 watsonx.ai에 통합하기 위해 파트너십을 체결했습니다. watsonx.ai는 기반 모델을 학습, 튜닝 및 배포하기 위한 엔터프라이즈 AI 스튜디오입니다.
OpenAI 초지능 거버넌스 제안
OpenAI는 국제 협력, IAEA와 유사한 글로벌 규제 기관, 그리고 고급 안전 연구를 통한 초지능 관리의 세 가지 기둥 프레임워크를 제안합니다.
Q8-Chat: 인텔 Xeon CPU에서 효율적인 생성 AI
Hugging Face와 Intel은 SmoothQuant를 사용해 LLM을 8비트 정수로 압축하면 고품질 채팅 경험을 단일 소켓 인텔 Xeon CPU에서 효율적으로 실행할 수 있음을 보여줍니다.
BigCode 뒤의 대규모 근접 중복 제거
Hugging Face는 MinHash와 Locality Sensitive Hashing (LSH)를 활용해 BigCode 프로젝트를 위한 대규모 근접 중복 제거를 수행하는 방법을 상세히 설명하며, 근접 중복 데이터를 제거하면 모델 성능과 훈련 효율성이 향상된다는 것을 보여줍니다.
RWKV 아키텍처를 Hugging Face Transformers에 통합
Hugging Face는 RWKV RNN‑Transformer 하이브리드 모델을 Transformers 라이브러리에 통합했다고 발표했으며, 이를 통해 RNN 효율성과 Transformer 성능을 결합한 오픈소스 장기 컨텍스트 언어 모델을 사용할 수 있게 되었습니다.
ROCm을 사용한 AMD GPU에서 Vicuna 13B 실행
Hugging Face는 ROCm과 GPTQ 4비트 양자화를 사용해 Vicuna 13B 오픈소스 챗봇을 단일 AMD GPU에 배포하는 기술 가이드를 제공하며, 메모리 요구량을 28GB에서 7.52GB로 줄입니다.
Hugging Face, CNIL 향상 지원 프로그램에 선정
Hugging Face는 프랑스 데이터 보호 기관(CNIL)으로부터 향상 지원 프로그램에 선정되어 AI 개발에서 데이터 보호 및 GDPR 준수 구현을 개선하고 있습니다.
Hugging Face 저지연 텍스트 생성을 위한 Assisted Generation
Hugging Face는 작은 어시스턴트 모델이 후보 토큰을 예측하고, 큰 모델이 이를 검증하는 방식의 **Assisted Generation** 디코딩 방법을 도입했으며, 이를 통해 일부 하드웨어 구성에서 지연 시간을 최대 10배까지 줄일 수 있습니다.
OpenAI, GPT‑4를 사용해 GPT‑2용 자동 뉴런 설명 데이터셋 공개
OpenAI는 GPT‑4를 활용해 GPT‑2의 모든 뉴런에 대한 자연어 설명을 생성하고 점수를 매기는 방법을 발표했으며, 그 결과 데이터셋, 뷰어, 코드를 연구 커뮤니티에 공개했습니다.
StarCoder로 코딩 어시스턴트 만들기 – 요약
이 글에서는 Hugging Face 팀이 16 B 파라미터 StarCoder 코드 생성 모델을 대화형 코딩 어시스턴트(StarChat‑α)로 전환한 과정을 설명합니다. 특수 채팅 토큰을 추가하고, 필터링된 Open‑Assistant 대화 데이터셋을 준비하며, DeepSpeed ZeRO‑3로 파인튜닝함으로써 사용자 프롬프트를 이해하고 실행 가능한 코드를 생성할 수 있는 모델을 훈련했습니다(예: 플롯, 지도, 시각화). 또한 토크나이저 설정, 사용자 턴에 대한 손실 마스킹, 학습 환경, 평가(벤치마크 및 LLM 기반) 및 제한 사항과 향후 방향에 대해서도 다룹니다. 최종 모델은 허브에 공개되어 있습니다.
텍스트-비디오 모델 탐구
Hugging Face는 텍스트-비디오 생성 모델의 진화를 기술적으로 개요하며, GAN에서 Transformer 및 Diffusion 아키텍처로의 전환을 상세히 설명하고, 시간적 일관성 및 데이터 부족이라는 고유한 과제를 강조합니다.
StarCoder 릴리스 노트
Hugging Face와 ServiceNow의 BigCode 협업은 허가된 라이선스 데이터로 학습된 15B 파라미터 코드 LLM인 StarCoder와 StarCoderBase를 출시했으며, 프로그래밍 벤치마크에서 여러 오픈 및 클로즈드 모델을 능가합니다.
Hugging Face Unity API 설치 및 사용 가이드
Hugging Face Unity API는 전용 패키지와 API 마법사를 통해 개발자가 Hugging Face Inference API 모델을 Unity 프로젝트에 통합할 수 있도록 합니다.
Hugging Face Transformers, TensorFlow 및 TPU를 사용한 언어 모델 훈련
Hugging Face는 TensorFlow와 TPU 팟을 사용해 처음부터 마스크 언어 모델을 훈련하기 위한 확장 가능한 종단 간 가이드를 제공하며, 고성능 컴퓨팅을 위해 XLA 호환성을 활용합니다.
Databricks와 Hugging Face, Apache Spark를 통합해 LLM 학습 속도 향상
Databricks는 Dataset.from_spark() 함수를 통해 Hugging Face Datasets에 본격적인 Apache Spark 지원을 도입했으며, 대규모 모델 학습 및 튜닝 시 데이터 로딩 시간을 최대 40%까지 단축했습니다.
Diffusers와 함께 무료 티어 Google Colab에서 DeepFloyd IF 실행하기
Hugging Face는 8‑비트 양자화, 모듈식 파이프라인 로딩, Diffusers와 통합된 최적화를 활용해 무료 Google Colab 노트북에서 오픈‑소스 DeepFloyd IF 텍스트‑투‑이미지 모델을 실행하는 방법을 보여줍니다.
OpenAI가 ChatGPT를 위한 새로운 데이터 관리 제어 기능을 도입했습니다
OpenAI는 사용자 대화가 모델 학습에 사용되는 것을 방지하기 위해 채팅 기록을 비활성화하는 새로운 설정을 도입했으며, ChatGPT 비즈니스 구독 및 새로운 데이터 내보내기 도구 계획도 함께 발표했습니다.