Hugging Face 인퍼런스 엔드포인트 분석 업데이트

Hugging Face는 Inference Endpoints 분석 대시보드에 일련의 업데이트를 도입하여 사용자에게 실시간 성능 모니터링과 복제본 상태에 대한 더 깊은 가시성을 제공합니다. 이러한 개선은 디버깅 마찰을 줄이고 엔드포인트 부하 및 상태에 대한 즉각적인 인사이트를 제공하도록 설계되었습니다.

실시간 성능 모니터링

Inference Endpoints는 이제 실시간 메트릭을 제공하여 즉시 업데이트되며, 사용자가 요청 지연 시간, 응답 시간 및 오류율을 이벤트가 발생하는 즉시 모니터링할 수 있습니다. 이를 지원하기 위해 Hugging Face는 분석 백엔드를 재구성하여 특히 트래픽이 많은 엔드포인트에 대해 빠른 데이터 로딩을 보장했습니다.

사용자 정의 가능한 시간 보기 및 자동 새로고침

단기 디버깅과 장기 트렌드 분석을 모두 용이하게 하기 위해, 업데이트된 대시보드에는 다음이 포함됩니다:

• Customizable Time Ranges: 사용자는 특정 시간 구간을 확대하여 정확한 이벤트를 분석할 수 있습니다.
• Auto-Refresh: 토글 가능한 자동 새로고침 기능은 수동 페이지 새로고침 없이도 대시보드가 최신 상태를 유지하도록 보장합니다.

복제본 라이프사이클 추적

새로운 복제본 라이프사이클 뷰를 통해 개별 복제본의 상태를 모니터링할 수 있게 되었습니다. 이 기능은 사용자가 각 복제본을 초기 상태부터 모든 상태 전환을 거쳐 종료까지 추적할 수 있게 합니다. 이러한 가시성은 여러 구성 요소가 움직이는 엔드포인트를 관리하고 배포의 내부 상태를 이해하는 데 중요합니다.

향후 반복

Hugging Face는 이러한 업데이트가 지속적인 반복 프로세스의 일부이며, 분석 경험을 더욱 개선하기 위해 사용자 피드백을 적극적으로 구하고 있다고 밝혔습니다.