sonnet: TensorFlow 2를 위한 구성 가능한 신경망 추상화 라이브러리

해결하는 문제

Sonnet은 신경망 구축을 단순화하는 머신러닝 연구용 라이브러리입니다. 연구자들이 특정 훈련 프레임워크나 정해진 워크플로우에 얽매이지 않고 복잡한 모델을 구축할 수 있도록 하는 일련의 구성 가능한 추상화 기능을 제공합니다.

작동 방식

이 라이브러리는 TensorFlow 2를 기반으로 구축되었으며 snt.Module 개념을 중심으로 합니다. 모듈은 매개변수, 다른 모듈, 그리고 입력을 처리하는 메서드를 보유할 수 있는 독립적이고 결합이 해제된 단위입니다. 사용자는 snt.Linear 또는 snt.nets.MLP와 같은 사전 정의된 모듈을 사용하거나 snt.Module을 상속받아 자신만의 모듈을 만들 수 있습니다.

대상 사용자

모델과 훈련 프로세스에 대해 높은 수준의의 제어가 필요한 머신러닝 연구자, 특히 TensorFlow 생태계 내에서 작업하는 연구자들을 위해 설계되었습니다.

주요 특징

• Unopinionated Design: 훈련 프레임워크를 포함하지 않으므로, 훈련 루프의 설계와 옵티마이저 선택을 사용자의 몫으로 남겨둡니다.
• Composable Abstractions: snt.Module 시스템을 사용하여 네트워크 구성 요소의 쉬운 중첩 및 계층화를 지원합니다.
• Flexible Serialization: 훈련 진행 상황을 저장하기 위한 Python의 pickle, TensorFlow Checkpointing, 그리고 Python 소스 코드와 분리된 모델을 내보내기 위한 TensorFlow Saved Model을 지원합니다.
• Distributed Training Support: 사용자 정의 TensorFlow distribution strategies를 통해 분산 훈련을 위한 도구를 제공하며, 동시에 그래디언트 평균화 및 배치 정규화 통계에 대한 사용자의 제어를 유지합니다.