SimonBlanke/Gradient-Free-Optimizers

해결하는 문제

Gradient-Free-Optimizers (GFO)는 그래디언트를 사용할 수 없거나, 비현실적이거나 존재하지 않는 '블랙박스' 함수를 최적화하는 통합적인 방법을 제공합니다. 연속형, 이산형, 범주형, 분포 기반 데이터를 혼합한 복잡한 탐색 공간에서 주어진 목적 함수에 대한 최적의 파라미터를 찾는 과정을 단순화합니다.

작동 방식

이 라이브러리는 국소 탐색, 전역 탐색, 집단 기반, 순차 모델 기반 기법(예: 베이지안 최적화)으로 분류된 23가지의 다양한 최적화 알고리즘을 구현합니다. 사용자는 최대화하고자 하는 목적 함수와 탐색 공간을 정의합니다. 최적화기는 파라미터를 제안하고 목적 함수를 통해 평가한 후, 내부 전략을 사용해 점수를 반복적으로 향상시킵니다.

대상 사용자

기계학습 모델의 하이퍼파라미터 튜닝, 시뮬레이션 최적화, 특성 선택, 공학 설계에 종사하는 개발자 및 연구자에게 적합합니다.

주요 특징

• 통합 API: 코드 한 줄 변경으로 23가지의 다른 알고리즘을 쉽게 전환할 수 있습니다.
• 혼합 탐색 공간: 연속 범위, 이산 그리드, 범주형 선택, SciPy 분포를 하나의 공간에서 지원합니다.
• 내장 메모리: 비용이 큰 목적 함수의 중복 평가를 방지하기 위한 캐싱 기능이 있습니다.
• 최소한의 종속성: NumPy와 pandas만 필요하여 임베디드 시스템이나 최소한의 컨테이너에 적합합니다.
• 타입 변환 및 제약 조건: 제약 함수를 지원하여 탐색 공간의 유효하지 않은 영역을 자동으로 회피할 수 있습니다.