davidberenstein1957/dspydantic

해결하는 문제

DSPydantic은 비정형 소스에서 구조화된 데이터를 추출할 때 수동으로 프롬프트를 반복해서 수정해야 하는 번거로움을 없애줍니다. 일관되지 않은 정확도 문제와 새로운 사용 사례나 데이터 형식이 도입될 때마다 프롬프트를 업데이트해야 하는 지루한 과정을 해결합니다.

작동 방식

DSPy 프레임워크와 Pydantic을 기반으로 구축된 이 도구를 사용하면 사용자가 원하는 데이터 구조에 대해 Pydantic 모델을 정의할 수 있습니다. 사용자가 소량의 예시(텍스트, 이미지 또는 PDF)와 예상 출력을 제공하면, DSPydantic은 해당 예시를 바탕으로 프롬프트와 Pydantic 모델 내의 필드 설명을 자동으로 최적화하여 추출 정확도를 극대화합니다.

대상 사용자

LLM을 사용하여 문서, 이미지 또는 PDF에서 구조화된 데이터를 추출해야 하며, 수동 프롬프트 튜닝에서 데이터 기반 최적화 프로세스로 전환하고자 하는 개발자.

주요 특징

• 자동 프롬프트 최적화: 데이터를 사용하여 최적의 프롬프트와 필드 설명을 찾아내며, 일반적으로 10-30%의 정확도 향상을 제공합니다.
• Pydantic 통합: 완전한 타입 안전성과 네이티브 Pydantic 모델 지원을 제공합니다.
• 멀티모달 지원: 텍스트, 이미지, PDF에서 데이터를 추출할 수 있습니다.
• 운영 환경 지원 기능: 배치 처리, 비동기 호출, 캐싱, 최적화된 프롬프터 저장 및 로드 기능을 포함합니다.
• 신뢰도 점수: 추출 결과에 대한 신뢰도 점수를 제공하여 결과 검증을 돕습니다.