alan-turing-institute/CleverCSV

해결하는 문제

CSV 파일은 형식에 대한 보편적인 표준이 부족하여 구분 기호, 따옴표 또는 이스케이프 문자가 일관되지 않은 "복잡한" 파일이 되는 경우가 많아 다루기 어렵습니다. CleverCSV는 올바른 파일 형식(또는 "방언")을 높은 정확도로 자동 감지하여 이 문제를 해결하며, 수동 검사 없이도 파일을 로드하고 처리할 수 있게 해줍니다.

작동 방식

CleverCSV는 CSV 파일 내의 행 길이와 데이터 유형 패턴을 분석하여 구조를 식별하는 연구 기반 접근 방식을 사용합니다. Python의 내장 csv 모듈을 대체하는 드롭인 방식으로 작동하며, 향상된 방언 감지 기능과 데이터를 리스트나 Pandas DataFrames로 직접 로드할 수 있는 다양한 도우미 함수를 제공합니다.

대상 사용자

실제 CSV 파일을 자주 다루며, 파일마다 사용자 지정 파싱 로직을 작성하지 않고도 일관성 없는 형식을 안정적이고 자동화된 방식으로 처리해야 하는 데이터 과학자, 개발자 및 연구자를 위해 설계되었습니다.

주요 특징

• 방언 감지에서 97%의 정확도를 달성하여, 복잡한 파일 처리 시 표준 라이브러리 도구보다 훨씬 뛰어난 성능을 제공합니다.
• CSV 파일을 빠르게 검사, 표준화하거나 Python 가져오기 코드를 생성할 수 있는 명령줄 인터페이스를 제공합니다.
• Pandas와 원활하게 통합되어 데이터 분석을 쉽게 수행할 수 있습니다.
• 버전 관리 저장소에서 CSV 파일을 자동으로 표준화하는 pre-commit hook이 포함되어 있습니다.