lynote-ai/humanize-text

해결하는 문제

이 프로젝트는 AI 생성 텍스트를 더 자연스럽고 인간처럼 들리도록 다시 쓰는 파이프라인을 제공하며, 특히 AI 탐지기가 일반적으로 식별하는 통계적 지문을 깨는 것을 목표로 합니다.

작동 방식

이 프로젝트는 두 가지 다른 접근 방식을 제공합니다:

1. 구조 우선 데이터 파이프라인: 현재 주요 방법으로, 맞춤형 재작성 모델을 위한 고품질 훈련 데이터를 만드는 데 중점을 둡니다. 지도 미세 조정(SFT)과 Kahneman-Tversky 최적화(KTO)를 사용하여 표면 수준의 단어를 바꾸는 것뿐만 아니라 텍스트의 실제 서사 구조를 다시 쓰도록 모델을 가르칩니다.
2. 번역 체인(레거시): 다중 홉 번역 프로세스를 사용하는 실행 가능한 참조 파이프라인입니다. LLM을 사용하여 텍스트를 다시 쓰고(중국어, 그 다음 일본어로 번역), 그런 다음 여러 번역 엔진(Google 번역 및 Niutrans)을 통해 핀란드어로 번역한 다음 영어로 다시 번역하여 언어적 거리와 구조적 파괴를 최대화합니다.

대상 사용자

AI 지원 초안의 가독성과 자연스러운 리듬을 개선하려는 개발자와 작가, 또는 AI 탐지를 우회하는 방법을 탐구하려는 사람들.

주요 특징

• 다중 계층 접근 방식: 표준, 고급, 집중 계층을 제공하며 재구성 깊이가 다릅니다.
• SFT + KTO 훈련: 단순한 편집보다 실제 구조적 변경을 우선시하는 선호 기반 훈련 파이프라인을 구현합니다.
• 다중 엔진 번역: LLM과 NMT 엔진의 조합을 사용하여 단일 엔진 지문을 제거합니다.
• 결정적이고 감사 가능: 각 쌍에 SHA-256 ID와 데이터 구축을 위한 버전 관리된 YAML 정책을 포함합니다.