GaoQ1/rasa_nlu_gq

해결하는 문제

이 프로젝트는 Rasa NLU를 위한 맞춤형 컴포넌트 및 확장 기능 세트를 제공하며, 중국어 처리에 특화되어 최적화되었습니다. 개발자는 Rasa 코어 소스 코드를 수정하지 않고도 더 고급된 엔티티 추출 및 의도 분류 모델을 Rasa 파이프라인에 통합할 수 있습니다.

작동 방식

설정 파일을 통해 Rasa NLU 파이프라인에 로드될 수 있는 애드온으로 기능합니다. 몇 가지 전문 모듈을 도입합니다:

• 엔티티 추출기: 더 정확한 엔티티 인식을 위해 BiLSTM+CRF 및 IDCNN+CRF(확장 컨볼루션) 모델을 구현합니다.
• 특징 추출: BERT를 통합하여 단어 벡터 특징을 생성합니다.
• 의도 분류: BERT 기반 의도 분류기와 TensorFlow 기반 추정 분류기를 추가합니다.
• 품사 태깅: Jieba 기반 품사(POS) 추출기를 추가하여 이름, 위치, 조직을 식별합니다.
• 의도 수정: 감지된 엔티티를 기반으로 시스템이 의도를 역방향으로 수정할 수 있도록 합니다.

대상 사용자

Rasa 프레임워크를 사용하여 중국어 챗봇이나 NLU 시스템을 구축하고 기본 제공 기능보다 더 정교한 NLP 도구가 필요한 개발자를 위한 것입니다.

하이라이트

• 모듈형 통합: 플러그인/애드온으로 작동하여 Rasa 업데이트와의 호환성을 보장합니다.
• 고급 NER: 엔티티 추출을 위해 BiLSTM+CRF 및 IDCNN+CRF 모델을 지원합니다.
• BERT 통합: 특징 추출과 의도 분류 모두에서 BERT 벡터 사용을 가능하게 합니다.
• 중국어 지원: 중국어 텍스트를 위해 Jieba 토크나이저와 품사 태깅을 구체적으로 포함합니다.
• 하드웨어 최적화: TensorFlow 컴포넌트의 CPU 및 GPU 사용량을 관리하기 위한 설정 옵션을 제공합니다.