clips/pattern

Web mining module for Python, with tools for scraping, natural language processing, machine learning, network analysis and visualization.

무엇인가

Pattern은 웹 마이닝(웹에서 데이터를 가져와 분석)을 위한 Python 모듈입니다. Python 2.7 및 3.6용으로 구축되었습니다.

주요 기능

데이터 마이닝: 웹 서비스(Google, Twitter, Wikipedia)에 연결하고, 웹사이트를 크롤링하고, HTML을 파싱합니다.
자연어 처리: 품사 태깅, n-그램 검색, 감정 분석, WordNet 사용.
머신 러닝: 벡터 공간 모델, 클러스터링, 분류(KNN, SVM, Perceptron).
네트워크 분석: 그래프 중심성 및 시각화.

예제 사용 사례

README에는 Twitter 감정 분류기가 나와 있습니다. #win 또는 #fail이 포함된 트윗을 수집하고, 각 트윗에서 형용사만 추출하여 단어 수 벡터로 변환한 다음, KNN 분류기를 훈련하여 새 트윗이 WIN 또는 FAIL 중 어느 쪽에 더 가까운지 예측합니다.

설치

pip로 설치:

pip install pattern

또는 다운로드하여 python setup.py install을 실행합니다. pattern 폴더를 스크립트 옆에 두거나 수동으로 sys.path에 추가할 수도 있습니다.

상태 — 보관됨

이 저장소는 더 이상 유지 관리되지 않습니다. 업데이트, 버그 수정 또는 보안 패치가 제공되지 않습니다. 이슈 및 풀 리퀘스트는 검토되지 않을 수 있습니다. 사용에 따른 책임은 본인에게 있습니다.

라이선스

BSD(3-clause).

번들 구성 요소

Pattern에는 영어, 네덜란드어, 독일어, 스페인어, 프랑스어, 이탈리아어용 Brill 태거, 머신 러닝용 LIBSVM 및 LIBLINEAR, 그래프 분석용 NetworkX, 맞춤법 교정기가 포함되어 있습니다.

문서

사용자 문서 및 예제는 프로젝트의 GitHub wiki에서 확인할 수 있습니다.

참고 문헌

De Smedt, T., Daelemans, W. (2012). Pattern for Python. Journal of Machine Learning Research, 13, 2031–2035.