clips/pattern
Web mining module for Python, with tools for scraping, natural language processing, machine learning, network analysis and visualization.
これは何か
Pattern は、ウェブマイニング(ウェブからデータを取得して分析する)のための Python モジュールです。Python 2.7 および 3.6 向けに構築されました。
主な機能
- データマイニング: ウェブサービス(Google、Twitter、Wikipedia)に接続し、ウェブサイトをクロールし、HTML を解析します。
- 自然言語処理: 品詞タグ付け、n-gram 検索、感情分析、WordNet の使用。
- 機械学習: ベクトル空間モデル、クラスタリング、分類(KNN、SVM、Perceptron)。
- ネットワーク分析: グラフの中心性と可視化。
使用例
README には Twitter の感情分類器が示されています。#win または #fail を含むツイートを収集し、各ツイートから形容詞のみを抽出し、それらを単語数ベクトルに変換し、KNN 分類器をトレーニングして、新しいツイートが WIN または FAIL のどちらに近いかを予測します。
インストール
pip でインストール:
pip install pattern
または、ダウンロードして python setup.py install を実行します。pattern フォルダをスクリプトの隣に置くか、手動で sys.path に追加することもできます。
ステータス — アーカイブ済み
このリポジトリはもはやメンテナンスされていません。更新、バグ修正、セキュリティパッチは提供されません。Issue やプルリクエストはレビューされない可能性があります。自己責任で使用してください。
ライセンス
BSD(3 条項)。
バンドルされているコンポーネント
Pattern には、英語、オランダ語、ドイツ語、スペイン語、フランス語、イタリア語用の Brill タガー、機械学習用の LIBSVM と LIBLINEAR、グラフ分析用の NetworkX、スペル修正ツールなど、いくつかのサードパーティツールが同梱されています。
ドキュメント
ユーザードキュメントと例は、プロジェクトの GitHub wiki で入手できます。
参考文献
De Smedt, T., Daelemans, W. (2012). Pattern for Python. Journal of Machine Learning Research, 13, 2031–2035。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト