clips/pattern

Web mining module for Python, with tools for scraping, natural language processing, machine learning, network analysis and visualization.

これは何か

Pattern は、ウェブマイニング(ウェブからデータを取得して分析する)のための Python モジュールです。Python 2.7 および 3.6 向けに構築されました。

主な機能

  • データマイニング: ウェブサービス(Google、Twitter、Wikipedia)に接続し、ウェブサイトをクロールし、HTML を解析します。
  • 自然言語処理: 品詞タグ付け、n-gram 検索、感情分析、WordNet の使用。
  • 機械学習: ベクトル空間モデル、クラスタリング、分類(KNN、SVM、Perceptron)。
  • ネットワーク分析: グラフの中心性と可視化。

使用例

README には Twitter の感情分類器が示されています。#win または #fail を含むツイートを収集し、各ツイートから形容詞のみを抽出し、それらを単語数ベクトルに変換し、KNN 分類器をトレーニングして、新しいツイートが WIN または FAIL のどちらに近いかを予測します。

インストール

pip でインストール:

pip install pattern

または、ダウンロードして python setup.py install を実行します。pattern フォルダをスクリプトの隣に置くか、手動で sys.path に追加することもできます。

ステータス — アーカイブ済み

このリポジトリはもはやメンテナンスされていません。更新、バグ修正、セキュリティパッチは提供されません。Issue やプルリクエストはレビューされない可能性があります。自己責任で使用してください。

ライセンス

BSD(3 条項)。

バンドルされているコンポーネント

Pattern には、英語、オランダ語、ドイツ語、スペイン語、フランス語、イタリア語用の Brill タガー、機械学習用の LIBSVM と LIBLINEAR、グラフ分析用の NetworkX、スペル修正ツールなど、いくつかのサードパーティツールが同梱されています。

ドキュメント

ユーザードキュメントと例は、プロジェクトの GitHub wiki で入手できます。

参考文献

De Smedt, T., Daelemans, W. (2012). Pattern for Python. Journal of Machine Learning Research, 13, 2031–2035。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト