clips/pattern

Web mining module for Python, with tools for scraping, natural language processing, machine learning, network analysis and visualization.

它是什么

Pattern 是一个用于网络挖掘的 Python 模块——从网络获取数据并进行分析。它专为 Python 2.7 和 3.6 构建。

主要功能

  • 数据挖掘:连接网络服务(Google、Twitter、Wikipedia),爬取网站,解析 HTML。
  • 自然语言处理:词性标注、n-gram 搜索、情感分析、使用 WordNet。
  • 机器学习:向量空间模型、聚类、分类(KNN、SVM、Perceptron)。
  • 网络分析:图中心性和可视化。

示例用例

README 展示了一个 Twitter 情感分类器:它收集包含 #win 或 #fail 的推文,仅提取每条推文中的形容词,将其转换为词频向量,并训练一个 KNN 分类器来预测新推文更接近 WIN 还是 FAIL。

安装

使用 pip 安装:

pip install pattern

或者下载并运行 python setup.py install。你也可以将 pattern 文件夹放在脚本旁边,或手动将其添加到 sys.path。

状态——已归档

该仓库不再维护。它不会收到更新、错误修复或安全补丁。问题和拉取请求可能不会被审查。使用风险自负。

许可证

BSD(3 条款)。

捆绑组件

Pattern 附带多个第三方工具,包括英语、荷兰语、德语、西班牙语、法语和意大利语的 Brill 标注器;用于机器学习的 LIBSVM 和 LIBLINEAR;用于图分析的 NetworkX;以及拼写纠正器。

文档

用户文档和示例可在项目的 GitHub wiki 上获取。

参考

De Smedt, T., Daelemans, W. (2012). Pattern for Python. Journal of Machine Learning Research, 13, 2031–2035。

相关

  • 项目
  • 项目
  • 项目
  • 项目