nfstream/nfstream

它解决了什么问题

NFStream 通过提供一个高级别的 Python 框架，简化了网络流量分析过程，支持在线（实时）和离线（pcap 文件）数据的分析。它解决了从原始网络数据包中提取有意义且可复现的特征的难题，特别是针对加密流量，并为机器学习模型准备数据提供了一种标准化的方法。

它如何工作

NFStream 使用基于 CFFI 的高性能计算引擎处理网络数据，并支持跨平台执行。它使用 nDPI 进行深度包检测，以识别加密应用并提取元数据（如 TLS 或 SSH 指纹）。它还可以探测系统内核，将网络流与特定的本地进程（PID 和进程名）关联起来。在特征提取方面，它计算事后统计信息（包大小/到达时间间隔的均值、标准差）以及早期流特征（前 n 个数据包的 SPLT 分析）。

适用人群

专为需要执行实际网络流分析、创建可复现实验或部署机器学习模型进行流量管理与分类的网络研究人员和安全工程师设计。

主要亮点

• 加密流量可见性： 使用 nDPI 识别加密应用并提取元数据指纹。
• 系统集成： 通过内核探测将网络流映射到实际系统进程。
• 机器学习就绪： 提供标准化的统计特征提取，并原生支持导出为 Pandas 和 CSV，便于模型训练。
• 高性能： 在 Linux 上利用 AF_PACKET_V3/FANOUT，并支持 PyPy 以实现更快的执行速度。
• 可扩展性： 通过插件系统（NFPlugins）允许用户创建自定义流特征。

一个强大的工具，能够从实时或离线流量中提取统计特征和应用元数据，用于机器学习分析。 — @username