lightly-ai/lightly-studio

解决的问题

LightlyStudio 是一个数据整理与管理工具，旨在处理大规模图像和视频数据集在 AI 训练前的复杂准备工作。它解决了手动筛选数百万个文件以找出相关样本、移除重复项，以及高效管理标注的问题，且无需将数据上传至云端服务。

运作方式

此工具以本地服务器形式运行，并在网页浏览器中打开。用户可将本地的图像或视频（包括存储在 S3、GCS 或 Azure 等云存储中的内容）索引到本地数据库。它利用嵌入向量来可视化图像之间的关系，让用户可以套索选择相似图像的簇以筛选网格。此外，它也提供 Python API，可用于脚本化索引、查询，以及以 COCO 和 YOLO 等格式导出数据。

适用对象

主要适用于计算机视觉工程师和数据科学家，他们需要整理、标注，并针对图像和视频数据集评估模型预测与真实标签的比对。

重点特色

• 本地优先处理： 数据和图像不会离开机器，确保隐私与安全。
• 高性能： 可在单一 MacBook M1 上处理超过 200 万张图像和嵌入向量。
• 智能整理： 使用嵌入向量图和采样技术来挑选多样且具代表性的样本，以降低标注成本。
• 可扩展： 支持自动标注插件，例如 SAM（Segment Anything Model）插件。
• 完整工作流程： 涵盖从原始数据索引到模型评估及训练导出的完整流程。