lightly-ai/lightly-studio

解决的问题

LightlyStudio 是一个本地优先的数据整理工具，旨在帮助开发者管理、标注和评估计算机视觉数据集。它解决了处理海量未标注或标注质量差的图像和视频数据的问题，通过识别最具多样性和代表性的样本，降低手动标注成本。

工作原理

该工具以本地服务器形式运行，并在网页浏览器中打开。用户可将图像或视频文件夹（包括 S3、GCS 或 Azure 等云存储中的文件夹）索引到本地数据库中。它使用嵌入（embeddings）将数据集可视化为一个图表，其中相似的图像被分组在一起，用户可通过套索选择（lasso-select）筛选数据网格中的聚类。它还支持 Python API，可用于脚本化索引、查询和导出数据，支持 COCO 和 YOLO 等格式。

适用人群

主要面向需要为 YOLO 等模型整理高质量训练数据的计算机视觉工程师和机器学习实践者，以及希望将数据保留在本地以保障隐私和安全的用户。

主要亮点

• 本地优先架构： 数据和图像永远不会离开本地机器。
• 基于嵌入的整理： 可视化数据关系，用于发现重复项或典型样本。
• 可扩展性： 单台 MacBook M1 可处理超过 200 万张图像。
• 集成标注功能： 内置标注编辑器，并支持自动标注插件（如 SAM）。
• 模型评估： 可通过混淆矩阵比较模型预测与真实标签，发现模型失败模式。
• 多格式支持： 支持图像文件夹、视频、COCO 和 YOLO 数据集。