Hugging Face 机器学习洞察总监 第4部分

电子商务中的机器学习

机器学习通过个性化发现，实现大规模欺诈防护、流程优化和提升用户体验（UX）。

Javier Mansilla 曾在 Mercado Libre 负责机器学习能力，他指出机器学习让以前“不可实现”的任务成为可能，尤其是在欺诈防护方面。电子商务的核心应用包括：

• 核心单元优化： 机器学习用于优化搜索、推荐、广告、信用评分、内容审核、预测和物流。
• 基础设施： 机器学习用于优化基础设施的预留和使用。
• 用户体验改进： 机器学习在浏览商品列表和优惠时，为用户旅程增添惊喜和发现。

电子商务中的挑战与集成陷阱

主要挑战在于在多渠道业务中平衡概率性的机器学习输出与一致的终端用户体验需求。

Mansilla 将用户体验的“长尾”视为关键关注点，因为机器学习并不能提供 100% 的完美。此外，在市场、物流、信贷和保险等多元业务线之间协调数据仍是日益增长的难题。

常见的集成错误包括：

• 工具不匹配： 在简单基线足够的情况下使用复杂工具。
• 缺乏衡量： 未能衡量机器学习相较于非机器学习方法的影响。
• 短视思维： 忽视技术债务、维护以及潜在的长期影响。

工程中的机器学习

机器学习正在自动化过去仅由人工完成的工程流程，涵盖机器人、汽车、化工和土木工程等领域。

MasterPeace Solutions 的 Shaun Gittens 博士强调，任何拥有记录劳动过程数据的领域都可以利用机器学习提升底线。然而，他指出当前机器学习能力面临两大上限：

1. 运营风险与偏见： 用机器学习取代人工操作存在风险，尤其是偏见问题。Gittens 警告称，基于有偏见数据训练的模型可能将系统性种族主义传播到未来的技术进步中。
2. 缺乏创造力： 当前的机器学习代理主要在可能的解决方案中搜索，而未展现真正的“跳出框架”创造力，而这对于工程中的复杂问题解决至关重要。

工程集成错误

在工程机器学习集成中，过度工程化小数据集以及忽视 CI/CD 流水线是常见的失败。

Gittens 指出，实践者常在小数据集上使用深度学习等过度强大的技术，而更直接的方法会更有效。他还强调，必须拥有稳健的 CI/CD 结构，以确保数据持续流动、模型再训练以及无缝替换旧模型，从而避免对用户造成干扰。

教育中的机器学习

深度学习内容搜索和推荐算法使得大规模创建定制化、适应性的学习路径成为可能。

Pluralsight 的 Samuel Franklin 解释说，机器学习提升了教育内容的相关性、形式和顺序，这些是学生成功的关键驱动因素。

教育中的 MLOps 与领导力挑战

当前 MLOps 技术的碎片化为机器学习团队带来摩擦，缺乏高级实操型领导常导致机器学习战略停滞。

Franklin 将当前 MLOps 的状态比作 2015-16 年的“容器编排之争”，指出缺乏对训练-部署-监控堆栈的主导愿景会增加决策复杂性。

他指出了两个关键的组织错误：

• 低估领导专业能力： 依赖缺乏实操机器学习经验的领导者。
• 延迟流水线实施： 等待过久才实现生产部署流水线，导致原型模型在仓库中停滞。

SaaS 中的机器学习

机器学习正成为 SaaS 中隐形且“内置”的期望，驱动异常检测、语义搜索和个性化。

Evan Castle 结合在 Elastic 的经验，将机器学习描述为运营必需。在安全和 SIEM（安全信息与事件管理）中，机器学习通过分析时间偏差、地理位置和统计稀有性，使用以下技术实现威胁检测：

• 时间序列分解
• 聚类
• 相关性分析
• 贝叶斯分布建模

SaaS 扩展与用户平衡

SaaS 的核心挑战在于平衡需要“开箱即用”模型的新手用户与需要透明度和控制权的资深数据科学家之间的需求。

Castle 强调了确保模型在大规模下运行的难度。他举例说明向量搜索，Elastic 使用层次可导航小世界（HNSW）图算法进行近似最近邻（ANN）搜索，从而在速度和准确性上显著超越其他基准。

Castle 预测，基础模型和自然语言处理的进步将使机器学习像“在线下单”一样简单，使技术更具人性化，能够更好地理解上下文、意图和含义。