0814wdwd/solo_jev

解决的问题

SOLO (System One Layout Optimizer) 旨在解决在大型数据集上运行决策模型时的高延迟与计算成本问题。即使模型仅需返回单个 Token（决策），仍须处理整个输入记录（策略、上下文、用户数据）。当记录包含重复内容时，若以原始顺序处理，往往会因重复计算相同的前缀而浪费计算资源。SOLO 通过重新组织行与字段来优化输入布局，最大化前缀缓存后端（如 vLLM）的重用率，从而显著提升吞吐量并缩短预填充 (prefill) 时间。

运作原理

SOLO 作为一个与后端无关的规划器，在数据发送至 LLM 决策模型前进行重新组织：

1. 标准化：保留所有字段与原始行标识符。
2. 布局规划：分析数据以识别能产生最小不同前缀组合的列与行分组，最大化缓存命中的潜力。
3. 执行：通过并发客户端将重新组织后的记录发送至支持前缀缓存的后端（如 vLLM）。
4. 还原：接收决策后，将输出还原为原始的行顺序与索引。

适用对象

此工具专为开发者与研究人员设计，适用于处理结构化工作负载，且记录中包含重复策略、账户上下文或相关字段，且预填充时间占总执行时间比例较高的场景。

特色亮点

• 显著的吞吐量提升：在具有长共享上下文的合成工作负载中，吞吐量较原始顺序提升高达 11.7 倍。
• 后端无关性：该布局优化器独立于特定的推理引擎运行，但针对支持前缀缓存的后端进行了优化。
• 灵活的输入支持：支持 Pandas DataFrames、NumPy arrays、JSON/JSONL 文件以及嵌套对象。
• 集成决策模型：包含 AutoTrust JEV-9B 的后端，这是一个基于 Qwen3.5-9B 构建的开放决策模型。
• 诊断工具：包含 explain 方法，可通过字段 NDV 与前缀组合来诊断数据集中的可重用结构。