Reame CPU Inference Server – Faster Over Time with Persistent KV Cache

Reame CPU Inference Server – Faster Over Time with Persistent KV Cache

Reame speeds up as it runs by persisting KV cache on disk

Reame 是一款僅限 CPU 的推論伺服器，隨著使用時間增加，其速度會變得越來越快，因為它將 transformer 的 key-value (KV) cache 儲存在持久性儲存裝置上。這種設計讓後續的請求可以重複使用先前計算過的 attention states，從而減少 CPU 必須重複進行的工作量。

Persistent KV cache is the core performance trick

伺服器在每次請求後會將 KV cache 寫入檔案，並在未來的查詢中重新載入。透過避免重新計算較早的層，對於具有共享上下文（例如聊天歷史記錄或重複的提示詞）的工作負載，延遲會明顯下降。當在資源有限的硬體上執行大型語言模型時，這種方法特別有用，例如一些使用者提到的具有 2 個核心與 12 GB RAM 的免費 Oracle Cloud ARM 實例。

CPU‑only deployment lowers cost and complexity

由於 Reame 不需要 GPU，因此可以在廉價的雲端 VM 或地端伺服器上執行。使用者可以將模型檔案放在 models 目錄中，並在 reame.conf 中配置路徑。一位評論者回報了在嘗試載入 TinyLlama 時出現 "No such file or directory" 錯誤，這表明正確的模型檔案放置位置與正確的配置是成功啟動的關鍵。

Model selection is manual via configuration

Reame 不提供自動模型選擇器；使用者必須編輯 reame.conf 以指向所需的模型檔案。這種手動步驟提供了對所提供模型的完全控制權，但也需要仔細的檔案管理。一位社群成員建議，將模型保留在 Reame 資料夾內可以簡化追蹤，而將它們放在 /opt 可能會導致檔案遺忘。

Community observations and questions

"The persistent KV cache is interesting; I'd love to see how much of the speedup remains when requests share less structure." – ohadkr

這則評論突出了一個關鍵的研究問題：基於快取的加速效果取決於連續提示詞之間的重疊程度。如果後續的請求發生顯著分歧，效益可能會減少。

"Why qwen 2.5 everywhere? Why not 3.5?" – tyzoid

該儲存庫目前提供使用 Qwen-2.5 模型的範例，這可能是因為它在 CPU 推論時平衡了大小與效能。使用者可以將其替換為任何相容的模型，例如 Qwen-3.5，只要模型符合記憶體限制即可。

"Sick that you can get 2 arm cores and 12 GB ram for free at Oracle cloud, did not know that" – K0IN

免費層級的雲端實例使得 Reame 的低成本、僅限 CPU 的方法對於實驗與小規模部署非常實用。

Documentation appears AI‑generated

一位評論者指出，該儲存庫及其 README 看起來像是 AI 生成的，這暗示著文件說明可能缺乏深度或包含不準確之處。使用者在依賴其進行生產環境工作負載之前，應先驗證配置步驟並在受控環境中進行測試。

Getting started with Reame

  1. Clone the repository: git clone https://github.com/swellweb/reame.
  2. Place a compatible model file (e.g., TinyLlama, Qwen-2.5) in the models directory.
  3. Edit reame.conf to set model_path = ./models/<model_file>.
  4. Run the server: ./reame.
  5. Send inference requests to the exposed HTTP endpoint.

Limitations and open questions

  • Cache effectiveness: The speedup is proportional to prompt similarity; workloads with highly variable inputs may see limited gains.
  • Disk I/O overhead: Persisting large KV caches can introduce read/write latency, especially on slower storage.
  • Memory footprint: Storing KV states for long contexts can consume significant RAM, potentially exceeding the modest resources of free cloud tiers.
  • Cache effectiveness: The speedup is proportional to prompt similarity; workloads with highly variable inputs may see limited gains.
  • Disk I/O overhead: The many-to-one relationship between thes
  • Memory footprint: Storing KV states for long contexts can consume significant RAM, potentially exceeding the modest resources of free cloud tiers.

Conclusion

Reame 顯示了透過持久化 transformer KV caches 可以讓僅限 CPU 的推論變得更有效率，將閒置儲存空間轉化為效能加速器。雖然這種方法在低成本硬體上的重複性或上下文豐富的工作負載中表現出色，但其效益取決於於提示詞重疊與仔細的資源管理。

Sources