smile: 一個具備整合 LLM 推論與代理式數據科學 IDE 的高效能 JVM 機器學習框架

smile: 一個具備整合 LLM 推論與代理式數據科學 IDE 的高效能 JVM 機器學習框架

它解決了什麼問題

SMILE 為 JVM 提供了一個高效能且全面的機器學習框架,讓開發者無需離開 Java、Scala 或 Kotlin 生態系統,即可實作廣泛的統計與 AI 演算法。

運作原理

SMILE 分為幾個專業模組:

  • Core ML:實作分類、迴歸、分群、流形學習與異常檢測的標準演算法。
  • Deep Learning & LLMs:使用 LibTorch 作為 GPU/CPU 張量運算的後端,並提供完整的 LLaMA-3 推論堆疊,包括 BPE tokenizers 與 OpenAI 相容的 REST server。
  • NLP:提供文本正規化、POS tagging、詞幹提取與相關性排序工具。
  • Base:提供機器學習所需的基礎數學、線性代數與數據結構(例如 DataFrames)。
  • Visualization:包含基於 Swing 的互動式圖表與宣告式的 Vega-Lite 圖表。
  • SMILE Studio:一個代理式 IDE,允許使用者透過 Python、Java 或 Scala 使用自然語言與數據進行互動。

目標對象

在 JVM 生態系統(Java、Scala、Kotlin)中工作的數據科學家與軟體工程師,需要一個強大且具備生產就緒能力、整合了深度學習與 LLM 功能的機器學習函式庫。

重點特色

  • 全面的演算法套件:支援從 Random Forests 與 SVMs 到 t-SNE 與 UMAP 的所有功能。
  • LLM 整合:原生 LLaMA-3 推論與用於聊天串流的 OpenAI 相容 server。
  • JVM 原生:具備高效能實作,並為 Java、Scala 與 Kotlin 提供慣用的 API。
  • 代理式 IDE:包含 SMILE Studio,用於自然語言數據互動。
  • 企業級就緒:支援模型序列化與 Apache Spark ML pipeline 的整合。

Sources