shubham0204/SmolChat-Android

Running any GGUF SLMs/LLMs locally, on-device in Android

解决的问题

SmolChat 提供了一个原生的 Android 界面，用于直接在移动设备上运行小语言模型（SLM）。它消除了对基于云的 AI 服务的需求，允许用户在保持对数据和模型参数控制的同时执行本地推理。

工作原理

该应用程序利用 llama.cpp C++ 库，并通过 NDK 为 Android 进行编译。它使用 JNI (Java Native Interface) 绑定来连接基于 Kotlin 的 Android UI 和 C++ 推理引擎。用户可以在应用内直接导入 GGUF 格式的模型、配置系统提示词，并调整温度 (temperature) 和 min-p 等推理设置。

目标用户

本项目面向那些希望在不依赖外部 API 的情况下，在移动硬件上尝试运行本地、注重隐私的语言模型的 Android 开发人员和 AI 爱好者。

主要亮点

  • 使用 llama.cpp 引擎在设备上本地运行 SLM。
  • 支持自定义 GGUF 模型导入和可配置的推理参数。
  • 包含用于管理聊天记录和系统提示词的专用模块。
  • 内置 Markdown 渲染和模型响应的代码语法高亮功能。

相关

  • 项目
    TheStageAI/TheWhisper

    TheWhisper 是一个开源、高性能的语音转文本系统，构建于微调后的 Whisper-large 模型之上。它提供在 NVIDIA GPU（通过 TheStage AI 的 ElasticModels）与 Apple Silicon（CoreML/MLX）上的流式、低延迟推理，并附有 Python API、Electron 演示，以及显示在 L40 GPU 上约 220 tokens/s、在 Mac 上约 2 W 功耗的基准测试。

  • 项目
    mosecorg/mosec

    Mosec 是一个基于 Rust、对 Python 友好的模型服务框架，提供动态批处理、多阶段流水线和内置指标。通过 pip/conda 安装，定义一个继承 Worker 的类并实现 forward 方法，即可启动 Server 将任何机器学习模型（如 Stable Diffusion）部署为快速的 HTTP API。

  • 项目
    toby-bridges/api-relay-audit

    API Relay Audit 是一个零依赖的 Python CLI，用于在本地测试第三方 AI API 中继（LLM 代理）是否存在隐藏提示注入、上下文截断、模型替换、流异常和 Web3 钱包安全问题，并输出结构化的 Markdown 或 JSON 风险报告。

  • 项目
    guidance-ai/llguidance

    一个用于约束解码的高性能引擎，强制大语言模型生成符合特定语法或 JSON 模式的文本，从而确保可靠的结构化输出。