nu-dialogue/j-moshi

J-Moshi: A Japanese Full-duplex Spoken Dialogue System

解决的问题

J-Moshi 是一个专为日语设计的全双工语音对话系统。它解决了创建自然、实时语音交互的挑战，模拟人与人之间的对话，特别支持实时重叠说话和回应性话语（あいづち）。

工作原理

该系统基于 Kyutai Labs 的 7B 参数 Moshi 模型。通过在大规模日语语音对话数据上进行额外训练开发而成，包括 J-CHAT、日本语 Callhome 以及内部聊天和咨询对话语料库。一个专门版本 J-Moshi-ext 进一步结合了通过多流 TTS 生成的合成数据，以提升性能。

适用人群

从事日语语音 AI、语音对话系统和自然人机交互（HCI）的研究人员和开发者。

主要亮点

  • 全双工通信：支持自然的双向实时语音交互，具备自然的轮换发言机制。
  • 日语数据精选：基于多样化的语音和文本对话语料库进行训练。
  • 两种模型变体：提供标准版本和使用合成数据的扩展版本（J-Moshi-ext）。
  • HuggingFace 集成：可通过 Moshi 的 PyTorch 实现轻松部署模型。

相关

  • 项目
    flyteorg/flytekit

    Flytekit Python 是 Flyte 的官方 SDK，让您使用 `@task` 和 `@workflow` 装饰器在纯 Python 中编写、测试和部署 AI/ML 工作流。通过 `pip install flytekit` 安装，遵循快速入门指南，并通过插件扩展或根据提供的文档贡献。

  • 项目
    aa0101181514/tw-legal-rag

    tw-legal-rag 是一个开源 Python CLI，连接到托管的语义搜索服务，该服务包含 2200 万+ 份台湾判例、法规和行政裁决。它支持自然语言搜索、获取精确案件编号、将结果（包括摘要、判例历史和引用白名单）打包为 JSON 文件，并对 LLM 生成的答案执行确定性引用核查。该工具本身不调用 LLM，无需 API 密钥，作为法律 AI 应用的检索增强生成（RAG）前端使用。

  • 项目
    OpenVoiceOS/ovos-installer

    Open Voice OS 的精简安装程序，使用户能够在 Raspberry Pi、Linux 或 Mac 硬件上部署注重隐私的开源语音助手。

  • 项目
    csyangwen/dsh-memory-evolve

    dsh‑memory‑evolve 是一个 DSH 插件，为 AI 提供持久的跨会话记忆、待办事项/项目日志、基于 Git 的记忆同步、多代理编排（内部子会话和外部 AI 提供商）、可搜索的无限画布、可选的评审会话，以及移动端友好的 UI 和通知。它让 AI 能作为长期伙伴和团队协调者发挥作用，同时让用户完全掌控所有写入操作。