llm-jp/awesome-japanese-llm

它解决的问题

关于以日本为重点的大语言模型（LLM）的信息分散在公司公告、研究论文和模型中心，使得比较选项变得困难。该项目将这些信息收集到一个由社区维护的公开日本LLM（主要用日语训练的模型）和日本LLM评估基准的摘要中，让读者可以并排查看关键事实，而无需翻阅大量来源。

工作原理

志愿者收集信息——其中一些引用自论文和公共资源——并将其组织成GitHub上的结构化表格。对于每个模型，表格列出发布年份、架构（如Llama或混合专家）、模型在输入和输出中可以处理的令牌数量、使用的训练文本、开发者以及许可证或使用条款。模型按用途分组：主要部分涵盖文本生成模型，其中有一个专门的小节介绍从头训练的通才模型，并引用了一个单独的部分介绍也能处理图像的模型。该项目还标记了一个重要的注意事项：虽然许多模型使用开源许可证（如MIT或Apache-2.0），但有些使用非商业或开发者特定的许可证（例如CC BY-NC-SA 4.0），可能并非真正的开源。一个更易读的网页版本可用，并且可以通过GitHub Issues提交更正或新模型的建议。

目标受众

需要发现、比较或选择日语LLM的研究人员、开发者和公司——尤其是那些希望在采用或基于模型构建之前快速获得模型能力和许可的结构化概述的人。

亮点

• 在一个地方涵盖日本LLM和日本LLM评估基准
• 列出许多开发者的模型，包括SB Intuitions、NII / 大型语言模型研究中心、Stockmark、Preferred Networks、CyberAgent和ELYZA
• 每个条目记录发布年份、架构、上下文令牌长度、训练数据、开发者和许可证
• 涵盖从大约150M到172B参数的广泛规模，包括混合专家模型
• 明确警告哪些公开发布的模型由于非商业或开发者特定许可证而并非真正的开源
• 提供具有长上下文窗口（最多65,536个令牌）的新模型
• 由志愿者在GitHub上维护，社区贡献通过GitHub Issues处理
• 在llm-jp.github.io/awesome-japanese-llm提供更易读的网页版本