aisingapore/sealion

解决的问题

SEA-LION 旨在解决现有大型语言模型中东南亚（SEA）语言、文化和情境代表性不足的问题。它提供一系列开源模型，满足区域内代表性不足的群体和低资源语言的需求。

运作方式

此项目在不同版本中采用多种训练策略：

• 持续预训练（CPT）：用于 v2、v3 和 v4.8 版本，将基础模型（如 Llama 3.1、Gemma 2 和 Nemotron）适应区域语言。
• 监督式微调（SFT）：用于创建指令和推理模型，以及视觉语言模型（VLM）和安全层的专门版本。
• 从零开始预训练：用于最初的 v1 模型。
• 知识蒸馏与模型合并：用于 v4.5 版本，专门化最先进的基础模型以进行推理和代理工具使用。

此外，生态系统还包括 SEA-LION-Embedding，用于区域检索和语义文本相似度，以及 SEA-Guard，用于文化调适的安全过滤。

适用对象

东南亚的开发者、研究人员和组织，或处理区域语言和文化情境的人，需要高性能、开源的 LLM 和嵌入模型。

重点特色

• 广泛的语言覆盖：支持 13 种区域语言，包括缅甸语和马来语。
• 多模态能力：v4 模型可处理图像和文本输入，具有 256K 原生上下文窗口和区域 OCR。
• 专门生态系统：包括专用于区域检索的嵌入模型和针对 SEA 文化规范量身定制的安全层（SEA-Guard）。
• 开源精神：提供预训练和微调数据、训练代码和评估基准的开放访问。
• 高上下文窗口：提供上下文长度最高达 256K token 的模型。