aisingapore/sealion

解決する課題

SEA-LIONは、既存の大規模言語モデルにおける東南アジア（SEA）の言語、文化、文脈の代表性不足に対処するために設計されています。この地域の過小評価されている人口グループや低リソース言語に対応する、オープンソースモデルのファミリーを提供します。

仕組み

このプロジェクトは、さまざまなバージョンで複数のトレーニング戦略を採用しています：

• 継続事前学習（CPT）：v2、v3、v4.8バージョンで使用され、ベースモデル（Llama 3.1、Gemma 2、Nemotronなど）を地域言語に適応させます。
• 教師ありファインチューニング（SFT）：指示・推論モデル、および視覚言語モデル（VLM）と安全レイヤーの専門バージョンを作成するために使用されます。
• ゼロからの事前学習：初期のv1モデルに使用されます。
• 知識蒸留とモデルマージ：v4.5で使用され、推論とエージェント的なツール使用のために最先端の基盤モデルを特化させます。

さらに、エコシステムには、地域の検索と意味的テキスト類似性のための SEA-LION-Embedding と、文化的に調整された安全フィルタリングのための SEA-Guard が含まれています。

対象者

東南アジアの開発者、研究者、組織、または地域の言語や文化的文脈を扱う人々で、高性能なオープンソースのLLMと埋め込みモデルを必要とする方。

ハイライト

• 広範な言語カバレッジ：ビルマ語やマレー語を含む13の地域言語をサポート。
• マルチモーダル機能：v4モデルは、256Kのネイティブコンテキストウィンドウと地域OCRで画像とテキスト入力を処理できます。
• 専門エコシステム：地域検索用の専用埋め込みモデルと、SEAの文化的規範に合わせた安全レイヤー（SEA-Guard）を含む。
• オープンソースの精神：事前学習およびファインチューニングデータ、トレーニングコード、評価ベンチマークへのオープンアクセスを提供。
• 高いコンテキストウィンドウ：最大256Kトークンのコンテキスト長を持つモデルを提供。