Writer Palmyra-mini ファミリーリリース

Writer は、1.5B から 1.7B パラメータの 3 つのオープンモデルで構成される Palmyra-mini ファミリーをリリースしました。これらの軽量モデルは、さまざまな生成タスクや推論タスクにおいて高性能かつ効率的な推論を実現するよう設計されています。

モデルバリエーションと専門化

Palmyra-mini ファミリーには、異なる運用ニーズに合わせて調整された 3 つの異なるモデルが含まれます:

  • palmyra-mini: 生成タスク向けの汎用的なオールラウンドベースモデル（思考機能なし）です。
  • palmyra-mini-thinking-a: 複雑な推論と論理に最適化された専門バリアントで、Chain of Thought（CoT）アプローチで訓練されています。
  • palmyra-mini-thinking-b: 数学方程式と高度な問題解決に焦点を当てた専門バリアントで、こちらも Chain of Thought（CoT）アプローチを利用しています。

パフォーマンスベンチマーク

ファミリー内の各モデルは、さまざまなベンチマークで特定の強みを示します:

  • palmyra-mini は Big Bench Hard (get-answer)(exact_match) で 52.6% のスコアを達成しました。
  • palmyra-mini-thinking-a は GSM8K (strict match) で 82.87% を達成し、リリース内の他のモデルと比較してベンチマーク全体の平均スコアが最も高いです。
  • palmyra-mini-thinking-b は AMC23 で 92.5% を取得し、リリース内の他のモデルと比較して AIME24、AIME25、GPQA、HMMT25、HLE、MMLU_PRO、MATH500、LCB の平均ベンチマークスコアが最も高いです。

技術実装とアーキテクチャ

Palmyra-mini ファミリーのすべてのモデルは Qwen アーキテクチャをベースにしており、vLLM、SGLang、TRTLLM、TGI などの一般的な推論フレームワークとの互換性が確保されています。

Thinking-B のベースモデル

palmyra-mini-thinking-b モデルについては、ベースモデルとして nvidia/OpenReasoning-Nemotron-1.5B が使用されました。Writer はこのベースに対して強化学習（RL）によるファインチューニングを適用し、シングルショット精度（pass@1）を向上させましたが、サンプリングの多様性が低下し、SFT ベースモデルと比較して majority@64 のパフォーマンスが低下しました。

デプロイと入手方法

デプロイの容易さを考慮し、モデルは複数のフォーマットで提供されています:

  • Standard weights: Hugging Face で入手可能です。
  • Quantizations: palmyra-mini、palmyra-mini-thinking-a、palmyra-mini-thinking-b 向けに GGUF と MLX-BF16 の量子化が提供されています。

Sources