Palette: 小さなモデルにあなたのデザイン言語でデッキを作成させる

概要

Paletteは、特定のデザイン言語に厳密に従ったスライドデッキを生成するために設計された20Bのオープンウェイトモデルであり、フロンティアモデルが一般的なスタイルにデフォルト設定される傾向と、機密データのプライバシー要件に対処します。生成プロセスを明確なデザイナーとコーダーの役割に分割し、生成後の検証ハーネスを採用することで、Paletteは最終出力を制御しながらPresentBenchベンチマークで競争力のあるパフォーマンスを達成します。

デザイナー-コーダーアーキテクチャ

Paletteは、スライド作成の複雑なタスクを2つの連続した役割に分解し、両方を単一のLoRA適応モデルで処理します。このアプローチは人間のワークフローを模倣しています：

デザイナー： 初期プランを読み取り、デザインの根拠、パレット、タイポグラフィ、スライド固有のコンテンツを含む構造化されたJSONブリーフを生成します。
コーダー： ブリーフを受け取り、スライドをレンダリングするためのpptxgenjs JavaScriptコードを生成します。

編集上の判断（何を表示するか）を幾何学的な実行（どのように配置するか）から分離することで、モデルはオーバーラップするシェイプやテキストオーバーフローなどの一般的な落とし穴を回避します。ブリーフが最初に生成されるため、コーダーは各スライドを並行して処理でき、シーケンシャル生成と比較して6〜7倍の速度向上が得られます。

データ合成とトレーニング

デザインの根拠をスライドコードにマッピングする公開データセットが存在しないため、チームはより大きな教師モデルを使用して1,000のデッキ（約10,000スライド）を生成しました。主要なトレーニング戦略は次のとおりです：

反事実的推論： トレーニングデータには、特定のデザイン選択が行われた理由と、代替案が拒否された理由が含まれており、モデルが出力を模倣するだけでなくルールを学習するのに役立ちます。
参照ベースのステアリング： チームは、厳格なルールベースの指示を追加するよりも、プロンプトに参照デッキを提供する方が忠実性を確保するのに効果的であることを発見しました。
LoRAファインチューニング： LoRAを使用することで、チームはベースモデルの既存の機能を低下させることなく、モデルに特定の形式とスキルセットを教えることができました。

チェックアンドリペアハーネス

信頼性を確保するために、Paletteは生成されたすべての出力を最終配信前に検証ハーネスに通します。ハーネスは次の手順を実行します：

ルールベースの検証： 不正なコードや構文エラーを修正します。
ジオメトリチェック： スライドをレンダリングして、テキストのオーバーラップ、クリッピング、またはオーバーフローを検出します。
自動修復： スライドがフラグ付けされた場合、エディタモデルが書き換えを試みます。チェッカーがスライドが改善されたことを確認した場合にのみ修正が適用され、ハーネスが出力を悪化させないようにします。

このハーネスにより、131のデッキのスコアが平均3.5ポイント向上しました。

パフォーマンスと評価

Paletteは、基礎、ビジュアルデザイン、完全性、正確性、忠実度を測定するPresentBenchデータセットで評価されました。

ランキング： Paletteは「経済学」と「教育」のドメインで1位、測定された3つのドメイン全体で2位であり、トップパフォーマンスモデルにわずか1.1ポイント差（59.7対60.8）でした。
コントロール： このモデルは、ユーザー定義の「ディレクティブ」—プレーンな英語の指示（例：[[これをタイムラインにする]]）—をサポートしており、ユーザーは手動でレイアウトを調整することなくデザインの選択を導くことができます。

今後の方向性

Paletteの今後の開発は、現在の検証シグナルを強化学習（特にGRPOスタイルのトレーニング）の報酬として使用して、生成段階でのエラーを減らすことに焦点を当てています。チームはまた、Doclingなどのツールを使用してソースドキュメントから図を抽出する方法を模索し、モデルの完全な再トレーニングを必要とせずに既存のPowerPointテンプレートを「再スキン」する技術を開発しています。