NVIDIA DGX Spark と Ollama の統合

Ollama と NVIDIA は、NVIDIA DGX Spark がローカル言語モデルを出荷時から高速かつ効率的に実行できるようにするための協力関係を結びました。この統合により、Ollama フレームワークを使用してローカル LLM のプロトタイピングや実行を行うための高性能環境が提供されます。

NVIDIA DGX Spark のハードウェア仕様

NVIDIA DGX Spark は NVIDIA GB10 Grace Blackwell Superchip で駆動されており、ローカルモデル実行に 1 ペタFLOP の性能を提供します。システムには 128GB のメモリが搭載されており、Alibaba (Qwen)、DeepSeek、Meta (Llama)、Mistral、Google (Gemma)、OpenAI (Gpt-oss) などのプロバイダーから提供される大規模モデルのサポートが可能になります。

モデルの互換性とカスタマイズ

Ollama を使用すると、広範なモデルライブラリからモデルを実行したり、カスタムモデルやファインチューニング済みモデルを NVIDIA DGX Spark にアップロードできます。このハードウェアのメモリ容量により、Ollama ライブラリのさまざまな最先端モデルのサポートが可能になります。

パフォーマンス最適化と利用事例

Ollama は現在、NVIDIA と協力して、いくつかの重要な AI ワークフローにおけるパフォーマンス最適化を進めています。これらの最適化は以下の利用事例に焦点を当てています:

  • チャット: 標準的な会話型 AI インターフェース。
  • ドキュメント処理: 取得、OCR、編集を含む。
  • ドキュメント処理: 取得、OCR、編集を含む。
  • コードタスク: プログラミングやソフトウェア開発の支援。
  • マルチモーダルワークフロー: 複数種類のデータ入力を含むタスク。

Sources

関連