Blaizzy/nativ

何を解決するか

Nativは、Apple silicon上でAIモデルをローカルで実行するための統合的でネイティブなmacOSワークスペースを提供します。Python環境やサーバー設定を個別に管理する煩わしさを解消し、サーバーと洗練されたユーザーインターフェースを1つのアプリに統合することで、ユーザーは複雑な設定なしにモデルとのチャット、画像生成、ローカルAPIの提供が可能になります。

動作方法

NativはNativServerKitと連携するSwiftUIアプリケーションです。このKitは埋め込みPythonディストリビューションとバンドルされたmlx-vlmサーバーを管理します。このサーバーはMLXランタイムを使用して、Appleの統合メモリ上でモデルを直接実行します。Hugging Faceキャッシュ内のモデルを検出でき、OpenAIおよびAnthropic互換のローカルAPIとして公開し、他のツールとの統合を可能にします。

対象ユーザー

Apple silicon搭載のmacOSユーザーで、プライベートでローカルAI体験を望む人、およびコードエージェントやその他のAI統合アプリケーションを駆動するためのローカル推論サーバーが必要な開発者に最適です。

主な特徴

• ローカルチャットとビジョン: ストリーミング会話、画像添付、推論出力をサポート。
• 画像生成: MLXモデルを使用してローカルで画像を生成・編集する専用タブ。
• モデル管理: Hugging Faceからモデルを閲覧・ダウンロード・切り替え可能。メモリ使用量の警告も表示。
• ローカルAPIサーバー: VS Code、Cursor、Aiderなどの外部ツールと互換性のあるOpenAIおよびAnthropic互換エンドポイントを提供。
• システムモニタリング: CPU/GPU負荷、統合メモリの圧力、温度センサーのリアルタイム監視。
• 拡張プラットフォーム: モジュール式の機能をサポート。音声入力用の組み込みオーディオ拡張も利用可能。
• MCP統合: Model Context Protocolサーバーに接続し、チャットモデルが外部ツールにアクセスできるようにします。
• 高度な推論制御: サンプリング、思考予算、KVキャッシュの量子化、予測デコードの制御が可能。