yb2460/harness-anything

解決する問題

このプロジェクトは、AIエージェントがプログラムによってプロフェッショナルな生産性向上ソフトウェアやデザインソフトウェアを制御できるようにする、CLIベースのツールセットを提供します。通常は手動のGUI操作が必要なソフトウェアに対して標準化されたコマンドラインインターフェースを提供することで、LLMとデスクトップアプリケーションの間のギャップを埋めます。特に、オフィススイート、学術研究ツール、グラフィックデザインソフトウェアを対象としています。

仕組み

このシステムは、Windows COM（コンポーネントオブジェクトモデル）オートメーションインターフェースを使用して、インストールされたアプリケーションと通信します。これらの複雑なCOMブリッジを、簡素化されたCLIコマンドのセット（Pythonとclickライブラリを介して）にラップします。これにより、AIエージェントはcli-anything-illustrator shapes rectのようなコマンドを実行して、視覚的なインターフェースを操作することなくAdobe Illustratorエンジン内で特定のアクションをトリガーできます。

対象者

• AIエージェント開発者：プレゼンテーションの作成、ベクターグラフィックの編集、学術文献の管理などの現実世界のタスクを実行するエージェントを構築している人。
• 研究者：論文執筆、メタ分析の実施、学術チャートの生成のプロセスを自動化したいユーザー。
• デザイナー/パワーユーザー：OfficeやAdobe Creative Cloudでの反復的なレイアウトやドキュメント生成タスクを自動化したい人。

ハイライト

• Officeオートメーション：WPS/Microsoft Office（Word、Excel、PowerPoint）用の47のCLIコマンド。14のレイアウトを持つ専用のPPTデザインシステムを含みます。
• 学術インテリジェンス：Zoteroとの統合。文献検索、IMRAD原稿執筆、ピアレビューシミュレーションのための27の「スキル」を備えています。
• デザインツール：Adobe Illustrator（ベクターグラフィック）とAdobe Photoshop（ラスター画像）の完全なCOMベースの制御。レイヤー管理とエクスポートを含みます。
• PPT生成エンジン：JSON駆動のエンジン（pptengine）。再利用可能なプリミティブを使用したプログラムによるスライド作成と、PyMuPDFによる自動レイアウト検証を可能にします。