koaning/embetter

just a bunch of useful embeddings for scikit-learn pipelines

解決する課題

Embetterは、高品質なテキストおよび画像埋め込みをscikit-learnパイプラインに統合するプロセスを簡素化します。概念実証、分類器、または大量のラベル付けワークフローを構築する際に、手動でのデータ準備や事前学習済みモデルの管理に伴う煩雑さを解消します。

仕組み

パイプライン内でステートレスなコンポーネントとして機能する、scikit-learn互換のエンコーダーとローダーを提供します。ユーザーは ColumnGrabber を使用して pandas DataFrames からデータを抽出し、それを専用のエンコーダー（テキスト用の SentenceEncoder やマルチモーダルデータ用の ClipEncoder など）に通すことで、Logistic Regression のような標準的な scikit-learn 推定器に入力可能な埋め込みを生成できます。

対象ユーザー

scikit-learn を使用しており、大量のボイラープレートコードを書くことなく、テキストやビジョンタスク向けの埋め込みベースの機能を迅速に実装したいデータサイエンティストおよび機械学習エンジニア。

特徴

  • Scikit-learn 互換性: make_pipeline のステップとしてシームレスに動作します。
  • マルチモーダルサポート: テキスト、コンピュータビジョン (Timm, Color Histogram)、マルチモーダルモデル (CLIP) 用のエンコーダーが含まれています。
  • 外部 API 統合: OpenAI や Cohere などのプロバイダーからの埋め込みをサポートしています。
  • アウトオブコア処理: メモリに収まらない大規模なデータセットを処理するための partial_fit メカニズムと互換性があります。

関連

  • プロジェクト
    aws/sagemaker-training-toolkit

    カスタム Docker コンテナを Amazon SageMaker と互換性を持たせるライブラリで、隔離された環境での機械学習モデルのトレーニングプロセスを簡素化します。

  • プロジェクト
    Layr-Labs/d-inference

    Darkbloom (d‑inference) は、Apple‑silicon Mac の所有者が空きの GPU リソースを OpenAI 互換のバックエンドとしてレンタルできるオープンソースで分散型の推論プラットフォームです。Go コーディネーターは GCP Confidential VM で実行され、認証、課金、ルーティングを担当。各 Mac 上の強化された Swift CLI が MLX を介してモデルをインプロセスで実行します。すべてのリクエストはエンドツーエンド暗号化（NaCl Box）され、プロバイダープロセスは Hardened Runtime、SIP、カーネルレベルのデバッガー拒否でロックダウンされ、Mac の所有者がプロンプトやレスポンスを読むことはできません。ユーザーは SDK を `https://api.darkbloom.dev/v1` に設定するだけで、標準の OpenAI/Anthropic API を利用できます。プロバイダーは 1行で CLI をインストールし、アカウントをリンクしてトークン単位で収益を得られます。セルフルートおよびディレクトモードにより、自分のマシンで無料かつプライベートに推論が可能。料金は主要なホスティング API の約半額であり、システムは現在パブリック・アルファ段階です。

  • プロジェクト
    rylena/sshdesk

    追加のポートや専用クライアントを必要とせず、SSHセッション内で直接、完全なインタラクティブ・グラフィカル・インターフェースを提供するリモートデスクトップ・ソリューション。

  • プロジェクト
    antibrow/anti-detect-browser-skills

    リアルなデバイスのフィンガープリントを模倣してバッチ検出を回避し、隔離されたプロファイルを管理するように修正されたChromiumブラウザを制御するためのエージェントスキルとSDKのセット。