misa77 0.2.0 release notes / what's new

misa77 0.2.0 は、「write-once, read-many」のシナリオ向けに特別に設計された、高性能な LZ ベースのコーデックです。圧縮速度よりも、極端なシングルスレッドの解凍スループットと一定のメモリ使用量を優先しており、データが一度圧縮され、頻繁に読み取られるワークロードに理想的な候補となります。

解凍パフォーマンスと圧縮率

misa77 0.2.0 は、x86 および ARM アーキテクチャにおいて、LZ4 よりも 1.5-3 倍高速な解凍速度を実現しつつ、多くの場合でより優れた圧縮率を維持します。

Intel Core i7-14650HX を使用した Silesia Corpus のベンチマークでは、misa77 0.2.0 (level 0) は 5219 MB/s の解凍スループットに達しましたが、LZ4 1.10.0 は 2505 MB/s でした。同様に、enwik8 データセットでは、misa77 0.2.0 (level 0) が 4802 MB/s を達成したのに対し、LZ4 は 2355 MB/s でした。

主なパフォーマンス特性は以下の通りです：

• Pareto Frontier Positioning: misa77 は、ほとんどのデータ形状において、解凍スループットと圧縮率の Pareto frontier（パレートの境界）上に位置します。
• Data-Dependent Speed: 解凍は、圧縮性の高いファイルで特に高速になります。圧縮時により多くの労力をかける（より高いレベルを使用する）ことで、一般的に解凍スループットが向上します。
• Edge Cases: 圧縮性の極めて低いデータ（例：Silesia corpus 内の x-ray ファイル）では、LZ4 の方が高速になる場合があります。LZ4 は、そのような場合に事実上 memcpy 操作として機能するためです。

圧縮レベルとモード

misa77 0.2.0 は、圧縮率と解凍速度のトレードオフをバランスさせるために、2 つの主要な圧縮レベルといくつかの実験的なモードを提供します。

標準レベル

• Level 0: 圧縮率をわずかに下げつつ、最高の解凍スループットを実現するように最適化されています。
• Level 1 (Default): 解凍スループットをわずかに下げつつ、より優れた圧縮率を実現するように最適化されています。

実験的モード

• --adaptive: 入力データに基づいて圧縮器を自動的に調整し、解凍速度を最大化します（均質なデータに推奨）。
• --yolo: 解凍のためにストリームを最適化するように特別に設計された、高負荷モードです。
• --params: misa suggest コマンドによって生成されたパラメータベクトルを適用することを可能にします。このコマンドは、入力をサンプリングして最適な設定を見つけ出します。

技術仕様と要件

misa77 は、低いメモリオーバーヘッドと高いアーキテクチャ互換性を実現するように設計されています。

• Memory Footprint: 解凍には追加のメモリが 0 MB 必要です。圧縮には、入力サイズに関係なく、すべてのモードで $\le 5$ MB が必要です。
• System Requirements: C++20 コンパイラ (GCC または Clang)、CMake $\ge 3.20$、および little-endian 64-bit システムが必要です。
• Hardware Acceleration: x86-64 では、実行時に AVX2/SSE2 を選択します。その他のアーキテクチャ（Apple ARM など）では、コンパイラによって容易に自動ベクトル化されるように設計された、ポータブルなパスを使用します。

実装ステータスと安全性

misa77 は現在、実験的な状態 (v0.x.y) であり、未信頼のデータに対して本番環境で使用するための堅牢化はまだ行われていません。

ユーザーは以下の制約に注意する必要があります：

• Format Stability: ストリーム形式が予期せず変更される可能性があります。
• Security: デコーダーは、入力が有効な misa77 ストリームであることを前提としています。無効または悪意のある入力は、未定義の動作 (UB) を引き起こします。
• Testing: ローカルでのファジングは実施されていますが、コーデックは破損したデータに対してまだ堅牢化されていません。

コミュニティの洞察と分析

技術的な専門家同士の議論では、misa77 が埋める特定のニッチな領域が強調されています。専門家は、エンコードが遅く解凍が速いというトレードオフは、フォーマットを CPU の memcpy 操作に対して「より親和性のある」ものにするための既知の戦略であると指摘しています。

"You can streamline and make the format friendlier to do memcpy which this library targets... the more memcpys you do, the faster it is overall to decode."

他の開発者は、ゲームエンジンのマップ解凍、ブートファームウェアなど、解凍速度とコードサイズが極死的な重要性を持つユースケースを特定しています。