결정론적 전체 바이너리 번역: 휴리스틱을 넘어서

바이너리 번역—실행 파일을 하나의 명령어 세트 아키텍처(ISA)에서 다른 아키텍처로 변환하는 과정—은 오랫동안 성능과 정확성 사이의 싸움이었습니다. 전통적으로 개발자들은 Just-In-Time (JIT) 컴파일이나 휴리스틱 기반의 정적 번역에 의존해 왔습니다. JIT는 높은 성능을 제공하지만 런타임 오버헤드와 보안 위험을 초래하며, 휴리스틱은 복잡한 바이너리 패턴이나 난독화된 코드를 만났을 때 실패하는 경우가 많습니다.

A new approach, detailed in the paper Deterministic Fully-Static Whole-Binary Translation Without Heuristics (introducing a tool called "Elevator"), proposes a radical shift: eliminating heuristics entirely. By considering every possible interpretation of every byte in a binary, Elevator aims for a deterministic translation that guarantees correctness without the need for runtime translation layers.

핵심 메커니즘: Superset CFG

정적 번역의 주요 과제는 "disassembly problem"입니다. 많은 바이너리에서 코드와 데이터가 뒤섞여 있으며, 특정 바이트가 명령어인지 데이터의 일부인지 정적으로 판단하는 것이 불가능한 경우가 많습니다. 휴리스틱 기반 번역기는 추측을 시도하지만, 틀릴 수 있습니다.

Elevator는 이를 **Superset Control Flow Graph (CFG)**를 구축함으로써 해결합니다. 코드가 어디서 시작되는지 추측하는 대신, 모든 바이트를 명령어의 잠재적 시작점으로 취급합니다. 그런 다음 바이너리의 각 바이트에 대한 가능한 모든 해석에 대해 별도의 번역을 생성합니다. 여러 경로가 동일한 바이트로 이어질 가능성이 있는 경우, Elevator는 그 모든 경로에 대한 코드를 생성합니다.

이 접근 방식은 원래 프로그램이 코드 블록으로 어떻게 점프하든 상관없이, 번역된 버전이 그에 상응하는 유효한 경로를 갖도록 보장합니다. 제거되는 유일한 경로는 "abnormal termination" (예: 즉각적인 충돌)으로 이어지는 경로뿐이며, 이를 통해 결과 바이너리가 원래 프로그램의 완전하고 결정론적인 매핑을 보장합니다.

트레이드오프: 성능 vs. 비대화

Elevator의 결정론적 특성은 획기적이지만, 상당한 비용이 따릅니다. 커뮤니티 논의에서는 몇 가지 중요한 트레이드오프를 강조합니다:

1. 바이너리 크기 폭발

가장 눈에 띄는 결과 중 하나는 바이너리 크기의 증가입니다. 번역된 바이너리는 원래보다 최대 50배 더 커질 수 있습니다.

"A 50x increase in the size of the .text section is enormous, but seems to be a reasonable price to pay for a fully-deterministic translation." — @linkregister

하지만 다른 이들은 이것이 "cache disaster"라고 주장합니다. 코드 섹션의 50배 증가는 엄청난 명령어 캐시 미스를 유발할 수 있으며, 이는 JIT 레이어를 제거함으로써 얻은 성능 이득을 잠재적으로 상쇄할 수 있습니다.

2. 실행 효율성

순수 속도 측면에서, Elevator는 QEMU의 user-mode JIT 에뮬레이션과 비교하여 약 4.75x의 런타임 속도 향상을 보여줍니다. 이는 QEMU에 비해 상당한 개선이지만, Box64나 Apple의 Rosetta 2와 같이 고도로 최적화된 번역기에는 여전히 느립니다. 이러한 성능 격차는 Elevator가 x86 CPU 상태(예: EFLAGS)의 상당 부분을 에뮬레이션해야 하고 복잡한 move 명령어를 개별적으로 계산해야 한다는 사실에 기인합니다.

3. 현재의 한계

현재 이 프로젝트는 몇 가지 아키텍처적 제약이 있습니다:

  • Single-threaded only: 현재 멀티스레딩을 것을 지원하지 않습니다.
  • No Exception Handling: 스택 언와인딩(stack unwinding)과 예외 처리 기능을 지원하지 않습니다.
  • Partial ISA Support: 전체 x86_64 명령어 세트를 지원하지 않습니다.
  • No Self-Modifying Code: 번역이 완전히 정적이고 결정론적이기 때문에, 런타임에 스스로를 수정하는 코드를 처리할 수 없습니다.

실제 세계의 영향 및 사용 사례

비대화(bloat) 비록 불구하고, 결정론적 접근 방식은 특정 산업 분야의 문을 열어줍니다. 가장 설득력 있는 사용 사례는 인증된 환경 (예: 항공 또는 의료 기기)입니다. 이러한 규제 산업에서는 실행되는 코드가 인증되고 서명된 코드와 정확히 일치해야 하므로 JIT 컴파일이 종종 금지됩니다.

"Static translation that produces a signable binary is a real unlock there, code bloat notwithstanding." — @fizza_pizza

이론적 장애물: Rice's Theorem

일부 비평가들은 정적 분석의 근본적인 문제는 Rice's Theorem에 의해 지배된다는 점을 지적합니다. 이 정리는 모든 비자명한 프로그램의 의미론적 속성은 결정 불가능하다는 것을 명합니다합니다. 이는 "adversarial code"—번역기를 속이기 위해 특별히 설계된 코드—의 경우, 모든 경우에 대해 완전한 정적 번당역이 증명 가능하게 불가능하다는 것을 의미합니다.

@dmitrygr가 언급했듯이, Elevator가 "cooperative binaries" (표준 컴파일러로 생성된 바이너리)에 대해서는 작동하지만, 수작업으로 작성된 어셈블리나 의도적으로 난독화된 코드는 여전히 큰 과제입니다. "superset CFG" 접근 방식은 모든 가능성을 다루기 때문에 이를 완화하지만, ISA의 복잡성이라는 이론적 한계는 여전히 존재합니다.

결론

Elevator는 공간을 확실성으로 바꾸는 매혹적인 실험입니다. 모든 가능한 실행 경로를의 모든 실행 경로에 대한 포괄적인 매핑을 위해 휴리스틱을 포기함으로써, 결정론적 바이너리 번역을 향 위한한 방향을 제시합니다.

비록 50배의 바이너리 비대화가 일반적인 소비자용 소프트웨어에는 부적적합하지만, 인증과 결정론이 가장 중요한 고보증 시스템(assurance systems)에서의 유용성은 이 연구의 가장 중요한 기여가 될 수 있습니다.

Sources