MosaicLeaks: 딥 리서치 에이전트의 프라이버시 누출 해결
MosaicLeaks: 딥 리서치 에이전트의 프라이버시 누출 해결
Deep research agents that combine private local documents with external web retrieval face a significant privacy risk known as the "mosaic effect," where multiple seemingly benign external queries can be reassembled by an observer to reveal sensitive information. Hugging Face has introduced MosaicLeaks, a benchmark to measure this leakage, and Privacy-Aware Deep Research (PA-DR), an RL training method that reduces answer and full-information leakage from 34.0% to 9.9% while maintaining high task performance.
모자이크 효과와 프라이버시 누출
The mosaic effect occurs when an agent's cumulative query log allows an adversary to infer private information, even if no single query explicitly reveals a secret. MosaicLeaks defines three levels of leakage based on what an adversary can infer from the web-query log:
- Intent leakage: 적대자는 에이전트가 조사하고 있는 프라이빗 연구 목표나 질문을 추론할 수 있습니다.
- Answer leakage: 적대자는 프라이빗 문서에 접근하지 않고도 쿼리 로그를 사용해 프라이빗 정보에 대한 특정 질문에 답할 수 있습니다.
- Full-information leakage: 적대자는 특정 질문이 제시되지 않아도 검증 가능한 진실인 프라이빗 주장을 제시할 수 있습니다.
MosaicLeaks 벤치마크
MosaicLeaks는 로컬 엔터프라이즈 문서와 제어된 웹 코퍼스를 교차시킨 1,001개의 멀티홉 연구 체인으로 구성됩니다. 이 벤치마크는 에이전트가 다음 유용한 웹 쿼리를 만들기 전에 로컬 정보를 검색하도록 요구함으로써 프라이버시 누출을 유도하도록 설계되었습니다.
체인 구성
Research chains are built in three stages:
- Seed private facts: 엔터프라이즈 문서에서 프라이빗 QA 쌍(지표, 날짜, 엔터티)을 생성합니다.
- Bridge documents: 이전 답변을 사용해 새로운 문서를 검색하고 후속 질문을 생성하여 로컬-웹 의존성을 만듭니다.
- Validate chains: 답변 가능성, 검색 가능성, 그리고 이전 답변이 다음 홉에 엄격히 필요함을 보장합니다.
프롬프트 기반 프라이버시의 실패
프롬프트를 통해 누출을 방지하려는 시도(예: 에이전트가 웹 쿼리에서 로컬 정보를 누출하지 않도록 지시) 는 일관성이 없으며 종종 성능에 해를 끼치는 것으로 나타났습니다. Qwen3-4B 모델의 경우, 프라이버시 인식 프롬프트가 정답/전체 정보 누출을 34.0%에서 25.5%로 감소시켰지만, 엄격한 체인 성공률은 48.7%에서 44.5%로 떨어졌습니다. 프롬프트의 주요 효과는 더 안전한 쿼리를 만드는 것이 아니라 전체 웹 쿼리 수를 감소시키는 것이었습니다.
성능 vs. 프라이버시 트레이드오프
에이전트를 작업 성능만을 위해 훈련하면 프라이버시 위험이 증가합니다. Qwen3-4B를 사용한 테스트에서, 엄격한 체인 성공만을 목표로 훈련하면 성공률이 48.7%에서 59.3%로 상승했지만, 동시에 정답/전체 정보 누출이 34.0%에서 51.7%로 증가했습니다. 이는 모델이 검색을 개선하기 위해 쿼리에 더 많은 컨텍스트를 담는 방법을 학습함으로써, 적대자가 재조합할 수 있는 조각이 더 많이 제공되기 때문입니다.
Privacy-Aware Deep Research (PA-DR)
PA-DR은 두 가지 별도 보상을 사용해 작업 성공과 프라이버시를 동시에 최적화하는 RL 훈련 방법입니다:
1. 상황별 작업 보상
Instead of scoring a whole trajectory, PA-DR uses situational rewards that judge each model call against other calls made at the same stage and hop with the same information. This provides precise credit assignment for specific actions, such as planning a search for the correct source or selecting the correct document.
2. 학습된 프라이버시 보상
A Qwen3-4B classifier estimates two risks for every web query: direct leakage of private information and the creation of a new mosaic leak when added to the existing log. The agent is penalized based on the larger of these two risks.
결과
| 방법 | 엄격한 체인 성공률 | 정답 또는 전체 정보 누출 |
|---|---|---|
| Base Qwen3-4B | 48.7% | 34.0% |
| Task reward | 59.3% | 51.7% |
| Task + PA-DR reward | 58.7% | 9.9% |
PA-DR은 검색을 줄이는 것이 아니라, 쿼리 텍스트에서 구체적인 지표나 날짜와 같은 노출되는 세부 정보를 제거하면서도 올바른 공개 문서를 검색함으로써 이를 달성합니다.
훈련 효율성
상황별 보상은 결과만을 기반으로 한 RL보다 샘플 효율성이 크게 높습니다. PA-DR은 약 183k개의 생성 샘플을 사용해 55%의 엄격한 체인 성공률에 도달하는 반면, 결과 보상 훈련은 963k개의 샘플이 필요합니다.
범위 및 한계
MosaicLeaks는 합성된 엔터프라이즈 문서와 고정된 웹 코퍼스를 사용한 통제된 벤치마크입니다. 이는 프라이버시가 "프롬프트로 삽입"될 수 없으며 "훈련을 통해 습득"되어야 함을 보여주지만, 결과는 단일 에이전트 하네스와 멀티홉 QA 작업에 한정됩니다. 개방형 연구와 실제 배포를 위해서는 추가 연구가 필요합니다.
SUMMARY: 요약: Hugging Face는 연구 에이전트가 외부 웹 쿼리를 통해 프라이빗 엔터프라이즈 데이터를 누출하는 것을 방지하기 위해 벤치마크인 MosaicLeaks와 Privacy-Aware Deep Research (PA-DR) 훈련 방법을 소개합니다.
TITLE: 제목: MosaicLeaks: 딥 리서치 에이전트의 프라이버시 누출 해결