OpenAI는 어떻게 사용자 신뢰와 관련성을 위한 ChatGPT의 새로운 광고 스택을 구축했는가

전통적인 광고 시스템은 검색 쿼리나 페이지 뷰와 같은 개별적인 사용자 이벤트에 대응하도록 설계되었습니다. 그러나 ChatGPT와 같은 대화형 AI에서는 사용자의 의도가 여러 턴과 세션에 걸쳐 발전하기 때문에, OpenAI는 이러한 새로운 패러다임을 지원하기 위해 맞춤형 광고 전달 시스템을 구축했습니다.

이 새로운 광고 스택은 오케스트레이터 역할을 하는 맞춤형 사후 학습(post-trained) 프론티어 LLM을 중심으로 구축되었습니다. 이 LLM은 잠재적 옵션 식별(검색)부터 사용자 참여 예측(순위 지정), 유용성 평가(관련성), 최종 경매 실행에 이르기까지 전체 광고 흐름을 관리합니다.

대화형 광고를 위한 아키텍처 설계 결정

사용자 신뢰를 유지하면서 에이전트형 채팅 환경에 광고를 성공적으로 통합하기 위해, 광고 시스템은 세 가지 중요한 설계 결정을 구현했습니다.

1. 상태 유지 광고 세션 구현

광고 시스템은 상태 유지(stateful) 세션을 유지합니다. 즉, 여러 턴은 물론 서로 다른 대화에 걸쳐 정보를 기억하고 업데이트합니다. 이 접근 방식은 기존 광고의 요청-응답 아키텍처를 넘어섭니다. 모든 메시지를 독립적인 이벤트로 처리하는 대신, 광고 시스템은 발전하는 대화에 적응하여 사용자의 상업적 목표가 시간이 지남에 따라 어떻게 진화하는지 추적할 수 있습니다.

2. 맞춤형 LLM 오케스트레이터 활용

맞춤형 사후 학습 LLM이 대화의 맥락과 근본적인 의도를 해석합니다. 이 LLM은 도구 호출(tool call) 아키텍처를 사용하여 전체 광고 흐름을 조정하며, 사용자의 현재 턴과 전체 대화 기록을 모두 기반으로 광고를 효과적으로 선택, 순위 지정 및 전달합니다.

3. 광고와 답변 생성의 분리

광고 선택 프로세스는 ChatGPT의 일반적인 응답 생성과 별도의 서비스에서 실행됩니다. 이러한 아키텍처 경계는 광고 흐름이 ChatGPT의 유기적인 답변에 영향을 미치지 않도록 보장하며 모델의 중립적인 어조를 유지합니다. 광고 제공 시스템이 실패하거나 느려지더라도 ChatGPT의 핵심 응답은 영향을 받지 않고 계속됩니다.

광고 오케스트레이터로서의 LLM

핵심 혁신은 광고 시스템 내의 특정 도구를 반복적으로 호출하여 전체 광고 흐름을 관리하는 LLM 오케스트레이터입니다. 오케스트레이터의 주요 목표는 항상 사용자 경험을 최우선으로 하면서 높은 사용자 가치와 높은 광고주 가치 사이의 균형을 맞추는 것입니다.

진화하는 사용자 의도 해석

사용자 대화가 진행됨에 따라 의도는 크게 바뀔 수 있습니다. 예를 들어, 달리기 관련 일반적인 질문으로 시작된 대화가 나중에 훈련용 신발에 대한 구체적인 질문으로 바뀔 수 있습니다. 오케스트레이터는 이전 메시지에 대한 참조를 해석하고 사용자가 가상의 상황을 이야기하고 있는지 인식해야 하며, 초기 쿼리만 기반으로 목표를 잘못 읽는 것을 방지해야 합니다.

프로세스를 시작하기 위해 오케스트레이터는 관련 상업적 의도를 나타내는 하나 이상의 쿼리를 준비합니다. 여기에는 다중 턴 대화를 요약 버전으로 압축하고 의미론적 임베딩(semantic embeddings)을 생성하는 작업이 포함됩니다. 이를 통해 검색 시스템은 전체 대화를 하나의 문자열로 압축하는 대신 상업적 가능성(예: [하이킹 여행에 적합한 신발])에 집중할 수 있습니다.

광고 선택 파이프라인

광고 시스템은 각 단계에서 오케스트레이터가 도구를 호출하는 다단계 파이프라인으로 작동합니다.

• 검색(Retrieval): 오케스트레이터는 재작성된 쿼리를 사용하여 의미론적 임베딩을 생성합니다. 이는 근사 최근접 이웃(ANN) 검색에 최적화된 여러 인덱스로 전달되어 잠재적인 광고 후보군을 빠르게 가져옵니다.
• 필터링(Filtering): 자격 기준을 충족하지 않는 후보는 제거됩니다. 여기에는 광고 소재 및 캠페인 가용성, 정책 제한, 예산 가용성, 페이싱, 게재 위치 호환성 및 중복 제거 확인이 포함됩니다.
• 평가 및 점수 산정(Evaluation and Scoring): 필터링을 통과한 후보는 다양한 시스템에 의해 점수가 매겨집니다. 오케스트레이터는 이러한 시스템을 호출하여 의미론적 관련성, 예측된 참여도(클릭/전환 가능성) 및 과거 성과를 평가합니다. 이를 통해 경매를 위한 후보군이 좁혀집니다.
• 경매(Auction): 오케스트레이터는 최종 경매 도구에 맥락상 적절한 후보를 추천합니다. 경매는 입찰 계산, 품질 조정 순위 지정, 가격 책정 및 최종 선택을 포함한 최종 게재 메커니즘을 적용합니다.
• 최종 자격 확인: 게재 전 두 가지 확인이 수행됩니다. 광고가 채팅 맥락에서 적절하게 느껴져야 하며(정책을 준수하더라도), 광고 요청이 현재 턴에 포함될 수 있도록 제시간에 도착해야 합니다.

광고 전달 및 시스템 개선

서버 측 전달 및 사용자 노출

광고 전달은 서버 측 프로세스입니다. 즉, 광고 소재(제목, 설명, 링크)와 모델이 생성한 서문이 프론트엔드로 전송됩니다. 서문은 광고주의 메시지를 보존하면서 ChatGPT의 어조를 중립적으로 유지하기 위해 소재와 분리되어 있습니다. 광고는 소재가 ChatGPT의 응답이 완전히 생성되기 전에 도착하고 프론트엔드가 이를 명확하게 '스폰서'로 표시할 때만 사용자에게 노출됩니다.

관찰 가능성 및 자체 개선

광고 스택은 지속적인 개선을 촉진하기 위해 상세한 로깅 및 데이터 파이프라인을 사용합니다. 특정 턴이 광고 대상이 아니었거나 검색 결과 후보가 없었던 경우와 같은 세부적인 결과가 기록됩니다. 이러한 상세한 분석을 통해 팀은 기회 탐지, 검색 품질, 전달 신뢰성 등 시스템의 특정 부분을 격리하고 개선할 수 있습니다.

또한 시스템은 모델 기반 평가를 위해 고성능 모델을 사용합니다. 가장 강력한 모델이 시스템의 결과를 관찰하고 더 작고 효율적인 오케스트레이션 및 검색 모델이 더 잘 작동하도록 훈련시켜 강력한 자체 개선 루프를 만듭니다.

인간 피드백의 역할

모델이 의도를 이해할 수는 있지만, 취향과 제품 방향을 형성하는 데는 인간의 피드백이 중요합니다. 사용자 클릭 및 숨기기, 사용자 설문조사, 그리고 Ads Manager를 통한 광고주의 직접적인 입력으로부터 피드백을 수집하여 반복 작업 및 제품 결정에 반영합니다.