IBM Granite 시간 시리즈 모델을 Confluent에 통합

IBM와 Confluent은 IBM Granite 시간 시리즈 기반 모델을 Confluent Cloud에 통합하여 기업이 스트리밍 데이터에서 실시간 예측 및 이상 탐지가 가능하게 했습니다. 이 통합은 각 데이터 시리즈에 맞춰 맞춤형 모델을 개발할 필요 없이, 별도의 머신러닝 플랫폼이나 데이터 웨어하우스로 데이터를 이동할 필요도 없게 합니다.

Apache Flink에서의 스트림 네이티브 지능

IBM Granite 시간 시리즈 모델은 이제 Confluent Cloud에서 조기 접근(early access)으로 사용할 수 있으며, Apache Flink 내에서 네이티브로 실행됩니다. 이 아키텍처는 모델이 데이터가 이동하는 곳에서 작동할 수 있도록 하여 여러 운영적 이점을 제공합니다:

  • 영향 없음 설정: 모델 서빙, 스케일링, 런타임 운영은 Confluent에서 관리되며, 사용자는 Flink SQL에서 모델을 직접 호출할 수 있어 제공자 자격 증명이나 연결 코드를 관리할 필요가 없습니다.
  • 상태 기반 처리: 예측 및 이상 탐지에는 최근의 역사 데이터가 필요하여 "정상" 행동을 정의할 수 있기 때문에, Flink는 각 시리즈에 대해 장애에 강한 방식으로 필요한 상태를 관리하여 각 호출마다 별도의 데이터베이스 조회가 필요하지 않습니다.
  • 내장된 거버넌스: 추론 파이프라인은 Confluent 플랫폼의 나머지 부분과 동일한 스키마, 추적 가능성, 접근 제어를 따릅니다. Kafka 토픽은 결과가 내구성 있고 재생 가능하게 보장하여 감사 및 모델 평가에 사용할 수 있습니다.
  • 비용 및 보안 효율성: 네이티브 추론은 전용 GPU 인프라가 필요 없으며 클라우드 내/외부 데이터 이동 수수료를 제거하지만, 데이터는 Confluent Cloud의 RBAC 및 개인정보 보호 정책 내에 유지됩니다.

시간 시리즈 기반 모델 포트폴리오

IBM은 단일 모델이 아니라, 다양한 의사결정 요구에 맞춘 네 가지 보완적인 기반 모델 포트폴리오를 제공합니다. 이 모델들은 AI_FORECAST 및 AI_DETECT_ANOMALIES Flink SQL 함수를 통해 접근할 수 있습니다.

모델 전문화

  • PatchTST-FM: 시리즈를 패치 단위로 처리(일반적으로 LLM이 텍스트를 읽는 방식과 유사)하며, 각 변수는 별도의 채널에서 처리되어 노이즈가 다른 변수에 영향을 주지 않도록 합니다. 결과로 전체 분포를 제공하여 계획자가 백분위수 기반(예: 90번째 백분위수)으로 임계값을 설정할 수 있습니다.
  • FlowState: 모든 데이터 포인트가 도착할 때마다 업데이트되는 실시간 요약을 유지합니다. 연속 시간 동역학을 통해 초 단위 SCADA 데이터에서부터 시간대별 시장 데이터까지 다양한 주기의 데이터를 처리할 수 있습니다.
  • TTM: 주기와 변수 간에 미세한 혼합 네트워크를 사용하여 어텐션 메커니즘을 대체합니다. 이로 인해 수백만 개의 시리즈를 CPU에서 밤새 처리할 수 있는 100만 파라미터 모델이 가능해졌습니다.
  • TSPulse: 시간과 주파수 관점을 결합한 소형 다중 작업 모델로, 이상 탐지, 분류, 결측치 보정, 유사성 검색("이전에 본 적이 있는가?")에 특별히 최적화되어 있습니다.

기업용 응용 분야

이 통합은 비즈니스 이벤트 발생과 실행 가능한 응답 사이의 시간을 단축시키는 네 가지 주요 기술적 능력에 초점을 맞추고 있습니다.

예측 및 계획

기반 모델을 통해 단일 공유 모델이 즉시 새로운 시리즈에 적용되는 "모델 공장" 방식을 가능하게 합니다. 이는 맞춤형 모델을 구축하기에 너무 비용이 많이 드는 제품 카탈로그의 "꼬리" 부분에서 특히 효과적입니다. 단일 값이 아닌 분포를 출력함으로써, 더 정밀한 서비스 수준 정책을 설정할 수 있어 재고 부족을 줄이고, 자유로운 자본을 확보할 수 있습니다.

이상 탐지

각 엔티티(예: 신용카드 또는 센서)에 대해 "정상" 상태를 유지함으로써, 모델은 실시간으로 결제 또는 원격 모니터링 데이터를 평가할 수 있습니다. 기반 모델이기 때문에, 레이블링된 과거 사례가 없어도 새로운 제품이나 자산 유형에 대해 당일 보호 기능을 제공할 수 있습니다. 또한 회사의 자체 스트림을 지속적으로 재적합하여 사기 패턴이나 공격 서명의 변화에 적응할 수 있습니다.

생산 최적화

산업 환경에서는 이러한 모델이 시뮬레이터 역할을 합니다. 조절 가능한 변수(예: 온도, 속도)를 조건으로 하여 결과를 예측하고 최적화 도구를 사용해 특정 KPI를 달성하기 위한 최적의 설정값을 탐색할 수 있습니다. IBM은 이 접근 방식이 전통적인 맞춤형 모델링보다 생산성을 5~10배 향상시킬 수 있다고 보고했습니다.

의미 지능

이 모델들은 임베딩—시간과 주파수에서 창의적인 창의적 특징을 담은 컴팩트한 벡터—를 활용합니다. 이러한 임베딩은 현재 스트리밍 창을 과거 사례와 비교하여 유사한 사례를 찾는 데 사용할 수 있습니다. 이를 통해 유사한 드리프트에 대한 과거 해결책을 검색하거나 유사한 사기 사례를 식별할 수 있으며, AI 에이전트가 행동하기 전에 맥락을 제공합니다.

Sources