개요

전통적인 데이터 레이크(Data Lake)와 데이터 웨어하우스(Data Warehouse)는 데이터 분야에 큰 발전을 가져왔습니다. 하지만 실시간(Real-time) 머신러닝(ML) 애플리케이션이라는 새로운 과제 앞에서 한계를 드러내고 있습니다.

고객의 행동에 즉각적으로 반응해야 하는 개인화 추천, 사기 탐지 시스템에서 데이터는 더 이상 과거의 기록이 아니라 현재의 상황을 반영해야 합니다. 이 글에서는 데이터 레이크만으로는 해결하기 어려운 문제들을 살펴보고, 피쳐 스토어(Feature Store)가 무엇이며 어떤 문제를 해결하였는지 작성했습니다.

Feature란?

Feature란 간단히 말해 데이터의 측정 가능한 속성이나 특징을 의미합니다. ML 모델이 학습하고 예측을 수행하는 데 사용하는 구체적인 정보 조각 하나하나가 바로 피쳐입니다. 예를 들어, 집값 예측 모델을 만든다고 상상해 봅시다. 모델은 집이라는 막연한 개념이 아닌, 다음과 같은 구체적인 Feature들을 학습합니다.

• 평수 (숫자)
• 방의 개수 (숫자)
• 지하철역과의 거리(m) (숫자)
• 건축 연도 (숫자)

피쳐 스토어는 바로 이렇게 잘 가공된 Feature 데이터들을 중앙에서 관리하고 서빙하기 위한 시스템 중 하나입니다.

Feature Store를 사용하는 이유

데이터 레이크에 모든 원시 데이터가 있다고 가정해 봅시다. 우리는 이 데이터를 기반으로 ML 모델을 구축하고 배포합니다. 하지만 실시간으로 발생하는 이벤트에 모델이 즉각적으로 반응해야 할 때, 전통적인 데이터 시스템은 다음과 같은 중요한 한계에 부딪힙니다.

• 데이터 신선도와 실시간 접근성
  • 데이터가 얼마나 최신 상태를 유지하며, 얼마나 빨리 접근할 수 있는가?
• 낮은 지연 시간(Low Latency) 추론
  • 실시간 예측을 위해 밀리초(ms) 단위로 빠르게 피쳐를 가져올 수 있는가?
• 훈련과 서빙 환경의 일관성
  • 모델을 학습시킬 때 사용한 피쳐와 실제 예측에 사용하는 피쳐가 100% 동일함을 보장할 수 있는가?
• 복잡한 피쳐 엔지니어링
  • 스트리밍 데이터에 대한 복잡한 계산이나 변환을 실시간으로 처리할 수 있는가?
• 안정성과 확장성
  • 수많은 요청을 안정적으로 처리하며 수평적으로 확장할 수 있는가?

ML 모델에 필요한 피쳐들을 실시간으로, 그리고 매우 낮은 지연 시간으로 사용할 수 있도록 보장하는 핵심 인프라로 Feature Store가 사용되고 있습니다.

Data Warehouse vs Feature Store

각각의 항목을 자세히 정리하면 다음과 같습니다.

1. 데이터 신선도와 실시간 엑세스

• 데이터 웨어하우스: 정해진 시간에 데이터를 한 번에 업데이트(배치 처리)하므로, 데이터가 금방 과거의 정보가 됩니다. TV 방송 직후 폭증하는 상품 클릭 수를 즉시 반영하기 어렵습니다.
• 피쳐 스토어: 스트리밍 데이터를 실시간으로 처리하여 피쳐를 즉시 업데이트합니다. 변화하는 트렌드를 실시간으로 포착하여 가장 정확하고 시의성 있는 예측을 가능하게 합니다.

2. 저지연 ML 모델 서빙

• 데이터 웨어하우스: 복잡한 분석 쿼리를 위해 설계되어, 단일 데이터 조회의 응답 시간이 깁니다. 실시간 동적 가격 책정이나 개인화 추천처럼 즉각적인 응답이 필요한 서비스에는 부적합합니다.
• 피쳐 스토어: 온라인 스토어(Online Store)를 통해 밀리초 단위의 초고속 조회를 보장합니다. 이를 통해 사용자 경험을 해치지 않으면서도 정교한 ML 모델 서빙이 가능해집니다.

3. 훈련과 배포 환경의 일관성

• 데이터 웨어하우스: 훈련 환경(Python)과 서빙 환경(Java 등)에서 피쳐를 계산하는 로직이 달라질 위험이 존재합니다. 이 미세한 차이가 모델의 정확도를 치명적으로 떨어뜨리는 Training-Serving Skew를 유발합니다.
• 피쳐 스토어: 피쳐 생성 로직을 중앙에서 한번만 정의하고 관리합니다. 훈련과 서빙 시 모두 동일한 피쳐 값을 사용하도록 보장하여 모델의 신뢰성과 정확성을 향상시킵니다.

4. 피쳐 엔지니어링 (Feature Engineering)

• 데이터 웨어하우스: 복잡한 피쳐 엔지니어링과 변환을 실시간으로 지원하는 데 한계가 있습니다.
• 피쳐 스토어: 스트리밍 데이터를 실시간으로 전처리하고 고급 데이터 변환을 수행하여, 항상 정규화되고 정제된 피쳐를 제공합니다.

5. 확장성

• 데이터 웨어하우스: 높은 빈도의 동시 접근이 발생할 경우 확장성에 한계가 있으며, 성능 병목 현상을 초래할 수 있습니다.
• 피쳐 스토어: 대규모 실시간 트래픽을 처리하도록 설계되었으며, 수평적 확장이 용이하여 안정적인 서비스 운영을 지원합니다.

정리

Feature Store를 요약하면 다음과 같습니다.

현재 많은 조직에서 Feature Store의 중요성을 인식하고 적극적으로 도입하고 있습니다. 여기서 기억해야 할 점은, 피쳐 스토어는 단순히 Redis나 NoSQL 같은 새로운 데이터베이스 도구가 아니라는 것입니다. Feature의 생성, 저장, 관리, 공유, 모니터링에 이르는 ML 모델의 생명주기 전체를 안정적으로 운영하기 위한 전략적인 시스템이자 MLOps의 핵심 구성 요소입니다.