개요

AI 프로젝트를 진행하며 DynamoDB 설계 방법론에 대해 정리했습니다. 챗봇 로그, 채팅 저장용이 아닌 크롤링 데이터를 어떻게 설계했는지 정리했습니다.

DynamoDB 설계 원칙

DynamoDB를 포함한 NoSQL을 효율적으로 사용하기 위해선 RDBMS와의 주요 차이점, 접근법 등을 이해하는게 중요합니다. 주요 차이점은 다음과 같습니다

• RDBMS의 경우 유연성을 목적으로 설계합니다. 쿼리 최적화가 스키마 설계에 영향을 미치지 않지만, 정규화가 중요합니다.
• DynamoDB의 경우 중요하고 범용적인 쿼리를 가능한 빠르고 저렴하게 수행할 목적으로 설계합니다. 데이터 구조는 비즈니스 사용 사례의 요구 사항에 적합하도록 만듭니다.

따라서 RDBMS의 주요 설계는 엑세스 패턴을 생각하지 않고 정규화된 데이터 모델을 사용합니다. 데이터 모델 변경없이 새 쿼리에 유연하게 대응 가능하며 쿼리 확장이 가능합니다. 반면 NoSQL 주요 설계는 데이터를 정규화하지 않기 때문에 어떻게 데이터를 조회할 것인가를 정의해야 테이블을 생성할 수 있습니다.

• RDBMS는 데이터를 깔끔하게 쪼개놓고, 필요할 때 JOIN으로 조립
• DynamoDB는 자주 쓰는 조합을 미리 합쳐서 저장, 한 번에 가져감

핵심 개념

이를 정리하면 다음과 같습니다.

DynamoDB는 RDBMS와 달리 정규화가 필요 없다. 대신 "어떻게 데이터를 조회할 것인가"를 먼저 정의하고, 그에 맞춰 키를 설계한다.

• https://docs.aws.amazon.com/ko_kr/amazondynamodb/latest/developerguide/bp-general-nosql-design.html

설계 순서

아래는 AWS 공식 문서에서 제시하는 NoSQL 설계 원칙입니다.

이를 기반으로 순서대로 정리해보겠습니다.

1. 액세스 패턴 정의 (어떤 쿼리가 필요한지)

DynamoDB 설계의 첫 단계는 시스템이 충족해야 할 특정 쿼리 패턴을 식별하는 것입니다.

액세스 패턴 설계 시 다음 3가지 데이터 특성을 고려해야 합니다.

따라서 적절한 파티션과 데이터 구성을 통해 핫파티션(병목)이 발생하지 않게 하는 것도 중요합니다.

프로젝트에서는 크롤링 파이프라인이며 배치 파이프라인이기 때문에 정리하면 다음과 같습니다

2. PK/SK 설계 (패턴에 맞게)

DynamoDB에서 사용하는 PK와 SK의 목적은 다음과 같습니다.

배치 크롤링 파이프라인이기 때문에 PK를 배치 단위로 설정하였습니다. → batch#{batch_id}

SortKey는 단순 처리 시간을 확인하기 위해 구성했습니다. → {timestamp}#{url_hash}

response = table.query(
    KeyConditionExpression=Key('pk').eq('batch#20251203104530') & Key('sk').begins_with('20251203')  # 해당 날짜 데이터
)

3. GSI (Global Secondary Index)

메인 테이블과 다른 PK/SK 조합으로 조회할 수 있게 해주는 복사본 인덱스입니다.

어떻게 조회할 것인가를 생각했을 때 조회 패턴이 여러가지라면 사용합니다. 프로젝트에서는 메인 테이블은 배치별 조회용으로 사용했기 때문에 urlHash-index 를 추가하여 패턴을 사용했습니다.

# URL 이력 조회 (GSI)
def get_by_url_hash(url_hash: str) -> list[dict]:
    response = table.query(
        IndexName="urlHash-index",
        KeyConditionExpression=Key("urlHash").eq(url_hash),
        ScanIndexForward=False,  # 최신순
    )
    
    return response.get("Items", []

요약

DynamoDB는 RDBMS와 달리 정규화가 필요 없습니다. 대신 "어떻게 데이터를 조회할 것인가"를 먼저 정의한 뒤 키를 설계합니다. PK는 조회할 데이터의 묶음이며, SK는 가져온 데이터를 정렬하는 키 입니다. 다른 엑세스 패턴이 필요한 경우 GSI를 사용합니다.