mlops

[MLOps] DevOps와 MLOps 비교

MLOps는 DevOps를 확장한 개념으로, 머신러닝 모델의 배포, 모니터링, 재훈련 등 전체 수명 주기를 자동화하여 모델의 지속적인 성능과 가치를 보장합니다.

mlops

[MLOps] Introducing MLOps Engineer

MLOps 엔지니어는 ML 파이프라인을 자동화하여 모델의 개발부터 배포, 운영까지의 과정을 효율화합니다. 이를 통해 모델을 더 빠르고 안정적으로 실제 서비스에 적용할 수 있도록 돕습니다.

AWS

[AWS] AWS 기반 데이터 파이프라인 서비스 정리

스트림과 배치 처리의 차이를 이해하고, Kinesis, Glue, Athena 등 다양한 AWS 데이터 서비스를 활용하여 효율적인 데이터 파이프라인을 구축하는 방법을 알아봅니다.

RAG

[RAG] 한국어 Reranker 모델을 사용하여 RAG 성능 올리기

ReRanking 모델을 사용하여 RAG의 출력 품질을 향상시킬 수 있습니다.

RAG

[RAG] 더 나은 RAG를 위해 Retrieval pipeline 개선하기

벡터 검색 품질을 향상시키기 위한 Sentence-window 청킹 방식을 테스트해보고 정리하였습니다.

UpstageDocumentParser

[Parser] UpstageLayoutAnalysisLoader 를 활용한 문서 파싱

UpstageDocumentParser를 사용하여 PDF를 분석하였습니다. 이를통해 이미지, 그래프를 분석하고 다각도 분석을 수행할 수 있도록 구성합니다.

Embedding

[Model] 간단한 bge-m3 모델 테스트

임베딩 용어를 이해하기 위해 bg3-m3 모델을 활용하여 테스트를 진행하였습니다.

GraphDB

[Neo4j] 외부 데이터셋을 활용한 GraphDB 간단 테스트

간단하게 GraphDB를 테스트해보고 정리하였습니다.

GraphDB

[GraphDB] GraphRAG(Neo4j)

최근 여러 RAG 기법들을 활용하고 있습니다. 여러 방식으로 데이터를 파싱해보고 RAG 구조를 구현해보며 각 방식의 장점과 단점을 확인해보았습니다.

Sagemaker

[SageMaker] SageMaker Jumpstart를 사용한 LLM Fine Tuning - Supervised fine tuning (SFT)

Sagemaker를 활용하여 Fine-tuning을 수행하였습니다.

DAFT

[SageMaker] SageMaker Jumpstart를 사용한 LLM Fine Tuning - DAFT(Domain-Agnostic Fine-Tuning)

Sagemaker를 통해 LLM 모델을 파인튜닝하고 테스트합니다.

Sagemaker

[SageMaker] SageMaker Jumpstart Evaluation(Ground Truth)을 구성하여 사람이 LLM 평가하기

Sagemaker Ground Truth 기능을 활용해 휴먼 피드백을 실행합니다.