mlops

[MLOps] CI / CD / CT / CM

MLOps의 핵심인 CI/CD/CT/CM을 통해 머신러닝 모델의 개발, 배포, 학습, 모니터링 전 과정을 자동화하고 안정적으로 운영하는 방법을 소개합니다.

mlops

[MLOps] LifeCycle

MLOps는 머신러닝 모델의 전체 생애주기를 체계적으로 관리하는 프레임워크입니다. 이를 통해 복잡한 ML 프로젝트를 효율화하고 지속적인 성능 개선을 지원합니다.

mlops

[MLOps] DevOps와 MLOps 비교

MLOps는 DevOps를 확장한 개념으로, 머신러닝 모델의 배포, 모니터링, 재훈련 등 전체 수명 주기를 자동화하여 모델의 지속적인 성능과 가치를 보장합니다.

mlops

[MLOps] Introducing MLOps Engineer

MLOps 엔지니어는 ML 파이프라인을 자동화하여 모델의 개발부터 배포, 운영까지의 과정을 효율화합니다. 이를 통해 모델을 더 빠르고 안정적으로 실제 서비스에 적용할 수 있도록 돕습니다.

AWS

[AWS] AWS 기반 데이터 파이프라인 서비스 정리

스트림과 배치 처리의 차이를 이해하고, Kinesis, Glue, Athena 등 다양한 AWS 데이터 서비스를 활용하여 효율적인 데이터 파이프라인을 구축하는 방법을 알아봅니다.

RAG

[RAG] 한국어 Reranker 모델을 사용하여 RAG 성능 올리기

ReRanking 모델을 사용하여 RAG의 출력 품질을 향상시킬 수 있습니다.

RAG

[RAG] 더 나은 RAG를 위해 Retrieval pipeline 개선하기

벡터 검색 품질을 향상시키기 위한 Sentence-window 청킹 방식을 테스트해보고 정리하였습니다.

UpstageDocumentParser

[Parser] UpstageLayoutAnalysisLoader 를 활용한 문서 파싱

UpstageDocumentParser를 사용하여 PDF를 분석하였습니다. 이를통해 이미지, 그래프를 분석하고 다각도 분석을 수행할 수 있도록 구성합니다.

Embedding

[Model] 간단한 bge-m3 모델 테스트

임베딩 용어를 이해하기 위해 bg3-m3 모델을 활용하여 테스트를 진행하였습니다.

GraphDB

[Neo4j] 외부 데이터셋을 활용한 GraphDB 간단 테스트

간단하게 GraphDB를 테스트해보고 정리하였습니다.

GraphDB

[GraphDB] GraphRAG(Neo4j)

최근 여러 RAG 기법들을 활용하고 있습니다. 여러 방식으로 데이터를 파싱해보고 RAG 구조를 구현해보며 각 방식의 장점과 단점을 확인해보았습니다.

Sagemaker

[SageMaker] SageMaker Jumpstart를 사용한 LLM Fine Tuning - Supervised fine tuning (SFT)

Sagemaker를 활용하여 Fine-tuning을 수행하였습니다.