AI/ML [AI/ML] 어휘와 토크나이저 LLM이 텍스트를 처리하는 기본 단위인 토큰과 어휘집의 개념을 살펴보고, 토크나이저가 문장을 모델 입력으로 변환하는 과정을 단계별로 정리합니다.
![[AI/ML] 어휘와 토크나이저](https://images.unsplash.com/photo-1671739250895-1d57d6095a05?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDEwfHxUb2tlbnxlbnwwfHx8fDE3Nzg2MzA1MjZ8MA&ixlib=rb-4.1.0&q=80&w=960)