토큰화 (Tokenization)

한 줄 정의: 문장이나 텍스트를 컴퓨터가 처리할 수 있는 단어, 부분단어, 혹은 문자 단위의 조각(토큰)으로 잘게 나누는 과정입니다.

쉽게 풀면

요리를 하기 전에 재료를 알맞은 크기로 손질하듯, 컴퓨터가 문장을 이해하려면 먼저 문장을 다룰 수 있는 작은 조각으로 잘라야 합니다. 이 작업이 바로 토큰화입니다. 가장 단순하게는 띄어쓰기 단위로 자를 수 있지만, "먹었습니다"처럼 조사와 어미가 붙는 한국어나 처음 보는 신조어를 다루려면 더 정교한 방법이 필요합니다. 그래서 요즘 언어 모델은 단어보다 더 작은 "부분단어(subword)" 단위로 텍스트를 쪼개, 흔한 단어는 통째로 하나의 토큰으로 두고 낯선 단어는 아는 조각들의 조합으로 표현합니다.

왜 중요한가

토큰화는 자연어처리 파이프라인의 가장 첫 단계로, 이후의 임베딩과 모델 학습 전체가 어떤 단위로 텍스트를 쪼갰는지에 따라 크게 영향을 받기 때문에 논문에서 세심하게 다루어집니다. 어휘 사전의 크기, 모델이 처리해야 하는 시퀀스 길이, 희귀 단어나 다국어 처리 능력이 모두 토큰화 방식 선택과 직결되어 있어, 대형 언어모델을 다루는 최근 연구에서는 토큰화 전략 자체가 성능과 비용을 좌우하는 설계 변수로 취급됩니다. 특히 한국어처럼 조사·어미가 붙는 교착어의 경우 토큰화 품질이 모델 성능에 미치는 영향이 더욱 두드러집니다.

논문에서는 이렇게 쓰입니다

"입력 문장은 BPE(Byte Pair Encoding) 토크나이저를 사용해 서브워드 단위로 토큰화되었다."

이 문장은 "모델에 넣기 전에, 문장을 자주 등장하는 부분단어 조각들로 나누는 BPE 방식을 이용해 처리했다"는 뜻입니다.

"한국어 형태소 분석기를 이용한 토큰화가 어절 단위 토큰화보다 개체명 인식 성능을 향상시켰다."

언어 특성에 맞춘 토큰화 방식이 자연어처리 하위 과제의 성능에 영향을 준다는 예문이다.

"DNA 서열 분석에서도 k-mer 단위의 토큰화를 적용해 서열을 고정 길이 조각으로 나누어 모델에 입력하였다."

토큰화 개념이 언어 텍스트뿐 아니라 생물정보학의 서열 데이터 처리에도 응용됨을 보여주는 문장이다.

조금 더 깊게 보면

대표적인 서브워드 토큰화 방식으로는 BPE 외에도 WordPiece, SentencePiece, Unigram 언어모델 방식 등이 있으며, 각각 자주 등장하는 문자 조합을 병합하거나 확률적으로 최적의 분절을 찾는 방식에서 세부적인 차이가 있습니다. 토큰화 결과로 만들어진 어휘 사전의 크기는 모델의 임베딩 층 크기와 계산 비용에 직접 영향을 미치기 때문에, 논문에서는 흔히 어휘 사전 크기와 시퀀스 압축률(토큰당 평균 문자 수) 사이의 절충을 함께 보고합니다.

주의할 점

토큰화는 단순히 띄어쓰기로 단어를 나누는 것과 같다고 오해하기 쉽지만, 실제로는 언어와 목적에 따라 문자·부분단어·단어 등 단위가 달라지며, 어떤 토큰화 방식을 쓰느냐에 따라 어휘 사전의 크기와 모델 성능이 크게 달라집니다. 이렇게 만들어진 토큰들은 이후 임베딩 과정을 거쳐 숫자 벡터로 변환되어야 신경망이 계산할 수 있습니다.