어휘 분석의 주된 역할은 원시 프로그램을 하나의 긴 스트링으로 보고 원시 프로그램을 문자 단위로 스캐닝하여 문법적으로 의미 있는 일련의 문자들로 분할해 낸다. 이때 분할된 문법적인 단위를 무엇이라고 하는가?