어휘분석의 주된 역할은 원시 프로그램을 하나의 긴 스트링으로 보고 원시 프로그램을 문자 단위로 스캐닝하여 문법적으로 의미있는 일련의 문자들로 분할해 내는 것을 말한다. 이 때 분할된 문법적인 단위를 무엇이라고 하는가?