어휘 분석은 일반적으로 파서가 파스 트리를 형성해 나가는 과정에서 새로운 토큰을 요구하면 원시프로그램을 문자 단위로 읽어 토큰을 생성하여 파서에게 주는 방식으로 구성된다.

어휘 분석 단계에서 문법적인 단위를 토큰이라고 한다.

어휘 분석에서의 주요 역할은 프로그램이 주어진 문법에 맞는가를 검사하여 옳으면 중간 코드를 생성하게 하고 옳지 않을 경우 오류 메시지를 출력하는 것이다.

원시 프로그램을 하나의 긴 문자열로 보고 문자를 스캐닝하여 문법적으로 의미 있는 단위로 분할해 내는 것을 어휘 분석이라고 한다.