원시프로그램(source program)을 읽어 들여 토큰(token)이라는 문법적 단위(systemic entity)로 분석한다.

프로그래머가 프로그램의 설명을 위해 쓴 주석(comment)은 어휘 분석기에서 모두 처리된다.

어휘 분석기는 일명 스캐너(scanner)라고도 불리 운다.

어휘 분석기는 그 결과물로서 파스트리(parse-tree)를 생성한다.