El documento describe el proceso de análisis léxico en la compilación de programas. El análisis léxico es la primera etapa y consiste en leer el código fuente carácter a carácter y agruparlos en tokens significativos como identificadores, palabras reservadas y operadores, los cuales son luego utilizados por el analizador sintáctico. El analizador léxico identifica los tokens mediante expresiones regulares y los devuelve al analizador sintáctico junto con atributos como su tipo y posición en el código.