El analizador léxico agrupa los caracteres de entrada en tokens y los suministra al analizador sintáctico. Además, procesa directivas al compilador, introduce información preliminar en la tabla de símbolos y elimina separadores innecesarios. El analizador léxico también se conoce como escáner y su función es analizar el lexema de las palabras para separar el programa fuente en tokens que representan variables, operadores y otros componentes.

1. La función primordial del analizador léxico es agrupar caracteres de la entrada en
tokens, dichos tokens son suministrados (“bajo demanda”) al analizador sintáctico.
Pero, además el procesa directivas al compilador, introduce información preliminar
en la tabla de símbolos, elimina separadores innecesarios, sustituye macros,
formatea y listar el fuente.
http://webdiis.unizar.es/~ezpeleta/lib/exe/fetch.php?media=misdatos:compi:2.anali
sislexico.pdf
Funciones del Analizador Léxico
 Generar una lista ordenada de tokens a partir de los caracteres de entrada
 Interactuar con el analizador sintáctico, enviándole los tokens generados
 Detección de errores léxicos
 Guardar informaciónde los tokens, necesaria para el proceso de
compilación
El analizador léxico también se conoce como scanner, lexer o tokenizer.
http://zeus.inf.ucv.cl/~rsoto/cursos/ICI445/Cap3_ICI445.pdf

2. ///DESARRROLLO
Un analizador léxico también es conocido como escáner; pues su funcionalidad es
la de analizar el lexema de las palabras o cadenas de caracteres sobre un patrón
definido. Es decir; El proceso de análisis léxico se refiere al trabajo que realiza el
scanner con relación al proceso de compilación. El scanner representa una interfaz
entre el programa fuente y el analizador sintáctico o parser. El scanner, a través del
examen carácter por carácter del texto, separa el programa fuente en piezas
llamadas tokens, los cuales representan los nombres de las variables, operadores,
etiquetas, y todo lo que comprende el programa fuente. (Ronceros, s.f.)
http://biblioteca.uns.edu.pe/saladocentes/archivoz/curzoz/sesion_5.pdf
El analizador léxico es una función o método se encarga de suministrar al
analizador sintáctico una serie de unidades lógicas llamadas elementos léxicos
también denominados token, cada vez que el necesite conocer uno nuevo para
continuar con el proceso de traducción, que resultan de agrupar los caracteres del
fichero de entrada, siendo el analizador léxico el único módulo del compilador que
maneja el fichero de entrada. (LSI, 2007)
FUNCION DEL ANLIZADOR LEXICO
El analizador léxico es la primera fase de un compilador. Su principal función
consiste en leer los caracteres de entrada y elaborar como salida una secuencia
de componentes léxicos que utiliza el analizador sintáctico para hacer el análisis.
En algunas ocasiones, los analizadores léxicos se dividen en una cascada de dos
fases; la primera, llamada "examen", y la segunda, "análisis léxico". El examinador
se encarga de realizar tares sencillas, mientras que el analizador léxico es el que
realiza las operaciones complejas.
https://es.slideshare.net/angiepao1717/anlisis-lxico-y-anlisis-sintctico