Funcioines y conceptos básicos de un analizador léxico

[pic 1][pic 2][pic 3][pic 4][pic 5][pic 6][pic 7]

Analizador léxico

Antes de empezar a hablar de las funciones y componentes de un analizador léxico es importante tener bien claro a que se refiere la primera fase del compilador, el análisis léxico se puede definir como la fase del compilador que se encarga de, como su nombre lo dice, analizar los textos que entran en el compilador y de ahí poder agrupar las palabras en lexemas o como también se conoce tokens para que después el compilador pueda trabajar mas fácilmente con estos mismos, de una forma muy general podemos definir esta primera fase para así pasar a ver como es que el analizador léxico realiza esta tarea y cuales son los componentes que lo constituyen.    

Componente léxico

El componente léxico es el primer concepto que conocimos acerca de el analizador léxico, y es a grandes rasgos, una forma de clasificar a los lexemas dentro del programa fuente, asignándole etiquetas a cada grupo para que sea mas fácil identificarlos, por ejemplo, en el libro podemos ver a los nombres de variables clasificados como identificadores.

Entre las clasificaciones que conocemos se encuentran: las palabras reservadas, identificadores, operadores lógicos/aritméticos, literales, números, entre otros.      

Lexema

El lexema se puede definir como una secuencia de caracteres la cual tiene un significado, dichos lexemas son los que se clasifican en los componentes léxicos, por ejemplo, un lexema puede ser cualquier secuencia de caracteres que cumpla con un patrón (dicho sera explicado mas adelante) podría ser “variable1” este lexema se puede clasificar como identificador.

Patrón
El concepto de patrón en el analizador léxico se puede definir como una serie de reglas que los lexemas deben seguir para que puedan ser clasificados en un componente léxico, para que quede mas claro veamoslo con un ejemplo, para que un lexema pueda ser clasificado como numero debe seguir el patrón de (0-9)*(0-9)* lo cual se puede leer como un numero del 0 al 9 escrito las veces que se quiera seguido de un numero del 0 al 9 escrito las veces que se quiera.

Funciones de un analizador

Después de haber repasado los conceptos básicos de un analizador léxico podemos pasar a ver cuales son sus funciones.

La principal función del analizador léxico es encargarse de eliminar todos los componentes que no son necesarios para el programa fuente, como lo son los espacios en blanco o los comentarios, así como también los caracteres extraños para el programa, esto se refiere a los caracteres que no son permitidos en el lenguaje que se esta utilizando, ya que el analizador léxico trabaja sobre un lenguaje, un ejemplo de estos podría ser la “ñ”.

...