ClubEnsayos.com - Ensayos de Calidad, Tareas y Monografias
Buscar

Token, Patron, Lexema


Enviado por   •  24 de Septiembre de 2013  •  204 Palabras (1 Páginas)  •  749 Visitas

Tokens, patrón y lexema

Atributos de los componentes léxicos

El analizador léxico recoge información sobre los componentes léxicos en sus atributos asociados. Los componentes léxicos influyen en las decisiones del análisis sintáctico y los atributos en la traducción de los componentes léxicos:

• Apuntador a la entrada de la Tabla de símbolos donde se guarda la información sobre el componente léxico.

• El lexema para un identificador

• El número de línea en que se encontró por primera vez.

Token

Son las unidades lógicas que genera el analizador léxico. Formar caracteres en tokens es muy parecido a formar palabras en un lenguaje natural. Es el conjunto de cadenas de entrada que produce como salida el mismo componente léxico. Cada token es una secuencia de caracteres que representa una unidad de información en el programa fuente.

Los componentes léxicos más comunes son los siguientes:

Palabras clave o reservadas

Lexema

Representan cadenas de caracteres en el programa fuente que se pueden tratar juntos como una unidad léxica. Un lexema es una secuencia de caracteres en el programa fuente con la que concuerda el patrón para un componente léxico.

Patrón

Regla que describe el conjunto de lexemas que pueden representar a un determinado componente léxico en los programas fuente.

En otras palabras, es la descripción del componente léxico mediante una regla.

...

Descargar como (para miembros actualizados) txt (1 Kb)
Leer 1 página más »
Disponible sólo en Clubensayos.com