LEXICAL SCAN

лексический анализ один из первых этапов трансляции, во время которого распознаются и формируются символы языка (токены). В дальнейшем они заменяются внутренними кодами. Токенами являются: ключевые слова языка, идентификаторы, литералы и знаки операций. На этом этапе удаляются комментарии и любые символы, не имеющие значения для следующих фаз анализа. Для создания лексических анализаторов имеется множество инструментальных средств см. тж. lexical analysis, parsing, syntax analysis