Меню Главная Случайная статья Настройки Токен (лексический анализ) Материал из https://ru.wikipedia.org Токен (англ. token) — объект, создающийся из лексемы в процессе лексического анализа («токенизации», от англ. tokenizing). В прикладном программировании понятие токена и его лексема могут не различаться. Шаблон токена — формальное описание класса лексем, которые могут создать данный тип токена. Примеры тип токена примеры лексем описание num 257 число id Ident951 идентификатор relop <= операция отношения string «Cимвол» строчная постоянная