词汇语法

在计算机科学中，词汇语法是一种定义令牌语法的正式语法。程序是用所使用的语言的词汇结构所定义的字符来编写的。字符集等同于任何书面语言所使用的字母表。词汇语法规定了一个字符序列如何被划分为字符子序列的规则，其中的每一部分代表一个单独的标记。这通常是用正则表达式来定义的。例如，许多编程语言的词汇语法规定，一个字符串字头从一个字符开始，一直到找到一个匹配的字符为止（转义使其更加复杂），一个标识符是一个字母数字序列（字母和数字，通常也允许下划线，但不允许初始数字），一个整数字头是一个数字序列。

因此，在下面的字符序列abcxyz123中，标记是字符串、标识符和数字（加上空白标记），因为空格字符终止了形成标识符的字符序列。此外，某些序列被归类为关键词–这些通常具有与标识符相同的形式（通常是按字母顺序排列的词），但被单独归类；从形式上看，它们具有不同的标记类型。