在 @token 规则块里列出词元

而在其他规则中（非 @token 规则块里），用 "" 双引号包裹字符，以字符字面量 string literal 方式来表示一个 token（例如 "+"），即自动在语法树中创建一个新的叶子节点类型

@tokens {
  "("
  ")"
  "#"[someProp=ok]

  // ... other token rules
}

通过 @local tokens 规则块定义一个 local token group 局部词元组，它们用于特定的上下文进行解析，以便实现「排除式」的匹配

例如要匹配具有插值的字符串（即字符串里面包含变量，以动态构建内容，例如 JavaScript 的模板字符串），用传统的正则式很难直接表达「匹配除了插值以外的任意内容」

Lezer 提供 local token group 机制，能够在特定解析上下文里定义一组 token，包括若干专门匹配特定子模式的 token，和一个「兜底」的 token（用于匹配所有不属于特定子模式的文本内容），这样就不用写复杂正则也能够实现「排除式」的匹配

只在当其他类型的词元（包括 skip token、literal token）没有匹配时，local token group 局部词元组才起作用，所以一般需要配合 @skip 来一起使用（避免全局的 @skip 规则在特定的上下中断 local token group 的解析匹配）

@local tokens {
  stringEnd[@name='"'] { '"' }
  StringEscape { "\\" _ }
  @else stringContent
}

@skip {} {
  String { '"' (stringContent | stringEscape)* stringEnd }
}

以上示例通过 @local tokens 规则块定义了一个 local token group 局部词元组，其中 stringEnd 和 StringEscape 这两个 token 分别匹配特定的字符串，而字符串的剩余的字符都会解析为 stringContent 字符串。为了避免 @skip 规则的干扰，还需要为 String 节点设置一个相应的 @skip 规则（不会对其内容进行跳过）

在 .grammar 文件里定义的 tokens 词元采用类似正则表达式的模式描述所需匹配的内容，但是对于一些场景可能并不足够，Lezer 支持引入外部定义的分词器 tokenizer，通过外部 JavaScript 代码片段描述所需匹配的内容，以实现更复杂的需求

@external tokens insertSemicolon from "./tokens" { insertedSemicolon }

以上示例通过 @external tokens xxx from "external_file_path" 的方式引入外部定义的 token（在 external_file_path 文件里导出了名为 xxx 的变量，它是一个外部分词器 ExternalTokenizer 类的实例），花括号 { insertedSemicolon } 表示所生成的 token 的名称

外部 tokenizer 生成的 token 和 @tokens 规则块里定义的 token 之间的优先级，是与它们在 .grammar 文件里（定义）所出现的先后顺序相关，先定义的 token 具有较高优先级

Lezer 允许结构简单的 token（不含重复操作符 *，+ 或 ?）之间有重叠的前缀，例如 + 和 += 这两个 token，如果解析的内容同时匹配了这两个 token，Lezer 会默认根据最长匹配原则来解决冲突

而如果 token 具有复杂的结构，且可能出现在同一文法位置中，就需要通过设置优先级就可以解决匹配冲突

Additive { Number | Plus }

@tokens {
  Divide { "/" }
  Comment { "//" ![\n]* }
  @precedence { Comment, Divide }
}

以上示例 Comment 是复杂类型的 token，如果它们可以出现在同一文法位置，就可能发生冲突（因为 // 除了可以解析为一个 Comment token，也可以将其视为由两个 Divide token 构成的），需要设置优先级解决冲突（这里 Comment token 具有更高的优先，所以会将 // 解析为注释）

在 @tokens 规则块中可以设置多个 @precedence 规则，以解决 token 之间的冲突

可以使用 @specialize 符号，将特定的 token 类型在匹配到指定内容时，特化为一种新的 token

NewExpression { @specialize<identifier, "new"> expression }

以上例子将原本属于 identifier 类型的 token，当它的内容正好为 new 字符串时，将其 specialized 专门化为另一种新的 token，以便与其他 identifier token 区别开来

较常见的应用场景是处理编程语言里的保留字符，它们不是一般的变量，所以将它们专化为另一种特别的 token

支持引入外部 JavaScript 代码片段，对于 token 进行专化，以实现更复杂的需求

@external specialize {identifier} specializeIdent from "./tokens" {
  keyword1,
  keyword2
}

以上示例通过 @external specialize { originToken } callbackFn from "external_file_path" 的方式，从 external_file_path 文件引入外部函数 callbackFn，每次解析遇到 originToken 原始词元类型时，都会调用该函数，该函数接收匹配的内容作为入参，最后返回一个新的 token 以进行替换，或返回 -1 以表示不对该 token 进行专化。花括号 { keyword1, keyword2 } 表示执行专化操作而生成的所有可能的 token 的名称

可以在语义模糊的位置添加标记 ~xxx（以波浪线开头，在所有可能引起语义模糊的相关位置使用相同的标记词），启用 GLR 尝试进行多路解析，以寻找正确的语义

当多路解析都可通，可以通过节点属性 node prop @dynamicPrecedence（其值可以是从 -10 到 10 之间的值）为特定匹配规则设置动态优先级，以偏向于最终采用该语义

@top Program { (A | B)+ }

A[@dynamicPrecedence=1] { "!" ~ambig }

B { "!" ~ambig }

• 如果某个/多个规则在解析匹配内容时，可能发生 shift/reduce 移入/归约冲突，可以在冲突的地方使用优先级标注词
  通过 @precedence 规则预先列出所需使用的优先级标注词（其中较前列出的优先级更高），然后在可能产生解析冲突的地方使用
  可以在 @precedence 规则中所列出的标注词后面，还可以添加符号 @left 或 @right 以表示解析时优先偏向哪一侧；或者添加符号 @cut 以表示只考虑当前规则，而不需要考虑其他（即使匹配）规则
  例如定义两个优先级标注词 @precedence { times @left, plus @left } 其中优先级最高的标注词是 times，而且都是左相关
  然后在语义模糊可能发生解析冲突的位置使用，在标注词前面添加 ! 感叹号
  text

  expression { Number | BinaryExpression }
  
  BinaryExpression {
    expression !times "*" expression |
    expression !plus "+" expression
  }
  
  @tokens {
    Number { @digit+ }
  }
  

  
  那么在解析具体内容 1+2*3+4 就可以得到准确的语义 (1+(2*3))+4
• 在 @token 规则块里也可为 token 设置优先级，以解决多个 token 存在相同的前缀匹配而产生的冲突，具体介绍参考token 词元

有些节点属性带有 @ 前缀，称为 pseudo-prop 伪属性，它们不是为节点添加元信息的，而是 Lezer 保留的内置符号，用于对节点执行特定的操作

• @name 伪属性用于重命名节点，例如 y[@name=x] { "y" } 该规则将原本名为 y 的节点重命名为 x
• @detectDelim 指令置于 grammar 文件的顶级（不在内嵌规则里），可以让 Lezer 解析器自动检测分隔符相关的 token 规则，并为它们添加相应的节点属性 openedBy 或 closedBy
• @isGroup 伪属性用于为（在嵌套规则里）一系列节点进行分组
  text

  statement[@isGroup=Statement] {
    IfStatement |
    ForStatement |
    ExpressionStatement |
    declaration
  }
  

  
  然后在使用语法树时，通过 SyntaxNodes 的方法 getChild 或 getChildren 从子节点里获取属于给定分组的第一个或所有节点
  let elements = parentSyntaxNode.getChildren("Statement")

TypeScript 类型 type NodePropSource 描述的是一个函数，用于基于节点类型返回需要应用于该节点的 node prop

type NodePropSource = fn(type: NodeType) → [NodeProp<any>, any] | null

可以通过指令 @external propSource 将外部定义的 node prop source 引入 .grammar 文件中，这样 Lezer 会自动将其整合进解析器中，为相应的节点添加 node prop

@external propSource highlighting from "./highlight.js"

其中 highlight.js 文件导出的变量 highlighting 是一个符合 NodePropSource 类型的函数（使用 @lezer/highlight 模块所提供的函数 styleTags 生成的）

import {styleTags, tags} from "@lezer/highlight"

export const highlighting = styleTags({
  Identifier: tags.name,
  Number: tags.number,
  String: tags.string
})