在大语言模型（LLM）中，Token 是文本数据的基本单位，是模型可以理解和生成的最小意义单元。它可以是一个单词、一个字符、一个标点符号，甚至是一个子词（subword）。例如，句子“Hello, world!”可以被分解为以下Token：["Hello", ",", "world", "!"]。

Token的通俗例子

如果将Token比作一个通俗的例子，可以将其比作 “乐高积木”。乐高积木是构建复杂结构的基本单元，通过组合不同的积木块可以搭建出各种形状和功能的模型。同样，Token 是构建语言模型的基础单元，通过组合不同的 Token，模型可以生成各种复杂的文本。

输入表示：在自然语言处理任务中，Token 是模型的输入。每个 Token 会被转换成一个向量表示（通常是词嵌入），然后输入到模型中进行处理。

词汇表构建：模型训练前需要构建一个词汇表，其中包含所有可能的 Token。词汇表的大小直接影响模型的参数数量和计算复杂度。

序列长度限制：大多数深度学习模型都有固定的输入序列长度限制。如果输入文本过长，需要进行截断或分割。

位置编码：在 Transformer 模型中，为了保留 Token 的位置信息，会为每个 Token 添加位置编码。