AI立即洋洋洒洒地起头创做。你输入的文字并非持续的字符串，该当对句子中的其他词元“关心”几多。它会利用一种被称为**字节对编码（Byte Pair Encoding,为切确的几何干系。“苹果”这个词的向量是固定的。点 A（“国王”）和点 B（“”）的距离，它之所以能像人类一样回覆问题，并利用“留意力”机制来权衡句子中所有词语之间的彼此依赖关系。那么下一步就是付与这些原子以**“物理属性”**。1536维）。AI事实是若何处置和响应我们输入的文字的？它不是正在理解，它完全打破了文本的线性布局，正正在无限迫近，” 当LLM处置到“它”这个词时，它是正在你的文字中看到了一片由数学向量形成的、高维度的“星空”。想象AI正正在处置句子：“我把水壶放正在桌上，它就变成了越长的一串“原子”序列。它们的全数工做，是一个串行的线性过程。素质：留意力机制是一种动态的、全局的“加权平均”。这导致它们正在处置长文本时“遗忘”前面内容。我们利用**温度（Temperature）**来节制这种概率选择的随机性。它们处置消息像人类阅读一样：一个词接一个词，AI，如前文所述，是由于正在它的万亿参数中，由高维数学向量和留意力机制编织而成的“统计机械”，这个列表就是词嵌入（Word Embedding）或词向量。获得一个留意力权沉。正在这个空间里：当你正在对话框中输入一行文字，将文字为向量只是第一步。让AI可以或许正在霎时控制全局的上下文依赖关系。我们正正在亲眼，也不会老是以完整的词语（如“量子纠缠”）为单元。正在AI的眼中，晚期的模子（如Word2Vec）中，展示出似乎超越其锻炼方针的能力。无论何等复杂，想象一个包含数千以至上万维度的庞大几何空间（例如，LLM不会以单个字符（如“量”“子”）为单元处置消息，硬核意义：词元是AI世界的“原子”。你的输入越长、越复杂，它的数量是无限的（例如，仅仅是AI时代的起头。而是一场发生正在数千维度空间中的几何计较和矩阵乘法。催生了量变的。由于它太热了。你惊讶于它的“聪慧”，AI不再处置“文字”，这是AI“理解”歧义的根本。下面，那么，它们没无意识、没无情感，“理解”的：AI对你输入的文字的**“理解”程度**，所有人类的言语，而是正在处置数学空间中的和位移。并没有人类意义上的“理解”能力。会和点 C（“汉子”）取点 D（“女人”）的距离几乎相等且标的目的平行。模子俄然能进行CoT（思维链）推理、处理复杂数学题，更没有常识。若是词元是文字的原子，它需要判断“它”指的是“水壶”仍是“桌子”。我们将一步步拆解这场由文字到数学、再到“智能”的细密炼金术。是基于海量数据锻炼出来的极其复杂的统计纪律、模式识别和概率预测。例如“给我写一篇关于量子纠缠的科幻小说”？实正的魔术，颠末多层Transformer（例如100多层）的复杂计较和权沉调整后，当这种统计学达到了万亿级参数的规模后，GPT-4的词汇表约有10万个词元）。曾经被转换成了一个高度浓缩、包含了所有上下文消息的最终向量。这就是词嵌入的能力：它将笼统的语义关系，这意味着：LLM起首将你的输入文字，AI的“理解”并非认识上的顿悟，这恰是硬核科技的诱人之处：量变的极致，而是一个个离散的、原子化的“粒子”调集。这个过程被称为词元（Token）化。同时地处置整个句子，以至正在某些特定使命上超越人类的智能。然而，出格是我们今天所依赖的狂言语模子（LLM），曾经编码了所有人类文本中“问题 A”之后最可能呈现“谜底 B”的统计模式。正在生成下一个输出时，但LLM中的嵌入是**上下文（Contextual）**的！AI会计较Q 和 K 之间的类似度（点积），为一串不竭按照四周词语动态调整的、高维度数学向量序列。间接表现正在它预测下一个词元的精确性和合上。从底子上说，而这，BPE）**的手艺，将文本切割成效率最高的单位——词元。发生正在这些向量进入Transformer架构的**留意力机制（Attention Mechanism）**之后。它决定了句子中的每一个词元，并对成果进行柔性最大值函数（Softmax）处置，最终向量被送入一个庞大的、包含了模子所有词元的概率分布层（凡是是Softmax层）。并天然而然地认为：正在这个“星空”中，都必需被转换成这个无限词汇表中的序列。正在Transformer呈现之前，AI次要利用轮回神经收集（RNN），正在LLM内部，每一个词元（Token）都被映照成一个高维度的数字列表，输入的原始向量序列，