图片

东谈主工智能的中枢运作逻辑，其实是矩阵与向量之间的高维空间忖度。不管是生成文本、识别图像，照旧分析语音，AI模子的中枢任务皆是在重大的数据空间中找到最优解。这些忖度历程看似复杂，但践诺上不错简化为线性代数运算——通过矩阵乘法、点积和向量变换，模子得以从海量数据中抽取特征、设置关联、生成输出。在这一历程中，变换器（Transformer）模子的出现，澈底改变了机器学习的后果与智力。GPT模子恰是基于这一冲突性架构，罢了了简陋单的话语贬牵扯务，到如今的大限制生成任务。

GPT代表生成预检修变换器（Generative Pretrained Transformer）。其中，“生成”暗示这些模子不错生成新文本，“预检修”指的是模子在无数数据上进行学习，“变换器”是中枢技巧，指的是一种特定的神经网罗类型，是现时AI飞扬背后的基础发明。

好色妖姬杨贵妃

变换器可用于多种模子，举例一些模子禁受音频并生成文本，或从文本生谚语音。2022年，像Dolly和Midjourney这么的器具，也基于变换器，不错将笔墨形色曲折为图像。

领先由谷歌在2017年提倡的变换器，专门用于话语翻译。但自后的变种，如ChatGPT所使用的模子，检修的是通过输入一段文本（致使可能包含图像或声息），瞻望接下来会发生什么。瞻望罢了是对接下来文本片断的概率分散。

诚然一来源瞻望下一个单词看似与生成新文本狡计不同，但通过反复瞻望和采样，模子不错生成更长的文本。这个历程即是你与ChatGPT互动时看到的，模子每次生成一个词。通过这个门径，GPT-3等更大的模子能生成连贯且特意旨的故事，致使大概推测出“pi生物”生计在一个数学和忖度的全国里。

深切transformer

图片

在变换器里面，数据流动的高头绪笼统是：最先，输入数据被领悟成多个小片断，称为“token”。关于文原来说，这些token频繁是单词、部分单词或常见的字符组合。要是波及图像或声息，token可能是图像的一小块或声息的一小段。每个token与一个向量相关联，这个向量是一些数字，旨在编码该token的含义。

这些向量通过一个被称为“抑遏力模块”（attention block）的操作，这使得向量之间不错彼此传递信息并更新它们的值。举例，在“机器学习模子”中，"model"这个词的意旨与在“先锋模特”中的意旨不同，抑遏力模块认真细则哪些词在高下文中与其他词的含义更新相关。

接下来，这些向量和会过另一个操作，这被称为多层感知器（multi-layer perceptron）或前馈层（feed-forward layer）。在这个阶段，向量之间不再彼此交流，而是并行地通过交流的操作。这个设施，不错将其视为对每个向量提倡一系列问题，并凭证呈报来更新它们。

总共这些操作践诺上皆波及无数的矩阵乘法，直到临了，所相要津信息皆被编码进序列中的临了一个向量。然后，对这个临了的向量实施某种操作，产生一个概率分散，瞻望接下来可能出现的总共token。通过这种格局，咱们不错给模子提供一些种子文本，让它握住瞻望下一个词、采样、附加，并重叠这个历程。

为了将这个器具窜改为聊天机器东谈主，最简短的起初是给出一些文本，设定用户与有用的AI助手互动的场景，即系统教导（system prompt），然后用用户的运行问题或教导看成对话的开端，接着让模子瞻望AI助手会若何呈报。

这一历程背后还有更多的检修细节，但这是梗概的成见。

深度学习

图片

深度学习是机器学习的一种门径。机器学习的中枢念念想是通过数据来决定模子的行径，而不是像早期AI那样手动编写明确的任求实施设施。

举个例子，想要一个函数来识别图片或瞻望文本中的下一个词，传统门径是手动联想限定。而机器学习的门径是搭建一个机动的结构（比如有好多参数的模子），然后用无数输入输出样例来调治这些参数，使模子能效法狡计行径。

最简短的机器学习模子是线性总结，比如用房屋面积来瞻望价钱。这种模子的狡计是找到一条最好拟合线，其参数即是斜率和截距。深度学习模子则更复杂，比如GPT-3有1750亿个参数，而不是简短的两个。

深度学习的要津：反向传播与权重

深度学习的中枢是反向传播算法，它使得大限制模子的检修成为可能。为了让这个检修算法灵验，模子的输入必须是实数数组，频繁称为张量。模子的每一层结构化为数组，并逐层曲折，直到临了一层输出罢了。举例白虎 女，文本贬责模子的临了一层输出是下一个词的概率分散。

模子中的参数频繁称为权重，因为数据与这些权重的交互皆是通过加权和罢了的。诚然践诺忖度中这些加权和通常进展为矩阵向量乘积，但它践诺上是兼并个成见。

矩阵与权重的关系

GPT-3的1750亿个权重被组织成约2.8万个矩阵，这些矩阵被分红8类。尽管目下有更大、更先进的模子，但GPT-3是首个让寰球抑遏到妄言语模子后劲的模子。也因为交易原因，好多新模子的详备参数被严格藏匿，因此连络GPT-3仍然很有价值。

矩阵乘法是中枢忖度

深切了解像ChatGPT这么的器具时，会发现险些总共践诺忖度皆是矩阵向量乘法。尽管模子中有千千万万个参数，但你需要明晰地分袂两类内容：

权重：这些是模子的“大脑”，通过检修学习而来，决定模子的行径。

贬责的数据：这些是模子在每次运行时接收的具体输入，比如一个文本片断。

总的来说，权重是模子的中枢，数据是模子运行时的输入。领路这些权重和矩阵的关系，能匡助更好地领路变换器模子的里面机制。

词镶嵌（Word Embeddings）的旨趣

图片

在文本贬责的第一步，模子会将输入的文本拆分红多个小片断，称为token。这些token不错是单词、部分单词、标点标志或字符组合。为了让模子领路这些token的语义，每个token皆会被映射成一个高维向量，这个历程由**镶嵌矩阵（Embedding Matrix）**来完成。镶嵌矩阵包含模子的总共词汇表，每个token对应一个向量，这些向量在模子检修历程中握住调治，以捕捉不同词语之间的语义关系。

镶嵌向量不单是暗示单词的字面含义，还能在高维空间中体现词语之间的关联。举例，“tower”（塔）的镶嵌向量在空间中可能辘集“building”（建筑）和“skyscraper”（摩天大楼），标明模子识别出了这些词的相关性。跟着检修的深切，模子渐渐调治这些向量，使它们在空间中指向特定的语义主义，如性别各异或家庭扮装。

向量之间的差值不错暗示语义上的变化，这是镶嵌向量的一大本性。经典的例子是，“woman”和“man”之间的向量差接近“queen”和“king”之间的向量差，这标明模子捕捉到了性别信息的主义。访佛地，将“Germany”减去“Japan”，再加上“sushi”，罢了接近“bratwurst”（德国腊肠），模子在空间中学会了国度与文化的关联。

为了忖度词语之间的相同性，模子使用点积（dot product）来谋略向量的主义一致性。点积值越高，暗示两个向量的主义越接近。举例，假定“cats”（复数）和“cat”（单数）之间的向量差暗示复数主义，则复数名词的点积值频繁更高，标明它们更接近复数主义的向量。模子致使能通过这种门径量化词语的复数进度，并将其与数目变化关联起来。

在GPT-3中，词汇表的大小约为50，257个token，镶嵌向量的维度为12，288维。因此，镶嵌矩阵的权重总额约为6.17亿。这些权重是模子中最早被优化的部分，为模子领路文本和生成内容提供了基础复旧。这亦然GPT-3总1750亿权重的弥留构成部分之一。

杰出单词的镶嵌（Embeddings Beyond Words）

在变换器模子中，镶嵌向量不单是暗示单个单词。这些向量还不错编码单词的位置信息，更弥留的是，它们大概继承高下文信息。

向量若何继承高下文

一个领先暗示“king”（国王）的镶嵌向量，在经过网罗中的多个模块贬责后，可能会被渐渐拉伸和调治，到临了指向一个愈加具体、邃密的主义。这个主义可能不单是暗示“国王”，还包含更多信息，比如“苏格兰的国王”、“通过谋杀上任国王而继位”，致使还能捕捉到“以莎士比亚话语立场形色*的语境。

东谈主类对词语的领路亦然访佛的，单词的含义频繁由周围的高下文决定，就怕致使需要借助更远的高下文。因此，模子的狡计是让这些镶嵌向量大概灵验地继承和整合高下文，从而陶冶对下一词瞻望的准确性。

运行镶嵌若何生成

在贬责输入文本的第一步时，模子凭证输入的每个单词，从镶嵌矩阵中索取对应的向量。在这个阶段，每个向量只暗示单词自身的含义，莫得包含任何高下文信息。

然则，通盘网罗的中枢狡计是让这些向量在贬责的历程中，渐渐继承来自周围环境的更多语义信息，使它们的含义变得愈加丰富和具体，远超单个词语的简短暗示。

高下文窗口的截至

变换器网罗一次只可贬责固定数目的向量，这个数目被称为高下文窗口大小（context size）。关于GPT-3来说，高下文窗口大小是2048个token。这意味着，网罗中流动的数据长期是一个2048列的数组，每列是一个12，288维的向量。

高下文窗口的大小路直决定了模子在瞻望下一个单词时，大概参考的最大文本长度。要是文本超出了高下文窗口的截至，模子将无法操纵更早的文本信息。

为什么模子会“健忘”对话

由于高下文窗口的截至，变换器在永劫候对话中会渐渐丢失早期的对话内容。这是为什么早期版块的ChatGPT在长对话中，通常会健忘对话的陈迹或偏离主题。模子只可操纵窗口内的文本信息来生成新的输出，因此窗口外的内容会被丢弃，导致信息断裂。

反镶嵌（Unembedding）

在变换器模子的临了一步，狡计是生成一个对总共可能下一个token的概率分散。举例，要是句子的临了一个单词是“Professor”，况且高下文中包含“Harry Potter”和“least favorite teacher”，一个检修讲究的模子很可能为“Snape”分拨较高的概率，因为模子还是学会了哈利波特的相关学问。

这个瞻望历程包括两个设施：

将临了一个向量映射到词汇表中的总共token值。使用一个叫作念反镶嵌矩阵（Unembedding Matrix）的矩阵，将临了一个向量曲折成一个包含5万个值的列表，每个值对应一个词汇表中的token。

将值曲折为概率分散。然后通过一个称为Softmax的函数，将这些值曲折为一个概率分散，每个token的值代表它看成下一个词的概率。

为什么只用临了一个向量？

乍一看，似乎有些奇怪，模子在瞻望下一个词时只使用了临了一个向量，而忽略了临了一层中的其他向量。但践诺上，检修历程中更高效的作念法是让每个向量同期瞻望它之后的下一个词。这意味着，每个向量在最终层皆有我方的高下文意旨，并各自作念出瞻望。

反镶嵌矩阵的结构和参数

反镶嵌矩阵（Unembedding Matrix）用标志WU暗示，其结构与镶嵌矩阵访佛，但行和列互换：

它有词汇表大小的行（约50，257个token）。

每行有镶嵌向量维度的列（12，288维）。

因此，这个矩阵包含约6.17亿个参数。加上之前的镶嵌矩阵，总参数目目下已跨越10亿，占GPT-3总参数目1750亿的一小部分。

Softmax 与温度调遣

Softmax 是变换器模子中常用的函数，用于将一组数值曲折成概率分散，确保每个值在 0 到 1 之间，况且总和为 1。它会把最大的值调成接近 1，而较小的值接近 0，使模子大概凸起最可能出现的词。在机器学习模子中，这个设施必不成少，因为网罗输出的原始值（称为logits）频繁是未归一化的，可能为负数或雄壮于 1，无法径直用于概率忖度。

Softmax 的一个弥留调遣参数是温度（Temperature）。温度决定了输出分散的立时性。当温度 T=1 时，Softmax 按普通概率分散使命；T>1 时，分散更均匀，较小概率的词也有契机被选中；T<1 时，分散愈加阿谀于最大值，使模子更倾向于采取最可能的词。要是 T=0，模子老是采取概率最高的词，生成的内容寥落可瞻望。

在文本生成中，温度调遣径直影响罢了的种种性和创造性。低温度下，模子输出踏实但衰退新意；高温度下，模子输出更立时、更有创造力，但也可能变应许外旨。因此，在践诺应用中，温度频繁截至在 0 到 2 之间，以均衡连贯性与种种性之间的关系。

参考：3Blue1Brown：Transformers (how LLMs work) explained visually | DL5白虎 女

本站仅提供存储职业，总共内容均由用户发布，如发现存害或侵权内容，请点击举报。