无监督机器学习使用的是自学习算法，在学习时无需任何标签，也无需事先训练。相反，模型会获得不带标签的原始数据。自学习规则，并根据相似之处、差异和模式来建立信息结构，且无需向该模型提供关于如何处理各项数据的明确说明。无监督机器学习更适合处理复杂的任务。它能够很好的识别出数据中以前未检测到的模式，并且有助于识别用于数据分类的特征。假设有一个关于天气的大型数据集，无监督学习算法会分析数据并识别数据点中的模式。例如，它可能会按温度或类似的天气模式对数据进行分组。虽然算法本身无法根据之前提供的任何信息来理解这些模式，但可以查看数据分组情况，并根据对数据集的理解并对其进行分类。例如天气模式被划分为不同类型的天气，如雨、雨夹雪或雪。
什么是决策树？学习算法输出的模型看起来像一棵树。这里有一个新的测试示例，有一只猫，耳朵形状尖尖的，脸形圆润，有胡须。该模型学习此示例并做出分类决策，从树的最顶端节点开始，这称为树的根节点，然后查看写在里面的特征，即耳朵形状。根据此示例的耳朵形状的值向左或向右走。耳朵形状的值是尖的，所以将沿着树的左边分支向下走，最后到达椭圆形节点。然后查看脸部形状，脸部是圆形的，所以将沿着这里的箭头向下走。算法会推断这是一只猫。树中最上面的节点称为根节点。所有这些节点都称为决策节点。它们之所以是决策节点，是因为它们会查看特定特征，然后根据特征的值，来决策是沿着树向左走还是向右走。最后，这些底部的节点称为叶节点。它们会做出预测。
要将自注意力与CNN一起使用，需要计算自注意力，即为输入句子中的每个单词创建基于注意力的表示。示例Jane, visite, l'Afrique, en, septembre，我们的目标是为每个单词计算一个基于注意力的表示。最终会得到五个，因为句子有五个单词。即l'Afrique的一种方法是查找l'Afrique的词嵌入。根据对l'Afrique的理解，可以选择不同的方式来表示它(RNN上下文中看到的注意力机制没有太大区别，只是并行计算句子中所有单词的表示。
假设您要输入一个法语句子，如Jane visite I'Afrique Septembre，并且要将其翻译成英语句子，Jane is visiting Africa in September。我们使用RNN，这可能是GRU或LSTM，一次一个单词地输入法语单词。在获取输入序列后，RNN会输出一个表示输入句子的向量。之后，您可以构建一个解码器网络。编码器网络的编码输出作为输入，然后可以训练一次一个单词地输出翻译。最后，识别出序列的结尾和解码器停止的句子标记，这样它们在使用语言模型合成文本时保持在之前的序列中。深度学习最显著的成果之一是模型有效性。给定足够多的法语和英语句子对，如果你训练一个模型来输入法语句子并输出相应的英语翻译，这很有效。这个模型只使用一个编码器网络，找到输入法语句子的编码，然后使用一个解码器网络生成相应的英语翻译。
我们一直在使用词汇表来表示单词，词汇表可能有10,000个单词。我们一直在使用1-hot向量（1-Hot编码是一种用于表示分类数据的技术，广泛应用于机器学习和深度学习中。它将每个类别转换为一个二进制向量，向量的长度等于类别的总数。每个向量中只有一个元素为1，其余元素均为0。）来表示单词。例如，如果man是本词典中的第5391个单词，那么你可以用一个在位置5391处为1的向量来表示。我还将使用O代表1-hot。如果woman是第9853个单词，那么你可以用9853处只有一个1，其他地方都是0。然后其他单词king、queen、apple、orange将同样用1-hot向量表示。这种表示的缺点之一是它将每个单词视为一个独立的事物，并且它不允许算法概括交叉单词。