UMBRELLA

混合专家模型 Mixture of Experts (MoE)

混合专家模型(MoE)是一种机器学习技术，其中使用多个专家网络（学习者）将问题空间划分为同质区域。混合专家模型(MoE)的一个显著优势是它们能够在远少于稠密模型所需的计算资源下进行有效的预训练。这意味着在相同的计算预算条件下，可以显著扩大模型或数据集的规模。特别是在预训练阶段，与稠密模型相比，混合专家模型通常能够更快地达到相同的质量水平。

AI的发展方向我们认为主要有两个：一个是有趣、亲和、更像人的AI；另一个是有用、严谨、更像工具的AI。AI更像工具还是更像人呢？其实有很多争议。就技术的发展阶段来说：目前很长一段时间应该是”更像工具的AI“，未来的某个时间节点会朝着”更像人的AI“方向发展。

介绍

数据集包含25,000张狗和猫的图片。此数据集中的每个图片都有标签作为文件名的一部分。测试文件夹包含12,500张图片，根据数字ID命名。对于测试集中的每个图片，您应该预测该图片是狗/猫的概率（1 = 狗，0 = 猫）。为了解决这个问题，我们将使用预训练模型ResNet-50，仅替换最后一层。

我想说明在构建深度学习NLP模型时如何进行有意义的预处理。

• 当有预先训练的嵌入时，不要使用标准预处理步骤，例如词干提取或停用词删除。
• 让你的词汇尽可能接近嵌入。
  阅读全文 »

自然语言处理（NLP）是人工智能的一个分支，它负责连接机器以自然语言理解人类。自然语言可以是文本或声音的形式。NLP可以用人类的方式与机器进行交流。文本分类是情感分析中涉及的内容。它是将人类的意见或表达分类为不同的情绪。情绪包括正面、中立和负面、评论评级以及快乐、悲伤。 情绪分析可以针对不同的以消费者为中心的行业进行，分析人们对特定产品或主题的看法。自然语言处理起源于20世纪50年代。早在1950年，艾伦·图灵就发表了一篇题为《计算机器与智能》的文章，提出了图灵测试作为智能的标准，这项任务涉及自然语言的自动解释和生成，但当时尚未明确阐述。在此内核中，我们将重点关注文本分类和情感分析部分。

内容

在本文中，我将从RNN的基础知识开始，一直到构建最新的深度学习架构来解决NLP问题。它将涵盖以下内容：

• 简单的RNN(循环神经网络)。
• 词嵌入(Word Embeddings)：定义以及如何获取。
• 长短期记忆网络(LSTM)。
• 门控循环单元(GRU)。
• 双向RNN。
• 编码器-解码器模型（Seq2Seq模型）。
• 注意力模型(Attention Models)。
• Transformer-你所需要的就是注意力。
• BERT。
  阅读全文 »

介绍

过去几年深度学习取得显着进步的一个领域是自然语言处理（NLP）。计算机现在可以生成文本、自动从一种语言翻译成另一种语言、分析评论、标记句子中的单词等等。也许NLP最广泛的实际应用是分类——将文档自动分类到某个类别。例如，这可以用于：

• 情绪分析（例如，人们对您的产品有正面还是负面评价）。
• 作者识别（最有可能是哪个作者写了一些文档）。
• 法律发现（哪些文件属于审判范围）。
• 按主题组织文档。
• 对电子邮件进行分类。
• …以及更多！
  阅读全文 »

Pytrees

什么是Pytree？如果我们按照文档中提供的Pytress定义，那么Pytree是指由类似容器的Python对象构建的树状结构。什么是类似容器的Python对象？看到名称，您可能已经猜到类似容器的Python对象包括列表、元组、字典、namedtuple、OrderedDict和None。这些数据结构是默认的类似容器的对象，被视为Pytree。我们还可以告诉JAX将视为类似容器的对象，但我们需要首先将它们包含在Pytree注册表中。让我们看一下Pytree的几个例子。

今天，我们将研究另一个重要概念自动微分。我们已经在TensorFlow中看到了自动微分。自动微分的想法在所有框架中都非常相似，但IMO JAX比所有框架都做得更好。

如果我了解TensorFlow/Torch，为什么还要去学习JAX？尽管有n个理由，但我将介绍JAX中的一个概念，足以说服您尝试一下。我们将研究自动矢量化。我们接下来将讨论两种转换，即vmap和pmap。