UMBRELLA

DETR (Detection Transformer)

物体检测是一个不仅复杂而且计算成本较高的问题。《Attention is all you need》，是Transformers的论文，推动了了NLP的发展，并且达到了很高的高度。虽然主要是为NLP开发的，但围绕它的最新研究重点是如何在深度学习的不同垂直领域利用它。Transformer架构非常非常强大，这就是我有动力探索使用Transformer的原因。Detection Transformer利用Transformer网络（编码器和解码器）来检测图片中的物体。Facebook的研究人员认为，对于物体检测，图片的一部分应该与图片的另一部分接触以获得更好的结果，特别是对于被遮挡的物体和部分可见的物体，这比使用Transformer更好。DETR背后的主要动机是有效地消除对许多手工设计组件的需求，例如非极大值抑制过程或锚点生成，这些组件显式编码有关任务的先验知识，并使过程变得复杂且计算成本高昂。新框架的主要组成名为DEtection TRansformer或DETR，是基于集合的全局损失，通过二分匹配强制进行的预测，以及Transformer编码器-解码器架构。

介绍

我使用CNN对脑肿瘤数据集执行图像分类。由于这个数据集很小，如果我们对其训练神经网络，它不会真正给我们带来好的结果。因此，我将使用迁移学习的概念来训练模型以获得真正准确的结果。

混合专家模型 Mixture of Experts (MoE)

混合专家模型(MoE)是一种机器学习技术，其中使用多个专家网络（学习者）将问题空间划分为同质区域。混合专家模型(MoE)的一个显著优势是它们能够在远少于稠密模型所需的计算资源下进行有效的预训练。这意味着在相同的计算预算条件下，可以显著扩大模型或数据集的规模。特别是在预训练阶段，与稠密模型相比，混合专家模型通常能够更快地达到相同的质量水平。

AI的发展方向我们认为主要有两个：一个是有趣、亲和、更像人的AI；另一个是有用、严谨、更像工具的AI。AI更像工具还是更像人呢？其实有很多争议。就技术的发展阶段来说：目前很长一段时间应该是”更像工具的AI“，未来的某个时间节点会朝着”更像人的AI“方向发展。

介绍

数据集包含25,000张狗和猫的图片。此数据集中的每个图片都有标签作为文件名的一部分。测试文件夹包含12,500张图片，根据数字ID命名。对于测试集中的每个图片，您应该预测该图片是狗/猫的概率（1 = 狗，0 = 猫）。为了解决这个问题，我们将使用预训练模型ResNet-50，仅替换最后一层。

我想说明在构建深度学习NLP模型时如何进行有意义的预处理。

• 当有预先训练的嵌入时，不要使用标准预处理步骤，例如词干提取或停用词删除。
• 让你的词汇尽可能接近嵌入。
  阅读全文 »

自然语言处理（NLP）是人工智能的一个分支，它负责连接机器以自然语言理解人类。自然语言可以是文本或声音的形式。NLP可以用人类的方式与机器进行交流。文本分类是情感分析中涉及的内容。它是将人类的意见或表达分类为不同的情绪。情绪包括正面、中立和负面、评论评级以及快乐、悲伤。 情绪分析可以针对不同的以消费者为中心的行业进行，分析人们对特定产品或主题的看法。自然语言处理起源于20世纪50年代。早在1950年，艾伦·图灵就发表了一篇题为《计算机器与智能》的文章，提出了图灵测试作为智能的标准，这项任务涉及自然语言的自动解释和生成，但当时尚未明确阐述。在此内核中，我们将重点关注文本分类和情感分析部分。

内容

在本文中，我将从RNN的基础知识开始，一直到构建最新的深度学习架构来解决NLP问题。它将涵盖以下内容：

• 简单的RNN(循环神经网络)。
• 词嵌入(Word Embeddings)：定义以及如何获取。
• 长短期记忆网络(LSTM)。
• 门控循环单元(GRU)。
• 双向RNN。
• 编码器-解码器模型（Seq2Seq模型）。
• 注意力模型(Attention Models)。
• Transformer-你所需要的就是注意力。
• BERT。
  阅读全文 »

介绍

过去几年深度学习取得显着进步的一个领域是自然语言处理（NLP）。计算机现在可以生成文本、自动从一种语言翻译成另一种语言、分析评论、标记句子中的单词等等。也许NLP最广泛的实际应用是分类——将文档自动分类到某个类别。例如，这可以用于：

• 情绪分析（例如，人们对您的产品有正面还是负面评价）。
• 作者识别（最有可能是哪个作者写了一些文档）。
• 法律发现（哪些文件属于审判范围）。
• 按主题组织文档。
• 对电子邮件进行分类。
• …以及更多！
  阅读全文 »

Pytrees

什么是Pytree？如果我们按照文档中提供的Pytress定义，那么Pytree是指由类似容器的Python对象构建的树状结构。什么是类似容器的Python对象？看到名称，您可能已经猜到类似容器的Python对象包括列表、元组、字典、namedtuple、OrderedDict和None。这些数据结构是默认的类似容器的对象，被视为Pytree。我们还可以告诉JAX将视为类似容器的对象，但我们需要首先将它们包含在Pytree注册表中。让我们看一下Pytree的几个例子。