UMBRELLA

介绍

SAM2(Segment Anything Model 2)是Meta AI最新发布的图像和视频分割模型,是Segment Anything Model(SAM)的下一代模型。SAM2是一个统一的模型,可以同时处理图像和视频的分割任务。这种统一的架构简化了部署,并在不同媒体类型中实现了一致的性能。SAM2采用了提示式视觉分割(Promptable Visual Segmentation, PVS)的方法。用户可以通过点击、边界框或掩码等方式在视频的任何帧上提供提示,模型会立即生成相应的分割掩码,并将其传播到整个视频中。

介绍

联邦学习(Federated Learning，FL)是一种分布式机器学习技术，旨在保护数据隐私的同时，利用分散在多个边缘设备或服务器上的本地数据进行模型训练。该方法由谷歌在2016年首次提出，主要用于解决数据孤岛和隐私保护问题。它本质上是一种保护隐私的多方协作机器学习框架，它允许参与方建立一个联合训练模型，但参与方均在本地维护其底层数据而不将原始数据进行共享。联邦学习的核心思想是将模型训练过程分布在多个本地设备上，而不是将所有数据集中到一个中央服务器。每个设备在本地使用其数据进行模型训练，然后将模型参数（而非原始数据）发送到中央服务器进行聚合。通过这种方式，联邦学习能够有效保护数据隐私，减少数据传输的风险和成本。

介绍

MixLoRA是一种用于优化大规模语言模型(LLMs)微调的新方法，结合了LoRA(Low-Rank Adaptation)和专家混合(Mixture of Experts, MoE)技术。大规模语言模型的微调通常需要大量的计算资源和显存。LoRA通过引入低秩适配器，显著减少了微调时的参数数量和显存需求。然而，LoRA在多任务学习场景中的性能仍有提升空间。专家混合模型(MoE)在多任务学习中表现出色，但其资源需求对普通消费者级GPU来说是一个挑战。

介绍

LLM基准如何运作？从本质上讲，LLM基准测试遵循一个相当简单的原则：给模型一个任务，看看它表现如何，然后测量评估结果。但是，在评估可靠性方面存在一些细微差别。运行基准测试有以下几种方法：

• 零样本：模型在没有任何先前示例或提示的情况下接受任务。这展示了其理解和适应新情况的原始能力。
• 少量样本：在要求LLM解决类似任务之前，会先给其一些如何完成任务的示例。这揭示了其从少量数据中学习的能力。
• 微调：在这种情况下，LLM专门针对与基准任务相关的数据进行训练，目的是最大限度地提高其在该特定领域的熟练程度。如果微调有效，它将展示模型在任务中的最佳性能。
  阅读全文 »

介绍

可解释机器学习是指使机器学习系统的行为和预测可以被人类理解的方法和模型。数据集是包含机器学习数据的表格。数据集包含特征和要预测的目标。当用于建立模型时，数据集称为训练数据。实例是数据集中的一行。“实例”的其他名称是：（数据）点、示例。实例由特征值组成以及目标结果。特征是用于预测或分类的输入。特征是数据集中的一列。特征被认为是可解释的，这意味着很容易理解它们的含义，例如某一天的温度或一个人的身高。特征的可解释性是一个很大的假设。但如果很难理解输入特征，那么理解模型的作用就更难了。目标是机器学习预测的信息。在数学公式中，对于单个实例来说，目标通常称为或者。机器学习任务是具有特征的数据集和目标的组合。根据目标的类型，任务可以是分类、回归、聚类或异常值检测等。预测是机器学习模型根据给定的特征“猜测”目标值应该是什么。模型预测表示为或者。

介绍

CLIP(Contrastive Language-Image Pretraining)是由OpenAI开发的一种多模态学习模型，旨在通过自然语言描述来学习视觉概念。CLIP的核心在于将图像和文本嵌入到一个共同的语义空间中，从而实现跨模态的理解和应用。

介绍

Transformer是一种由Google团队在2017年提出的深度学习模型，专门用于自然语言处理(NLP)任务。它的核心机制是自注意力(Self-Attention)或缩放点积注意力(Scaled Dot-Product Attention)，能够处理输入序列中的每个元素，并计算其与序列中其他元素的交互关系。这使得模型能够更好地理解序列中的上下文关系。

Autoencoder是一种用于无监督学习的神经网络模型，旨在通过压缩和重建数据来学习数据的有效表示。Autoencoder由两个主要部分组成：编码器(Encoder)和解码器(Decoder)。

LongNet是微软研究院提出的一种创新的Transformer变体模型,其主要特点是能够处理极长序列,最多可达10亿个token。引用：LONGNET: Scaling Transformers to 1,000,000,000 Tokens，原理和特点：

LoRA(Low-Rank Adaptation) 是一种用于大型语言模型微调的高效技术。LoRA旨在解决大语言模型微调时的计算资源和存储空间问题。在原始预训练模型中增加一个低秩矩阵作为旁路,只训练这个低秩矩阵,而冻结原模型参数。工作原理：在原模型权重矩阵旁边增加一个低秩分解矩阵；是一个的矩阵,是一个的矩阵,其中；训练时只更新和,保持原始权重不变；推理时将与相加:。