UMBRELLA

梯度下降

我们看到了成本函数的可视化，以及如何尝试选择不同的参数和。如果我们有一种更系统的方法来找到和的值，从而得到的最小成本。事实证明，有一种称为梯度下降的算法可实现这一点。梯度下降在机器学习中随处可见，不仅用于线性回归，还用于训练一些最先进的神经网络模型，也称为深度学习模型。

介绍

机器学习如今正在创造巨大的经济价值。我认为，当今机器学习创造的经济价值的99%是通过一种机器学习实现的，这种机器学习被称为监督学习。

介绍

离散去噪扩散模型(Discrete Denoising Diffusion Models, DDMs)是一种用于生成合成数据的深度学习模型，近年来因其在隐私保护方面的潜力而受到关注。随着对数据隐私的日益重视，研究人员开始探索这些模型在生成合成数据时的隐私保护能力。在生成合成数据的过程中，传统的隐私保护方法往往无法有效应对数据泄露的风险。离散去噪扩散模型通过逐步引入噪声并在后续步骤中去噪，生成与原始数据分布相似的合成数据。尽管已有实证研究评估了这些模型的性能，但对其隐私保护能力的数学表征仍存在较大缺口。

主成分分析(PCA)

现在您已经了解了投影的概念，让我们看看PCA如何使用它来降低数据集的维度。如下图所示，每个点代表一个不同的观测值，由两个以和位置为图形的特征​​组成。降低此数据的维度意味着将图形为平面点的二维数据转变为图形为一条线的一维数据。该集合不是以原点(0,0)为中心，现在让我们看看如果投影到轴上会发生什么？

线性变换

线性代数—张成

一组向量的张成(span)就是沿着这些向量的方向以任意组合移动到达的点的集合。例如，您已经看到这两个向量的张成(span)是平面，因为您可以通过沿着这两个方向移动到达平面上的任何点。同样，这两个向量的张成(span)也是平面。到达这些点可能需要一段时间，但可以只使用这两个方向。然而，这两个向量并不跨越平面。因为正如您之前所看到的，并非每个点都可以通过沿着这两个方向移动到达，它们是同一个方向。它们跨越哪一侧？那么这条线上的任何一点都可以通过沿着向量的方向移动到达，因此这两个向量的张成(span)就是那条线。

向量代数

点积

用矩阵和向量表达线性方程组的非常简洁的方法，称为点积。点积是线性代数中非常重要的运算。

介绍

数据科学是一门跨学科的领域，结合了统计学、计算机科学和领域知识，以从数据中提取有价值的信息。数学在数据科学中起着至关重要的作用，以下是数据科学中一些关键的数学基础。

• 线性代数：矩阵和向量—线性代数是数据科学的基础，特别是在机器学习和数据分析中。矩阵和向量用于表示和操作数据集；矩阵分解—如特征值分解和奇异值分解(SVD)，这些技术在降维和数据压缩中非常重要。
• 微积分：导数和积分—微积分用于优化算法，尤其是梯度下降法，这是训练机器学习模型的核心技术；偏导数和多变量微积分—在复杂模型中，涉及多个变量的优化问题需要用到这些概念。
• 概率与统计：基本概率—包括概率分布、期望值和方差，这些是理解随机过程和不确定性的重要工具；统计推断—如假设检验、置信区间和贝叶斯统计，用于从样本数据中推断总体特征。
• 最优化：线性规划和非线性规划—用于解决资源分配和决策问题；凸优化—许多机器学习算法的基础，通过优化目标函数来找到最佳参数。
  阅读全文 »

介绍

SpatialVLM是由Google DeepMind开发的一种视觉语言模型(Vision-Language Model, VLM)，其主要目标是增强VLMs的空间推理能力(Spatial Reasoning Capabilities)，使其能够理解和推理三维空间中的物体关系。

介绍

SAM2(Segment Anything Model 2)是Meta AI最新发布的图像和视频分割模型,是Segment Anything Model(SAM)的下一代模型。SAM2是一个统一的模型,可以同时处理图像和视频的分割任务。这种统一的架构简化了部署,并在不同媒体类型中实现了一致的性能。SAM2采用了提示式视觉分割(Promptable Visual Segmentation, PVS)的方法。用户可以通过点击、边界框或掩码等方式在视频的任何帧上提供提示,模型会立即生成相应的分割掩码,并将其传播到整个视频中。

介绍

联邦学习(Federated Learning，FL)是一种分布式机器学习技术，旨在保护数据隐私的同时，利用分散在多个边缘设备或服务器上的本地数据进行模型训练。该方法由谷歌在2016年首次提出，主要用于解决数据孤岛和隐私保护问题。它本质上是一种保护隐私的多方协作机器学习框架，它允许参与方建立一个联合训练模型，但参与方均在本地维护其底层数据而不将原始数据进行共享。联邦学习的核心思想是将模型训练过程分布在多个本地设备上，而不是将所有数据集中到一个中央服务器。每个设备在本地使用其数据进行模型训练，然后将模型参数（而非原始数据）发送到中央服务器进行聚合。通过这种方式，联邦学习能够有效保护数据隐私，减少数据传输的风险和成本。