生成对抗网络(GAN)（机器学习）
生成对抗网络(GAN)由Goodfellow等人在NeurIPS,2014中提出，是机器学习领域一项令人兴奋的最新创新。GAN是一种生成模型：它们会创建与您的训练数据相似的新数据实例。例如，即使这些脸不属于任何真实的人，GAN也可以创建看起来像人脸照片的图像。
高质量人类数据—思考（深度学习）
高质量数据是深度学习模型训练的燃料。大多数特定任务的标记数据来自人工标注，例如分类任务或用于LLM对齐训练的RLHF labeling(基于人类反馈的强化学习标注)（可以构建为分类格式）。文章中的许多ML技术可以帮助提高数据质量，但从根本上讲，人工数据收集需要关注细节和谨慎行事。
视频生成的扩散模型（深度学习）
过去几年，扩散模型在图像合成方面取得了显著成果。现在，研究界开始研究一项更艰巨的任务——将其用于视频生成。这项任务本身是图像情况的超集，因为图像是1帧的视频，而且它更具挑战性，因为：
- 它对时间上跨帧的时间一致性有额外的要求，这自然要求将更多的世界知识编码到模型中。
- 相比于文本或图像，收集大量高质量、高维的视频数据更加困难。
什么是扩散模型（深度学习）
扩散模型的灵感来自非平衡热力学。它们定义了一个马尔可夫链扩散步骤，以缓慢地向数据添加随机噪声，然后学习逆转扩散过程以从噪声中构建所需的数据样本。与VAE或流模型不同，扩散模型是通过固定程序学习的，并且潜在变量具有高维度（与原始数据相同）。
Transformer系列（机器学习）
Transformer（将被称为“vanilla Transformer”以区别于其他增强版本；Vaswani等人，2017年）模型具有编码器-解码器架构，这在许多NMT模型中很常见。后来简化的 Transformer在语言建模任务中表现出色，例如在仅编码器的BERT或仅解码器的GPT中。
数据可视化（Python）
鸢尾花(Iris)数据集如何利用pandas, matplotlib和seaborn库进行可视化分析。
利用推测采样加速大型语言模型解码（LLM）
论文中提出了推测性采样算法，这是一种通过从每个Transformer调用生成多个token来加速Transformer解码的算法。推测采样算法依赖于以下观察：由更快但能力较弱的draft模型生成的短连续并行评分的延迟与从较大的目标模型中采样单个token的延迟相当。这与一种新颖的改进拒绝采样方案相结合，该方案在硬件数值内保留了目标模型的分布。使用Chinchilla（一个700亿参数语言模型）对推测性采样进行基准测试，在分布式设置中实现了2-2.5倍解码速度的提高，而且不会影响样本质量或对模型本身的变更。
GPT模型探析（LLM）(Numpy)
GPT代表生成式预训练Transformer(Generative Pre-trained Transformer)。这是一类基于Transformer的神经网络架构。生成式(Generative)：GPT可以生成文本；预训练(Pre-trained)：GPT基于来自于书本、互联网等来源的海量文本进行训练；Transformer：GPT是一个decoder-only的Transformer神经网络结构。
自然语言处理 (预训练)
人与人之间需要交流。出于人类这种基本需要，每天都有大量的书面文本产生。 比如，社交媒体、聊天应用、电子邮件、产品评论、新闻文章、研究论文和书籍中的丰富文本，使计算机能够理解它们以提供帮助或基于人类语言做出决策变得至关重要。自然语言处理是指研究使用自然语言的计算机和人类之间的交互。要理解文本，我们可以从学习它的表示开始。利用来自大型语料库的现有文本序列，自监督学习(self-supervised learning)已被广泛用于预训练文本表示，例如通过使用周围文本的其它部分来预测文本的隐藏部分。通过这种方式，模型可以通过有监督地从海量文本数据中学习，而不需要昂贵的标签标注！