关于训练损失（train Loss）和验证损失（validation Loss），想象你在教一只狗做算术。你有一堆卡片，每张卡片都有一个数学问题，比如“2 + 3 =？”和答案。小狗的任务看着问题，然后找出正确答案。
如果你发现小狗在训练时的错误很少（训练损失低）但是在新的问题上的错误很多（验证损失高），那就意味着小狗已经记住了你给它看过的哪些特定问题和答案，而没有真正学会怎么做算术。这就是模型过拟合了，支队训练数据学的很好，但对新的数据就不行了。你的目标是要让小狗在训练和验证时都尽量少犯错误，这样它才能学会做算术，也能应用到新的问题上。
PyTorch Lightning 是专业人工智能研究人员和机器学习工程师的深度学习框架。是一个batteries included的深度学习框架，适合需要最大灵活性同时大规模增强性能的专业人工智能研究人员和机器学习工程师。
自然语言处理（NLP）：就是轻松教会计算机理解人类的语言，像阅读、回答问题、识别语音这些日常操作，都离不开他。这其中，有几大关键算法功不可没：
RNN）：专门对付一连串信息，比如做翻译和预测下一句，只是对长句子力不从心。LSTM）：升级版的RNN，解决了记忆差的问题，擅长学习语言中的长距离关联。SVM）：经典分类器，在区分不同类别文本上有一手。GAN）：一边生成文本一边鉴别真伪。用于生成逼真的对话内容BRET、GPT等明星模型先在海量文本里“修炼”，然后应用于各种场景。Transformer：自注意力机制的核心，编码解码一手抓，翻译和生成任务轻松搞定。
CNN与MLP的区别：
CNN（卷积神经网络）：就像一个厉害的画家，它通过扫描局部特征（比如边缘、纹理）来识别图片。特备擅长看图说话，由“局部观察员”卷积层找到关键线索，接着用池化层浓缩信息，最后全连接层整合所有线索判断画中内容类别。CNN的强项在于处理图像和视频这类局部细节丰富的数据。MLP（多层感知机）：则仿佛是一位音乐大师，专注于倾听旋律与节奏的全局特征，从而识别音乐风格。MLP在处理文本和声音这类整体模式重要的数据时独具匠心。它的结构就像层层堆叠的乐团，每层神经元都跟前一层相连，共同构建复杂映射关系。总结一下，CNN是图像处理专家，专攻局部特征；MLP则是文本和音频的理解高手，聚焦全局特征。
多模态融合是指将来自不同感知渠道（如图像、文本、语音、视频等）的数据信息整合起来，共同进行分析和理解的过程，传统的多模态融合方法可能无法有效地捕获跨模态之间的依赖关系，而Transformer通过自注意力机制可以灵活地捕捉到不同模态特征间的相关性，并且能够根据不同模态输入的重要性动态调整权重，实现高效的信息交互与融合。简答来说，就是将不同类型的数据“混合搅拌”，从而得到更丰富、更深入的信息。比如，把图片和文字放到一起，让机器自己找联系。在这个过程中，不同模态的数据就像是不同口味的食材，还能快速的烹饪出美味。它通过学习和转换不同模态的数据，让多模态融合变得更加简单、高效。未来，随着技术的进步，多模态融合将在更多领域大放异彩。
模型压缩技术就像就像经验丰富的老师教学生的过程。大而复杂的教师模型已经学到了很多“知识”，包括不仅限于准确预测的能力，还包括对输入数据细微差别的敏感度。学生模型则相对简单，通过模仿教师模型的输出以及中间层特征分布来学习这些知识，这样即使学生模型结构简单、参数少，也能达到接近甚至超越教师模型的表现。模型压缩就像给模型做“断舍离”，它通过剪枝（丢掉不那么重要的参数）、量化（把复杂的数字变简单）、智能结构设计（NAS帮你找最优架构）和模块替换（换上高效的小部件），巧妙的缩小模型体积，还不影响表现力。
知识蒸馏则是师傅带徒弟的好戏。大而强的教师模型传授经验给小而精的学生模型，教会学生模仿自己识别图像、做决策的能力，结果小模型也能接近甚至超越师傅的水平，但体积却迷你的多。为什么这两种技术非常重要呢？
UP：大大减少计算、存储和传输数据的需求，在手机，物联网设备这些地方超实用。GET：压缩后的模型推理速度更快，满足各种实时应用需求。PLUS：只是蒸馏可以提炼关键特征，让模型更好解释且能更好应对新情况。