1. 回首过往
第三章中，看似学了很多，其实就是学了一个nn.linear，其他的都可以记不住，只需要记住这个nn.linear。
第四章中，一张图片的格式(3,224,224)，它是如何变成一个分类的输出
2. 特征提取
2.1 特征提取器的理解
所谓的深度学习，就是把输入转为一个高维的向量，某种意义上来说，可以理解为我们其实是在编码或者压缩而已
之后，我们用提取到的特征去做其他的事，比如分类、回归
2.2.我们的目的
那么我们的目的就是如何更好的提取出特征
2.3.模型提取出的特征到底是什么（或者说代表什么）
可能与我们的任务有关
比如在上面这个分类任务中，如果我们给上面label为0，下面为1。
那么模型很可能会提取到关于颜色的特征
如果左右分，那么模型就会提取到形状相关的特征
模型要学到什么，由我们的标签来决定，这就叫做有监督学习
3.无监督学习
3.1.无监督学习的意义
无监督学习，一般指我们只有数据，没有标签
大部分的数据是没有标签的
人工标注数据一般都是0.5元一张
我们要想办法把这些没有标签的数据运用起来
3.2.无监督学习的方法
机器学习：
降维：PCA（主成分分析）
聚类
深度学习：
生成对抗网络 (GAN)
自监督学习：拿自己的一部分作为标签，比如对比学习和生成式子监督。
3.3.无监督的深层原理
以人类婴儿的眼光，并没有什么有标签数据，只是单纯将相同的物体放在一块
比如我们并没有给狗打上标签，或者给猫打上标签，但是我们自然的分辨出了它们
而机器其实也可以做到这样的事情，不需要标签，去让相同的类的特征离得更近
让图片通过模型，然后将狗与狗放得更近，将猫与猫放得更近
这就出现了一个有意思的问题，为什么我们可以这样分，而我们又没有标签
3.4.对比学习：让自己和自己靠得更近
自己和自己一定是同一类，将原图和增广图作为同类数据
如果说模型能做到，将原图和增广图中相同的物品放在一块，一个很烂的模型是做不到的，要做到这样的任务，模型就必须拥有某种提取特征的能力
能够分辨出自己和自己是同一类，这本身就是一种能力
如果能让自己和自己的距离更近，说明模型肯定有这个能力去提取特征
所以如何让没有标签的数据被模型利用上，其实就是创建了一个自己预测自己的任务，让模型有前进的方向
3.5.GAN（生成对抗网络）
在GAN中有两个敌对方，生成器和判别器
生成器负责生成假图片来骗过判别器
判别器负责识别出假图片
一开始判别器可能很垃圾，随着训练，判别器越来越好，导致生成器也必须提升，然后生成器效果的提升又倒逼判别器的提升
生成器与判别器成长的动力就是ACC，ACC太低时会刺激判别器的能力提升，之后ACC提升，刺激生成器的能力提升，导致ACC下降，又以此循环。这两部分是相互对抗的，这就是生成对抗网络。
3.6.cycle-gan
我们有一个生成任务对应的二次元图片的任务，我们先只要求生成二次元图片
之后我们要求图片能够还原回去，来确保相像
并且神经网络是很懒的，它只会找最近的点去映射
3.7.生成式自监督
3.7.1 图片里的自监督
一份文件进行压缩成为压缩包，又进行解压成为文件
其中肯定不是乱压缩还原就可以做到的，要遵守某种协议
这和深度学习中的特定任务也有相似之处
比如我们让图片经过模型成为一个一维向量，又通过这个一维向量还原出图片
那么这个模型肯定不是一个乱七八糟的模型，而是一个非常强大的模型
前半部分模型被称为encoder，后半部分被称为decoder
整个过程被称为autoencoder
如果模型是随机的，他肯定不能对所以图片做到这一点，
如果能对所有图片做到这一点，肯定是好模型
原理来自何凯明的论文
只用经过masked的图片就基本可以做到还原
还有一种方法，以灰度图预测原图，能做到这样的事的模型肯定也特别强
3.7.2 文字里的自监督
如果模型能够把被遮住的字还原出来，那也肯定是个好模型
用这种方法训练模型，那么数据来源几乎是无穷无尽的，随便找一段话，打上掩码就可以丢进去训练。
4.无监督后干什么
4.1 预训练与微调
把经过无监督学习后的有特征提取能力的好模型，配上一个分类头就可以进行分类任务，还有一些其他的任务统称为下游任务，把经过预训练之后的模型拿来用就是微调。
所以预训练是非常重要的，gpt中的p就是pretrain
上一节中使用半监督模型最多可能达到62的ACC，而使用预训练模型可以达到82的ACC
李哥的奇思妙想，用encoder做加密，decoder做解密
4.2 特征分离
一个很有趣的融合，将梵高的作画风格与摄影照片的内容相结合，生成了一张很奇特的图片
这里面的风格和内容是如何区分的呢？
大佬们没有给出理由，只给出了结果
所以要明确一点就是，AI不是在学人类，AI只是在玩特征
深度学习所有内容包括大模型都是在玩特征，包括大模型，里面也是一群特征在流动
5. 总结
我们学了如何用没有标签的数据给模型编一个训练目标，去训练一个能够提取图片等特征的模型
拿到这个模型之后就可以用来干很多其他的事了，分类、回归等下游任务都可以
要学习大佬们的巧妙设计来约束模型，以训练它们的能力
ps.
stable diffusion 不停的生成一个噪声加入图片，最终图片完全变成噪声，之后再还原图片，原理和自编码器那里也有相似之处。
