简介:本资源是一套面向人工智能初学者与进阶学习者的系统性入门资料包,覆盖机器学习基础理论、Python编程实践、深度学习实验及环境配置等核心环节,适用于高校学生、转行新人及自学爱好者夯实知识体系与动手能力。压缩包共105个文件,包含27个Jupyter Notebook(含代码实现与可视化分析)、21个PPTX课件(梳理概念框架与算法原理)、19张JPG示意图(辅助理解模型结构与流程)、13个HTML作业页面(含完整深度学习实验报告与结果展示),以及Python脚本、Word复习要点、PDF参考文档等,总容量150.37MB,结构清晰、模块分明。已有345人下载学习,内容源自真实课程学习过程,涵盖CentOS下Python编译安装、多轮深度学习作业实践、知识点复习提纲等实用素材,兼具教学逻辑性与工程可复现性,便于按需取用、循序渐进掌握AI技术栈。
1. 这不是一份“资料合集”,而是一套可落地的深度学习课程实践切片
你下载的这个.zip文件,表面看是《人工智能》课程资料包,但真正有价值的是其中 9 份带编号的 HTML 作业文件(第03、05–07、10–12次),全部出自“普通-36-杜培博”之手——这不是泛泛而谈的PPT或PDF讲义,而是在 CentOS 7 环境下完成的、含完整代码+运行日志+结果截图的深度学习实操记录。它解决的不是“什么是反向传播”,而是“在没有 root 权限的 CentOS 7 服务器上,如何用编译安装的 Python 3.8 运行 PyTorch 并复现 ResNet-18 分类任务”。适合两类人:一是刚配好 Linux 服务器、卡在pip install torch报错的初学者;二是需要快速验证某次作业结构(比如第07次的 CNN 可视化模块)是否与自己实现一致的进阶学习者。所有作业均基于真实终端命令执行,HTML 中嵌入的<pre>块包含python train.py --epochs 50 --batch-size 64等可直接复用的参数组合,而非理论推导。
2. CentOS 7 编译安装 Python 3 的底层逻辑与避坑清单
CentOS 7 默认仅提供 Python 2.7,而深度学习框架(PyTorch/TensorFlow)已全面要求 Python ≥3.7。直接yum install python3安装的版本常为 3.6(如 CentOS 7.9),不满足torch==2.0.1的最低依赖。因此,该资料包中Centos7编译安装python3.docx提供的方案,本质是绕过系统包管理器,构建独立于/usr/bin/的 Python 3.8.10 运行时环境,这是后续所有作业能稳定执行的前提。
2.1 编译前必须确认的 4 项系统状态
提示:跳过此步直接
./configure极可能导致ModuleNotFoundError: No module named '_ssl'或zlib not available错误。
首先检查开发工具链是否完备:
# 检查 GCC 版本(需 ≥4.8.5) gcc --version # 验证关键依赖库是否存在(缺失则 yum install) rpm -q openssl-devel zlib-devel bzip2-devel sqlite-devel readline-devel # 查看当前 Python 3 是否已存在及版本(避免路径冲突) ls /usr/bin/python3* python3 --version # 若输出 3.6.x,说明系统自带,需明确指定新路径若openssl-devel未安装,执行sudo yum install openssl-devel -y;若zlib-devel缺失,sudo yum install zlib-devel -y。注意:readline-devel影响交互式 shell 的上下箭头功能,sqlite-devel决定sqlite3模块能否导入——这两项在训练脚本调用logging或保存模型权重时可能触发隐式依赖。
2.2 编译安装 Python 3.8.10 的标准流程与参数含义
该文档采用源码编译而非 pyenv,核心在于--prefix和--enable-optimizations两个参数:
# 下载并解压源码(以 3.8.10 为例) wget https://www.python.org/ftp/python/3.8.10/Python-3.8.10.tgz tar -xzf Python-3.8.10.tgz cd Python-3.8.10 # 关键配置命令(逐项说明) ./configure \ --prefix=/opt/python3.8 \ # 指定安装根目录,避免污染 /usr/local --enable-optimizations \ # 启用 PGO(Profile-Guided Optimization),提升解释器性能约10% --with-ensurepip=install \ # 强制安装 pip,否则需手动 get-pip.py LDFLAGS="-Wl,-rpath,/opt/python3.8/lib" # 解决运行时动态库路径问题 # 编译(-j$(nproc) 利用全部 CPU 核心) make -j$(nproc) # 安装(需 sudo 权限) sudo make install参数详解表:
| 参数 | 作用 | 不设置的风险 |
|---|---|---|
--prefix=/opt/python3.8 | 将 Python 安装到非系统路径,避免与yum管理的包冲突 | make install可能覆盖/usr/local/bin/python3,导致系统工具(如firewalld)异常 |
--enable-optimizations | 编译时收集性能数据并二次优化,生成更高效的字节码 | 解释器启动慢 15%~20%,import numpy耗时增加明显 |
LDFLAGS="-Wl,-rpath,..." | 在二进制中硬编码动态库搜索路径,解决libpython3.8.so找不到问题 | import _ssl失败,pip install无法连接 HTTPS 源 |
安装完成后,验证路径:
/opt/python3.8/bin/python3 --version # 应输出 3.8.10 /opt/python3.8/bin/pip3 list | grep pip # 确认 pip 已就位2.3 创建隔离虚拟环境并安装 PyTorch
作业 HTML 文件中所有pip install命令均基于/opt/python3.8/bin/python3 -m venv创建的环境:
# 创建虚拟环境(使用新安装的 Python) /opt/python3.8/bin/python3 -m venv /home/user/dl-env # 激活环境 source /home/user/dl-env/bin/activate # 升级 pip(必须!否则可能无法安装 torch 2.0+) pip install --upgrade pip # 安装 PyTorch(根据 CUDA 版本选择,此处以 CPU 版为例) pip install torch==2.0.1+cpu torchvision==0.15.2+cpu torchaudio==2.0.2+cpu -f https://download.pytorch.org/whl/torch_stable.html注意:若服务器有 NVIDIA GPU,需先确认
nvidia-smi输出的 CUDA 版本(如 11.7),再替换+cpu为+cu117,并确保cudnn已正确安装。该资料包所有作业均未启用 GPU 加速,故默认使用 CPU 版本,避免CUDA out of memory类错误干扰调试。
3. 深度学习作业 HTML 文件的结构解析与复现实战
9 份 HTML 作业文件(如普通-36-杜培博-第07次深度学习作业.html)并非静态网页,而是 Jupyter Notebook 导出的可执行记录。其价值在于:每个<h2>标题对应一个可独立运行的代码块,且<pre>中的命令包含真实终端输出(如Epoch [1/50] Loss: 2.3124 Acc: 0.124)。这意味着你可以直接复制代码,在本地复现相同训练过程。
3.1 作业文件的三层信息架构
每份 HTML 实质由三部分构成:
- 教学指令层:
<h3>标题如“任务要求:使用 CIFAR-10 数据集训练一个 3 层 CNN”,明确输入/输出约束; - 代码实现层:
<pre><code class="language-python">块,含import torch.nn as nn等完整模块; - 执行验证层:
<pre>中紧随代码之后的终端输出,如Model accuracy on test set: 72.3%,证明该代码在作者环境中成功运行。
这种结构使你无需猜测“是否漏了model.train()”,因为输出日志已证实训练模式开启。
3.2 第07次作业:CNN 可视化模块的完整复现步骤
以第07次深度学习作业.html为例,其核心任务是可视化卷积层特征图。HTML 中关键代码块如下:
# 加载预训练模型(此处为自定义 CNN) model = SimpleCNN() model.load_state_dict(torch.load('cnn_model.pth')) # 获取某一层的输出(以第一个 Conv2d 为例) layer_output = [] def hook_fn(module, input, output): layer_output.append(output) model.conv1.register_forward_hook(hook_fn) # 注册钩子 # 输入单张图像 img = torch.randn(1, 3, 32, 32) # 模拟 CIFAR-10 图像 _ = model(img) # 可视化前 8 个通道 plt.figure(figsize=(12, 3)) for i in range(8): plt.subplot(1, 8, i+1) plt.imshow(layer_output[0][0, i].detach().numpy(), cmap='gray') plt.axis('off') plt.show()复现时必须调整的 3 个参数:
| 参数 | 原始值(HTML 中) | 你需修改为 | 原因 |
|---|---|---|---|
torch.randn(1, 3, 32, 32) | 随机噪声 | 替换为真实 CIFAR-10 图像 | 钩子捕获的是随机数据特征,无实际意义;应加载torchvision.datasets.CIFAR10中的样本 |
model.conv1 | 硬编码层名 | 改为list(model.children())[0] | 不同 CNN 结构层名不同,用索引更鲁棒 |
cmap='gray' | 灰度映射 | 改为cmap='viridis' | 彩色映射更易区分激活强度差异,尤其对 ReLU 后的正值 |
执行前需确保:
# 安装 matplotlib(HTML 中未显式声明,但 plt.show() 依赖它) pip install matplotlib # 下载 CIFAR-10 数据集(自动缓存到 ~/.cache/torch/hub/) from torchvision import datasets trainset = datasets.CIFAR10(root='./data', train=True, download=True)3.3 第12次作业:学习率调度器的对比实验设计
该作业 HTML 中包含StepLR与ReduceLROnPlateau的对比表格,但未给出完整代码。根据其描述“在 50 个 epoch 中,StepLR 每 10 轮衰减 0.1 倍,ReduceLROnPlateau 在验证损失 3 轮不下降时衰减”,可补全如下:
# 初始化调度器 scheduler_step = torch.optim.lr_scheduler.StepLR(optimizer, step_size=10, gamma=0.1) scheduler_plateau = torch.optim.lr_scheduler.ReduceLROnPlateau( optimizer, mode='min', factor=0.1, patience=3, verbose=True ) # 训练循环中调用方式(关键区别!) for epoch in range(50): train_loss = train_one_epoch(model, dataloader_train) val_loss = validate(model, dataloader_val) # StepLR:每轮都 step scheduler_step.step() # ReduceLROnPlateau:仅当 val_loss 不下降时 step scheduler_plateau.step(val_loss) # 必须传入指标值 print(f"Epoch {epoch+1}, LR: {optimizer.param_groups[0]['lr']:.6f}")提示:
ReduceLROnPlateau的patience=3表示连续 3 个 epoch 验证损失未降低才触发衰减,而StepLR是机械式衰减。HTML 中的对比结果(StepLR 最终 acc 71.2%,Plateau 73.8%)说明后者更适合 CIFAR-10 这类收敛较慢的任务。
4. 从 .docx 复习要点到可执行代码的转化方法论
220522复习要点.docx和11111.docx是纯文字总结,但它们的价值在于将抽象概念锚定到具体代码位置。例如,“反向传播的计算图构建”在11111.docx中被简化为一句话:“loss.backward()自动调用torch.autograd生成计算图”,而该结论的实证来自第05次深度学习作业.html中loss.backward()后立即打印model.conv1.weight.grad的代码块。
4.1 文档与 HTML 的交叉验证技巧
建立三列对照表,将.docx中的理论点映射到 HTML 中的代码行:
| 复习要点(.docx) | 对应 HTML 文件 | 代码位置与验证方式 |
|---|---|---|
| “BatchNorm 在训练/推理模式下行为不同” | 第06次作业.html | 搜索model.train()和model.eval(),观察BN.running_mean在两种模式下的变化日志 |
| “DataLoader 的 num_workers 设置影响 I/O 效率” | 第10次作业.html | 查找<pre>中DataLoader(..., num_workers=4)的训练耗时记录,对比num_workers=0的日志 |
| “交叉验证需打乱数据集并分层采样” | 第11次作业.html | 定位StratifiedKFold初始化代码,验证y参数是否为标签数组而非 one-hot |
4.2 将 .docx 公式转化为 PyTorch 张量操作
220522复习要点.docx中的 Softmax 公式:
$$\sigma(z)i = \frac{e^{z_i}}{\sum{j=1}^K e^{z_j}}$$
在第03次深度学习作业.html中被实现为:
# 原始 logits(形状 [32, 10]) logits = model(x_batch) # x_batch: [32, 3, 32, 32] # 手动实现 Softmax(验证公式) exp_logits = torch.exp(logits) softmax_manual = exp_logits / torch.sum(exp_logits, dim=1, keepdim=True) # PyTorch 内置函数(等价) softmax_builtin = torch.softmax(logits, dim=1) # 验证一致性 print(torch.allclose(softmax_manual, softmax_builtin, atol=1e-6)) # True关键参数说明:
dim=1:沿类别维度(10 类)归一化,keepdim=True保持 batch 维度,输出仍为[32, 10];atol=1e-6:绝对容差,因浮点运算精度差异,直接==比较会返回False;- 此代码块证明:
.docx中的数学符号σ(z)_i在 PyTorch 中即torch.softmax(..., dim=1)[i]。
5. 在无图形界面的 CentOS 7 服务器上运行可视化代码的替代方案
所有 HTML 作业中的plt.show()在无 X11 的服务器上会报错TclError: no display name and no $DISPLAY environment variable。该资料包未提供解决方案,但实际可行的 3 种绕过方式如下:
5.1 使用 Agg 后端保存图像而非显示
在导入 matplotlib 后立即设置后端:
import matplotlib matplotlib.use('Agg') # 必须在 import pyplot 前调用 import matplotlib.pyplot as plt # 后续代码不变 plt.figure(figsize=(12, 3)) for i in range(8): plt.subplot(1, 8, i+1) plt.imshow(layer_output[0][0, i].detach().numpy(), cmap='viridis') plt.axis('off') # 保存而非 show plt.savefig('conv1_features.png', bbox_inches='tight') plt.close() # 释放内存注意:
bbox_inches='tight'自动裁剪空白边距,避免保存的 PNG 包含大量白边;plt.close()防止内存泄漏,尤其在循环中多次绘图时。
5.2 将特征图转为 Base64 嵌入 HTML 报告
若需在 Web 端查看,可将图像编码为 Base64:
import base64 from io import BytesIO # 生成图像 fig = plt.figure(figsize=(12, 3)) # ... 绘图代码 ... buf = BytesIO() plt.savefig(buf, format='png', bbox_inches='tight') buf.seek(0) img_base64 = base64.b64encode(buf.read()).decode('utf-8') plt.close(fig) # 生成 HTML 片段 html_report = f'<img src="data:image/png;base64,{img_base64}" alt="Conv1 Features">' with open('features_report.html', 'w') as f: f.write(html_report)执行后生成features_report.html,用浏览器打开即可查看——这正是该资料包中 HTML 作业文件的原始生成逻辑。
5.3 使用 tensorboard 记录并远程访问
对于训练过程可视化(如 loss 曲线),推荐tensorboard:
# 安装(在虚拟环境中) pip install tensorboard # 启动服务(绑定到 0.0.0.0,允许远程访问) tensorboard --logdir=./runs --host=0.0.0.0 --port=6006然后在本地浏览器访问http://服务器IP:6006。HTML 作业中第12次的 loss 曲线图,实际就是通过writer.add_scalar('Loss/train', loss, epoch)写入的。该方案比 Matplotlib 更适合长期训练监控,且无需处理图像保存路径权限问题。
本文还有配套的精品资源,点击获取