目录
- swap 空间扩容
- huggingface更换目录
- ffmpeg视频处理
- 清理空间
相当于记录一下工作笔记吧。
swap 空间扩容
swap空间还是有用的,有时候会通过内存处理这样的数据量,比如通过内存来处理数据集(并行)此时32G的内存可能很亏就没有了,而swap空间也可能占满。
首先是swap空间的创建:
# 1. 切换到 /tmp 目录(确保路径正确)cd/tmp# 2. 创建 15GB swap 文件(dd 命令兼容性最好,带进度显示)sudoddif=/dev/zeroof=/tmp/swap_tempbs=1Gcount=15status=progress# 3. 设置安全权限(0600,仅 root 可读写)sudochmod0600 /tmp/swap_temp# 4. 格式化为 swap 格式sudomkswap/tmp/swap_temp# 5. 启用这个 15GB 临时 swap 文件sudoswapon/tmp/swap_temp# 6. 验证是否生效(查看 swap 列表和总大小)swapon--showfree-h如果要清理swap空间,执行
sudoswapoff /tmp/swap_temp# 关闭 swaprm-f /tmp/swap_temp# 删除文件huggingface更换目录
首先移动原本的文件:
# 核心:直接指定源和目标路径,极简版 mv 也支持目录移动mv~/.cache/huggingface /work/home/ac0xf2jf13/cyun/# 验证移动结果(能看到 huggingface 目录即成功)ls-ld /work/home/ac0xf2jf13/cyun/huggingface替换相关配置
# 添加以下内容(复制到末尾)exportHUGGINGFACE_HUB_CACHE=/work/home/ac0xf2jf13/cyun/huggingface/hubexportHF_DATASETS_CACHE=/work/home/ac0xf2jf13/cyun/huggingface/datasetsffmpeg视频处理
这里我们只用到ffmpeg的一个功能,那就是视频的截取功能:
sudoaptupdate&&sudoaptinstall-y ffmpegffmpeg -i input.mp4 -ss 00:02:00 -to 00:17:00 -c:v copy -c:a copy output.mp4清理空间
这里主要是清理pip存缓和谷歌浏览器的存缓:
pip cache purge>/dev/null2>&1rm-rf ~/.cache/pip/*>/dev/null2>&1rm-rf ~/.config/google-chrome/Default/Service\Worker/CacheStorage/*