https://univtac.github.io/
Github:https://github.com/univtac/UniVTAC
本篇论文中使用了几款视触觉传感器:
1.通过在仿真环境中采集视触觉传感器的相关数据(RGB、Marker、Depth等),训练一个基于ResNet-18 骨干网络作为共享编码器,得到一个预训练权重(encoder/checkpoints/resnet18/20251128-125750/best.pth);
2.在ACT模型训练时,backbone中使用resnet18时,加载基于触觉训练的预训练权重(encoder/checkpoints/resnet18/20251128-125750/best.pth),用实际真机采集的触觉RGB图像作为输入。
- 官方默认ACT使用的resnet18权重:
加载的是默认的权重 - UniVTAC中:
预训练权重下载:
运行仓库提供的数据和权重下载:https://github.com/univtac/UniVTAC/blob/main/data/download.sh
该脚本会通过 ModelScope 下载 byml2024/UniVTAC 数据集,其中包含了预训练权重文件。