news 2026/6/8 18:08:43

本地部署爬虫管理平台 Crawlab 并实现外部访问

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
本地部署爬虫管理平台 Crawlab 并实现外部访问

Crawlab 是一款分布式爬虫管理平台,支持运行任何语言,具有扩展性还提供了爬虫自动化部署、在线文件编辑等功能。本文将详细的介绍如何利用 Docker 在本地部署 Crawlab 并结合路由侠实现外网访问本地部署的 Crawlab。

第一步,本地部署 Crawlab

本文 Crawlab 的安装需在 docker 环境下进行,若未安装 docker 可参考文章安装 Docker 详细说明(Linux)

1,创建 Crawlab 文件夹。

mkdir -p /volume1/docker/crawlab/{data,master,worker01,worker02}

2,进入 Crawlab 目录。

cd /volume1/docker/crawlab

4,创建 docker-compose.yml 文件。

vim docker-compose.yml
version: '3.3' services: master: image: crawlabteam/crawlab:latest container_name: crawlab_example_master environment: CRAWLAB_NODE_MASTER: "Y" CRAWLAB_MONGO_HOST: "mongo" volumes: - "./master:/root/.crawlab" ports: - "8235:8080" depends_on: - mongo worker01: image: crawlabteam/crawlab:latest container_name: crawlab_example_worker01 environment: CRAWLAB_NODE_MASTER: "N" CRAWLAB_GRPC_ADDRESS: "master" CRAWLAB_FS_FILER_URL: "http://master:8080/api/filer" volumes: - "./worker01:/root/.crawlab" depends_on: - master worker02: image: crawlabteam/crawlab:latest container_name: crawlab_example_worker02 environment: CRAWLAB_NODE_MASTER: "N" CRAWLAB_GRPC_ADDRESS: "master" CRAWLAB_FS_FILER_URL: "http://master:8080/api/filer" volumes: - "./worker02:/root/.crawlab" depends_on: - master mongo: image: mongo:4.2 container_name: crawlab_example_mongo restart: always volumes: - ./data:/data/db

5,启动容器。

docker-compose up -d

6,浏览器输入 http://localhost:8235 即可访问 Crawlab。

第二步,外网访问 Crawlab

当前未提供网页管理,在任意一台 Windows 机器安装路由侠 Windows 版,用作跨机器管理。点此下载

1,下载安装完成后,打开路由侠界面,进入【设备中心】。点击右下角的“添加设备”,此时可查看到对应的安装码,此安装码用于将设备添加到对应账号下,可选中后复制。

2,直接下载后导入。

wget https://dl.luyouxia.com:8443/v2/lyx-docker-x86_64.tar docker load -i lyx-docker-x86_64.tar

3,然后使用该镜像启动容器。

docker run --name lyx -it --restart=always --net=host -e code=这里填写安装码 luyouxia/lyx

4,当前 Linux 终端这边,如果是使用的上面的命令,Docker 是运行在前台,此时可以按住 Ctrl+C ,退出路由侠,容器也将退出。现在可以使用以下命令将其放入后台持续运行。

docker start lyx

5,现在回到 Windows 这边设备列表,点击右上角的×返回主界面,再次进入,就可以找到这个设备,可以修改名称。

6,回到主界面,点击【内网映射】。

7,注意右上角的设备名称下拉框,这里选中刚刚添加的设备名称,此时在这个界面上添加的映射,就属于刚刚这个设备。添加或修改一般需要等待30秒,容器中的路由侠进程就会更新并加载。切换好设备后,点击【添加映射】。

8,选择【原生端口】。

9,在内网端口里填写端口 8235 后点击【创建】按钮,如下图。

10,创建好后,就可以看到一条映射的公网地址,鼠标右键点击【复制地址】。

11,在外网电脑上,打开浏览器,在地址栏输入从路由侠生成的外网地址,就可以看到内网部署的 Crawlab登录界面了。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/28 13:15:56

大模型入门实战(非常详细)零基础入门到精通,收藏这一篇就够了

Part.1 什么是生成式AI? **“所有产品都值得用大模型重做一次。”**是近几年在AI圈子非常火爆的观点。 当大家都在热议大模型和生成式AI时,怎么让这些炫酷的技术快速落地,真正帮到商业和社会,成了个大难题。不过,AWS已…

作者头像 李华
网站建设 2026/5/29 1:47:22

【程序员必看】大模型本地化部署指南:macOS系统下LLM运行详解与收藏

本文详细介绍了大模型的基本概念、发展历程和技术原理,重点讲解了在macOS系统下本地运行大模型的实践方法。文章探讨了模型部署中的内存挑战和量化技术(GPTQ、GGML),并通过llama.cpp和whisper.cpp等项目提供了具体的操作指南,帮助开发者在本地…

作者头像 李华
网站建设 2026/6/5 23:48:43

Conda list导出已安装包:Miniconda-Python3.10生成环境快照

Conda list导出已安装包:Miniconda-Python3.10生成环境快照 在科研、AI开发和工程部署中,你是否曾遇到过这样的场景?——同事发来一份PyTorch模型代码,你兴冲冲地运行,结果第一行就报错:“torch not found”…

作者头像 李华
网站建设 2026/6/5 16:44:12

PyTorch autograd机制解析:Miniconda-Python3.10调试梯度计算

PyTorch autograd机制解析:Miniconda-Python3.10调试梯度计算 在深度学习模型的开发过程中,一个看似微小的梯度异常就可能导致整个训练流程崩溃——你是否曾遇到过 loss 突然变为 NaN、参数毫无更新,甚至反向传播时程序静默失败?这…

作者头像 李华
网站建设 2026/6/5 5:20:21

Conda环境克隆技巧:Miniconda-Python3.10快速复制已有配置

Conda环境克隆技巧:Miniconda-Python3.10快速复制已有配置 在人工智能和数据科学项目中,一个让人头疼的常见问题不是模型调参,也不是算力不足,而是“在我机器上明明能跑,在你那边怎么就报错了?”——这种看…

作者头像 李华
网站建设 2026/5/30 22:02:25

APB协议分析

概述AMBA(Advanced Microcontroller Bus Architecture)作为ARM的片上互连总线规范,其演进史本质是一部SoC设计复杂度增长史。下图所示AMBA1~4的演进史。图表 1‑1 AMBA系统的演进AMBA1主要组成有ASB(Advanced System Bus)和APB(Advanced Peri…

作者头像 李华