federated-rl-multicloud安全部署指南：dry-run模式与live模式如何安全切换

federated-rl-multicloud是一个基于联邦强化学习（FRL）的多云负载均衡与任务调度开源项目：多个云区域各自运行 PPO 智能体，通过 FedAvg/FedProx 聚合策略，在时延、SLO、成本与碳排约束下学习最优调度。对于新手最关心的问题——"它会不会误操作我的真实集群？"答案是：不会，项目默认以 dry-run（演练）模式运行，只有在显式开启 live 模式并提供凭证后才会触碰真实的 Kubernetes / OpenStack 环境。

本文带你完整理解这套安全部署机制，并掌握从 dry-run 到 live 模式的安全切换步骤。

一、先建立信心：federated-rl-multicloud 的默认安全设计

在动手之前，先了解项目内置的三道"保险"：

核心逻辑集中在两个钩子文件中。以 Kubernetes 扩缩容为例（src/hooks/k8s.py）：

def scale_deployment(name: str, replicas: int, namespace: str='default', dry: bool=True): if dry or os.environ.get('INTEGRATION_MODE','dry')!='live': return {'status':'dry-run', 'deployment': name, 'replicas': replicas} # Live path: requires ~/.kube/config and RBAC permissions. from kubernetes import client, config ...

可以看到：只要dry=True或环境变量不是live，函数就直接返回一条模拟结果，连kubernetes客户端都不会导入。OpenStack 虚机放置钩子（src/hooks/openstack.py）采用完全相同的防护模式。

💡 一句话总结：没有显式"双钥匙"（INTEGRATION_MODE=live+ 真实凭证），代码就永远停在演练模式。

二、读懂三份集成配置：你的"安全围栏"长什么样

切换模式前，务必先审查配置文件，它们定义了 live 模式下的行为边界。

1️⃣ Kubernetes 配置：configs/integrations/k8s_dry.yaml

mode: dry namespace: default scaling_limits: min_replicas: 1 max_replicas: 10

• mode: dry：声明当前为演练模式
• scaling_limits：即使切到 live，智能体也只能把副本数调在1～10之间，天然防止"疯狂扩缩容"
• 两个受管 Deployment：lb-gateway与compute-node

2️⃣ OpenStack 配置：configs/integrations/openstack_dry.yaml

mode: dry quota: cores: 64 ram: 256000 flavors: - name: m4.large # 2 vCPU / 8GB - name: c5.2xlarge # 8 vCPU / 16GB

这里用quota把可用 CPU 核数和内存总量封顶，并用白名单限定可用的 flavor 规格——live 模式下智能体"能花多少资源"一目了然。

3️⃣ 监控配置：configs/integrations/prometheus.yml

Prometheus 每 5 秒抓取一次实验容器（frl:8000）的指标，为切换前后的对比观察提供数据支撑。

这三份配置与主实验配置中的引用关系，可以在 configs/experiments/small_demo.yaml 看到：

integrations: mode: dry # dry | live kubernetes: configs/integrations/k8s_dry.yaml openstack: configs/integrations/openstack_dry.yaml prometheus: configs/integrations/prometheus.yml

mode: dry旁边就有dry | live的注释，说明切换只需改这一个字段（外加环境变量与凭证）。

三、最快安全方法：6 步从 dry-run 切换到 live 模式

推荐按照下面的顺序操作，每一步都可独立回退：

Step 1：跑通单元测试，确认环境健康

make test

测试入口见 tests/test_imports.py，先确保所有核心模块可正常导入。

Step 2：完整跑一遍 dry-run 实验，记录基线指标

make run-demo

该命令执行 src/run_experiment.py 中的实验主流程，输出时延、SLO 违例、成本、碳排等指标到results/small_demo/metrics.csv。这组数据是你验证 live 模式效果对比的"基准线"。

Step 3：设置环境变量开关

export INTEGRATION_MODE=live

Step 4：准备好真实凭证（缺一不可）

• Kubernetes：~/.kube/config指向目标集群，且当前用户拥有对应 namespace 的 Deployment Scale 修改权限（建议走最小权限 RBAC，只授予deployments/scale的patch权限）
• OpenStack：配置OS_AUTH_URL、OS_USERNAME、OS_PROJECT_NAME等环境变量，并安装openstacksdk（见 requirements.txt 中的可选项）

Step 5：修改配置文件中的模式字段

将k8s_dry.yaml、openstack_dry.yaml与small_demo.yaml中的mode: dry改为mode: live（建议复制为新文件，如k8s_live.yaml，保留 dry 版随时回滚）。

Step 6：小规模试运行 + 持续监控

先用 configs/experiments/ 中 timesteps 最小的配置试跑，同时通过 Prometheus（端口 9090）盯住扩缩容与 VM 创建行为，确认动作都落在scaling_limits/quota边界内，再逐步放量。

四、切换前必做的 5 项安全检查清单 📋

⚠️ 官方在 README.md 的 "Safety & Live Integrations" 一节也强调：启用 live 模式前请先审查configs/integrations/*.yaml与src/hooks/*源码。

五、容器化部署：用 Docker 把 dry-run 锁死

如果不打算接入真实云环境，最稳妥的做法是直接用容器跑实验，环境天然被锁定为演练模式（docker-compose.yaml）：

services: frl: build: . environment: - INTEGRATION_MODE=dry prometheus-stub: image: prom/prometheus

docker-compose up会同时拉起实验容器和 Prometheus 监控桩；镜像定义见 Dockerfile，其 ENTRYPOINT 默认执行small_demo.yaml实验。这种"改一行环境变量的成本 = 0"的隔离方式，是新手学习联邦强化学习调度策略时的最佳起点。

六、常见问题（FAQ）

Q1：设置了INTEGRATION_MODE=live但没有凭证会怎样？代码会走到真实分支并抛出异常（例如 kubeconfig 加载失败），而不是静默降级——fail-fast设计避免了"以为在演练、其实在裸奔"的错觉。

Q2：dry-run 模式下的调度结果可信吗？完全可信。dry-run 只影响"最后一公里"的执行钩子（src/hooks/），仿真环境 src/envs/multicloud_env.py 中的排队、时延、成本、碳排计算不受影响，这正是先 dry 后 live 方法论的价值所在。

Q3：如何观察联邦聚合过程？每轮 FedAvg/FedProx 的权重广播与聚合逻辑在 src/federated/client.py 与 src/federated/server.py 中，配合 notebooks/inspect_metrics.ipynb 可以查看每轮的指标变化。整体两阶段架构（区域级 LB 智能体 + 调度智能体）可参考 docs/figures/architecture.md 中的 Mermaid 图。

Q4：切换后如何确认没有越界操作？Prometheus 抓取的指标 + 配置中的scaling_limits/quota双重印证：副本数不应超过max_replicas，VM 总量不应突破 quota 上限。

写在最后

federated-rl-multicloud的安全哲学非常清晰：默认演练、显式开启、边界先行。作为新手，你的行动路径很简单——先用make test+make run-demo跑通全流程，读懂三份集成配置，再按本文的 6 步清单逐步切换到 live 模式。任何时候unset INTEGRATION_MODE，一切安全回到 dry-run。🚀