news 2026/7/22 9:58:06

阿里PAI平台使用ESA部署模型滚动更新

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
阿里PAI平台使用ESA部署模型滚动更新

阿里PAI平台使用ESA部署模型滚动更新

场景:

阿里PAI平台使用ESA部署模型,vllm部署双卡,双实例

EAS滚动更新配置:

超过期望实例数:{”rolling_strategy.max_surge“:1}

  • 超过期望的实例数(JSON参数:rolling_strategy.max_surge

    • 描述:更新时最多可额外创建的实例数,支持正整数或百分比。值越大,更新越快。
    • 例如:100个实例,配置为20,则更新开始即创建20个新实例。
    • **默认值:**实例总数的2%(不足1时取1)。

    重要

    超过期望的实例数过大时,大量新实例上线后会立即替换等量旧实例,若新实例未预热,突增流量可能冲击服务稳定性。

最大不可用实例数: {“rolling_strategy.max_unavailable”:0}

  • 最大不可用实例数(JSON参数:rolling_strategy.max_unavailable

    • **描述:**更新过程中允许的最大不可用实例数,用于释放资源,防止因资源不足导致更新过程被阻碍。
    • 例如:设为N,更新开始时立即停止N个旧实例。
    • 默认值:
      • 专属资源组:2025年9月1日前创建的服务,默认为1。2025年9月1日后创建的服务,弹性资源池开启默认为0,未开启默认为1。
      • 公共资源组:0。
      • 灵骏智算Quota:2025年9月1日前创建的服务,默认为0。2025年9月1日后创建的服务,默认为实例数的2%(不足1时取1)。

    重要

    • 单实例服务若将最大不可用实例数设为1,滚动更新时旧实例会在新实例启动前退出,期间服务无可用实例,将短暂不可用。
    • 最大不可用实例数过大可能导致过多实例同时下线,剩余实例不足以承载流量,影响服务可用性。

EAS优雅退出配置:

优雅退出时间:{“eas.termination_grace_period”:60}

优雅退出时间(JSON参数:eas.termination_grace_period

  • **描述:**实例优雅退出等待时间,单位秒。实例进入Terminating状态后,流量被摘除,系统等待30秒让其处理完已接收请求后再下线。若请求处理时间较长,建议调大该值。
  • **默认值:**30

是否发送SIGTERM:{“rpc.enable_sigterm”: false}

是否发送SIGTERM(JSON参数:rpc.enable_sigterm

  • **描述:**SIGTERM是终止进程的信号。JSON参数取值true、false。
    • false:实例退出时不会发送SIGTERM信号。
    • true:实例退出时,系统立即发送SIGTERM信号,服务主进程需在信号处理函数中实现自定义优雅退出逻辑,否则可能直接终止,导致优雅退出失败。
  • **默认值:**不发送(false)
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/21 23:49:57

【深度学习新浪潮】qwen3-0.6B这种小模型有什么实际意义和用途吗?

Qwen3-0.6B(6亿参数)这类轻量级模型虽不及大型模型全能,但在特定场景下具有不可替代的实用价值: 一、核心优势:小参数,大能量 1. 硬件门槛革命 超低硬件需求:可在10年前的骁龙801芯片手机上运行(延迟约1秒),甚至仅需4核2.4G CPU的边缘设备,无需GPU 轻量化部署:4-bit量…

作者头像 李华
网站建设 2026/7/20 20:46:33

2025年毕业论文范文大全:标准格式+写作技巧+AI工具推荐

撰写毕业论文是每个毕业生的重要任务,然而标准格式的严格要求、写作技巧的掌握以及工具的有效运用,都可能成为大家面临的难题。为助力同学们在 2025 年顺利完成高质量的毕业论文,本文精心整理了毕业论文的标准格式,涵盖封面、目录…

作者头像 李华
网站建设 2026/7/22 2:23:38

cdnfly节点到源服务器配置内网IP不生效怎么办

在使用 CDNFly 配置节点与源服务器时,如果内网 IP 配置不生效,可能是由于网络、配置或环境方面的问题。以下是可能的原因及解决方法:1. 检查节点和源服务器的网络连通性1.1 确保节点与源服务器处于同一内网如果 CDNFly 节点和源服务器不在同一…

作者头像 李华
网站建设 2026/7/21 20:48:46

ollama下载最新版本是否支持Qwen3-32B?答案揭晓

Ollama 能否运行 Qwen3-32B?一文讲透技术现状与落地路径 在本地部署大模型的热潮中,越来越多开发者和企业开始关注:有没有一种方式,既能享受顶级开源模型的强大能力,又能像使用 Docker 一样“一键启动”? O…

作者头像 李华
网站建设 2026/7/18 18:13:31

【拯救HMI】:深度解析拯救HMI的工业设计方法论

-揭秘:如何将「操作黑洞」变成「科幻座舱」?很多工程师会问:HMI设计不就是画几张图吗?在拯救HMI,这是一场关于逻辑与美学的精密手术。我们不仅仅是设计一张「皮」,更是重塑设计的「魂」。看一个真实的改变&…

作者头像 李华