在企业级场景里, 存在千万级数据体量, 还有日均TB级离线计算任务, 传统虚拟化或物理机大数据架构有着资源错配、闲置浪费以及弹性僵化问题, 这已成为技术成本管控的核心痛点。多数企业离线计算集群长期处于这样的困境, 高峰期时算力不足, 低谷期资源空转, 有任务资源抢占情况, 节点利用率两极分化。整体集群资源年均利用率不足30%, 大量服务器、存储、网络算力被无效占用, 并且冗余硬件带来高昂运维、电力、机房成本。
云原生技术成熟起来后, 基于此的容器化大数据架构展现实效, 凭借诸如存算分离再重构、动态弹性开展调度、离线在线进行混部、对资源实施精细化治理这么些核心能力, 将传统静态集群资源所受的桎梏完全打破而突破了, 专门解决离线计算端到端方面资源浪费问题的时候特别精准。在眼下的相关论述文章这儿, 会从架构存在的痛点、一步步的演进路线、至关重要的核心架构方案, 以及技术选型当中的权衡之处、实际落地的治理体系、实际操作得到的收益和行业未来趋向来全方位加以拆解, 为此给技术负责人、精通架设构造的专业人士提供那种既能实际应用落地、做出决策参考、达成规模化的大数据平台降低成本提升效益的方案。
一、传统离线大数据架构核心资源浪费根源
传统大数据平台, 其核心架构是以YARN资源调度、物理机或者固定虚拟机集群来构成的, 它适配的是早期那种数据量比较小、任务较为单一的业务场景, 然而在规模化离线计算场景当中, 因为架构存在先天缺陷, 致使资源浪费成为常态化现象, 并且核心问题集中于四大维度。
1.1 静态资源池固化，弹性能力缺失
“预分配固定资源”模式被传统集群所采用, 运维人员得依据业务峰值去预估节点数量, 以及CPU、内存、磁盘资源还得做这件事, 集群扩容部署要提前给完成。离线计算业务有着极强的波峰波谷特性, 每日凌晨数仓同步会出现, 批量清洗会出现, 报表计算任务会集中爆发, 于是资源瞬间就被打满。白天工作时段, 深夜非业务时段, 集群当中任务稀少, 大量节点处于空转状态。固定资源池没办法跟着任务量去进行动态扩缩容, 峰值的时候缺算力, 谷值的时候堆着闲置, 资源利用率长久处于低位。
1.2 任务资源配置粗放，碎片化浪费严重
在离线Spark、Hive中, 任务普遍有着资源配置一刀切的状况, 开发人员为了避免任务超时失败, 普遍会超规格地配置CPU及内存资源, 而实际任务运行时仅仅占用分配资源的30%至50%。与此同时, 传统调度器不支持资源的动态回收, 任务运行全程都占用预设资源, 就算是阶段性处于空闲状态也无法释放, 导致大量碎片化资源没办法被其他任务复用。此外, 小批量离线任务调度开销大, 资源占用比例失衡, 这进一步加剧了资源冗余损耗。
1.3 离在线集群隔离，算力无法复用
在传统架构范围内, 存在着在线业务服务, 还有实时计算集群以及离线计算集群, 它们处于物理隔离状态, 并且资源是独立的。在线业务有着“日间高峰、夜间低谷”这样的流量特征, 然而离线任务大部分集中在夜间去执行, 这二者的流量波峰是完全错配的。但是集群物理隔离的架构设计, 致使在线业务低谷期的闲置算力没办法承接离线任务, 离线集群是单独进行部署的, 还独立扩容, 整体的算力资源没办法形成错峰互补, 造成全域资源利用率极其低。
1.4 存算绑定架构，扩容冗余叠加
传统架构运用的是存有一体模式, 节点会同时去承担数据存储以及计算任务。当业务增长致使数据量持续进行扩容的时候, 就必须同步去新增计算节点来匹配存储容量, 就算现有计算的算力是充足的, 也需要为存储扩容去配套新增算力资源。与此同时, 存在重复数据存储、没有热点数据缓存机制, 导致有大量的无效计算、重复IO消耗, 这进一步放大了资源浪费, 集群扩容成本呈现出指数级增长。
二、大数据平台架构演进路线与选型权衡
行业大数据架构经历三次代际演变, 其核心迭代目的一直围绕着“解决资源浪费、提高算力利用率、降低运维成本”, 各种架构形态的适配场景、能力边界、以及落地成本存在明显差异, 企业需要依据业务规模、技术团队能力、成本目标来精确选型。
2.1 架构三代演进迭代
初代, 是物理机静态集群, 靠纯人工进行运维, 采用固定资源分配方式, 没有具备弹性的能力, 资源利用率在百分之二十以下, 只适配小规模的离线任务, 如今已经被全面淘汰了。
第二代是, 虚拟化YARN集群, 它基于虚拟机来实现资源虚拟化, 既能支持简单任务调度, 却没有动态扩缩容能力, 还进行了离在线资源隔离, 其资源利用率在20%-30%, 它属于是目前中小企业存量主流架构, 不过降本空间极小。
第三代, 是容器化云原生集群, 它基于K8s和存算分离架构建立, 能够对毫秒级弹性予以支持, 还支持离在线混部以及精细化资源调度, 其资源利用率可以提升到60%至85%, 可以与千万级流量场景良好适配, 能够完美匹配PB级离线计算场景, 这是行业主流的演进方向。
2.2 核心架构选型核心权衡
大数据架构在容器化落地时, 存在两大核心选型决策, 这两大决策直接决定最终的降本效果, 同时也决定系统的稳定性, 另外, 还需要兼顾性能、成本、稳定性以及运维复杂度这四大维度, 必须同时将这四个方面都考虑进去。
首要的是, 关于调度引擎的选型方面, 存在YARN与K8s这两种情况供考量。YARN适应传统大数据任务, 其生态成熟, 然而在弹性调度以及资源精细化管控方面的能力较为薄弱。K8s具备极致弹性、资源隔离、混部调度等能力, 能够无缝对接云原生全栈能力, 不过对于任务适配以及运维体系有着更高要求。在规模化离线计算场景下, 优先选择K8s原生调度, 借助Flink 、Spark K8s达成任务容器化托管, 以此兼顾生态兼容性与弹性能力。
第二, 关于部署模式的选型问题, 存在固定节点与, 固定容器节点适配那核心稳定离线任务, 该任务用于保障程序运行过程里其中这个任务环节的稳定特性。并且容器模式去适配突发以及短时批量离线任务, 达成任务结束之后资源在秒级的状态下予以释放, 不存在常时间驻留不动而产生闲置成本之类情况。企业所需要的最优方案是推行“常驻节点加上节点以混合方式进行部署”, 以此种形式来平衡稳定性以及资源利用率之间的关系。
三、容器化大数据平台核心架构设计（降本核心方案）
以长达十年的架构落地经验为基础, 有这么一套成熟状态的容器化离线大数据实现了优化的架构, 其核心是围绕着“存算分离底座、动态弹性调度、离在线混部、资源精细化管控、缓存加速优化”这五个核心模块而构建起来的, 它能够在全链路方面解决离线计算情况下资源出现浪费的难题, 除此之外还将兼顾情形下的高可用以及高利用率。
3.1 存算分离架构重构，彻底解除资源绑定
放弃传统那种存算一体的模式, 去构建一种架构, 这种架构是容器化的, 并且计算层、存储层完全进行解耦。存储层对接对象存储、分布式文件系统是统一地去做, 它能够独立地进行扩容, 独立地开展运维工作, 不需要伴随计算资源迭代 ；计算层全面以容器化的方式进行部署, 根据任务量实现动态伸缩, 把“为存扩容、被迫加算”的冗余浪费问题彻底解决。
与此同时, 引入分布式缓存组件, 针对离线计算当中的热点数据实施本地缓存, 以此解决对象存储的访问延迟非常高的状况, 以及重复IO损耗的问题, 防止因为重复拉取数据而致使的算力出现浪费的情形, 且大幅度提升离线任务的执行效率, 进而间接地降低资源占用的时长。经过实际测量能够知晓, 通过存算分离加上热点缓存优化, 能够降低超过30%的无效计算以及IO资源消耗。
3.2 K8s精细化调度体系，消灭闲置与碎片化资源
将基于K8s原生能力来构建专门针对离线任务的调度体系, 以此去解决传统调度中存在的粗放以及资源占用冗余的问题, 进而达成算力的精准分配。其核心部分落地了五项调度优化策略:
第一个方面表现为优先级以及抢占机制, 借助Pod来区分核心离线有关任务、普通批量类任务、低优测试类任务, 在保证核心业务维持稳定运行的状况下, 准许高优任务去抢占低优任务留有的闲置资源, 从而最大限度地让集群算力能够被盘活。
首先是节点污点与容忍调度, 达成离线任务专属节点隔离；接着是实现混部节点精准匹配；然后是躲开在线业务以及离在线业务与离线作业彼此干扰；最后是借助在线业务低谷节点去承接离线任务。
三是, VPA垂直动态开始进行扩缩容方面的操作, 实时对容器任务CPU使用率展开监控, 同时实时对容器任务内存使用率展开监控, 依据监控结果动态调整任务资源配额, 并且自动回收任务闲置资源, 以此杜绝超配导致的资源浪费现象发生。
四是关于Kueue任务队列的管理, 它针对大批量的离线任务, 进行排队操作, 开展限流举措, 实施批量调度, 以此避免因瞬时任务爆发而致使的资源抢占现象, 以及资源空转情况, 进而均衡集群的负载。
一是实施任务资源分层配置之举操作, 二乃针对大中小批量离线任务这一情况设定差异化资源阈值之事行动, 三为防止小任务调度开销大于实际计算开销所引发的资源倒挂问题之举措, 四是整体集群用于资源利用率提升的范围在25% - 40%之间的状况呈现。
3.3 离在线混部架构，错峰复用全域算力
凭借容器具备的强隔离以及动态调度方面的能力之时, 打破传统集群所存在的物理隔离方面的壁垒之时, 达成在线业务以及实时计算和离线计算任务进行混部部署的情况。借助在线业务呈现的“日间高峰、夜间低谷”这样的流量特性之时, 把大批量的离线批量计算、数据清洗以及日志分析任务调度到在线业务闲置节点那里去, 填补算力方面的空白之处。
凭借内核级强资源隔离, 以及流量熔断, 还有任务退避算法, 将混部稳定性问题予以彻底解决: 当在线业务流量出现上涨状况时, 会自动实施降级操作, 并暂停那些低优离线任务, 进而释放资源以此保障核心业务；而在在线流量处于低谷的时候, 则会对离线任务进行最大化调度, 从而盘活闲置的算力。此方案能够把集群整体的算力利用率, 从百分之三十提升至百分之七十以上, 并且无需新增硬件, 便能够承接翻倍的离线计算任务。
3.4 全链路弹性伸缩，按需释放闲置资源
构建一种双向弹性体系, 此体系要有“任务驱动、秒级响应”的特点, 还要适配离线计算波峰波谷场景。当任务进行批量启动的时候, 系统会自动去扩容容器计算节点, 以此支撑PB级批量计算任务能够并发执行；而在任务执行完毕之后, 要在30秒内快速地释放所有冗余容器资源, 防止出现节点空转闲置 的情况。
针对那种具有周期性特点的离线任务, 像是每日凌晨进行的数仓计算这种, 来配置定时的弹性策略, 预先去预热算力资源, 以此避免任务出现积压情况；针对突发的临时离线任务, 依靠容器所具备的能力达成毫秒级别的扩容, 按照用量来使用, 使用完了之后就释放, 最终全然告别固定资源池存在的常态化浪费现象。
四、技术治理体系：保障架构长期高效落地
架构的优化属于基础范畴, 技术的治理乃是长效而持久的保障措施。大多数企业尽管经历了容器化改造, 只是依然存在着资源白白浪费的情况, 其最为关键的原因在于缺少与之相配套的资源治理体系。需要构建起一种涵盖“监控、分析、优化、闭环”各个环节的全流程治理机制, 以此达成资源的精细化管控目标。
4.1 资源画像与智能分析
创建离线任务资源画像系统, 实时收集每一个离线任务的CPU、内存、磁盘、网络资源使用率, 以及运行时长、资源超配率等关键数据, 搭建任务资源基线模型。精确辨别低效任务、超配任务、闲置节点、碎片化资源, 为资源优化予以数据支持, 取代人工经验判断。
4.2 资源智能调优与强制规范
根据资源基线模型, 达成任务资源配置的智能推荐, 自动校正开发人员超配资源的状况；制订离线任务资源配置规范、任务调度规范、混部任务优先级规范, 经平台强制校验。哪些不符合规范的任务, 禁止上线, 于源头杜绝资源浪费。同时依动态资源回收机制, 实时释放任务运行当中的闲置资源。
4.3 成本可视化与责任闭环
构设大数据资源开销核算系统, 按照业务途径、使命、群组统计资源运用成本以及浪费比率, 达成成本可视化, 搭建资源浪费追究与改进激励机制, 把资源运用率、使命能效考评纳入技术群体考核范畴, 塑造“人人看重资源优化”的技术文化氛围, 确保架构优化成效长久稳固落地。
五、落地实战收益与风险规避
5.1 核心落地收益
成本收益方面, 有经过多行业千万级数据体量项目落地验证的情况, 其中提到容器化大数据架构能够把离线计算集群资源利用率, 从百分之二十到百分之三十提升到百分之六十五到百分之八十五, 还能让硬件资源投入减少百分之四十到百分之六十, 跟其相关的配套机房、电力以及运维成本也会同步下降, 并且企业年均大数据算力成本能够降低百分之三十以上。
借助弹性调度, 以及热点缓存, 还有任务优化, 实现了性能收益, 离线任务平均执行时长因此缩短了20%到35%, 任务积压问题被彻底解决, 超时问题也彻底解决, 数据产出时效性得到大大提升。
运维收益在于, 容器化能极大程度降低集群运维复杂度, 告别了人工进行的扩容工作, 告别了资源调配工作, 告别了故障兜底工作, 运维效率得以提升超过50%, 并且能够支撑业务数据量持续地规模化增长。
5.2 核心风险与规避方案
混部稳定性出现风险, 离在线混部会有资源被抢占、业务彼此干扰的问题。规避此风险的方案是, 借助内核级资源隔离, 通过任务优先级抢占, 利用流量阈值熔断, 运用离线任务退避算法, 严格保障核心在线业务的SLA, 让低优离线任务能动态地向核心业务让步。
有关于容器化适配的风险, 那就是传统大数据任务在迁移到容器化之后, 有可能会出现涉及兼容性方面的情况, 以及性能出现波动的那样的问题。而规避的方案是, 要采用一种渐进式的迁移策略, 存量的任务要做到兼容YARN调度, 对于新增的任务则要进行全面的容器化, 通过双架构并行这样的方式来平稳地过渡。
那种存在于弹性调度方面的异常风险是这样的, 即瞬时任务出现爆发的这种情况说不定可能致使调度产生拥堵现象, 还会造成扩容出现延迟状况。而规避的方案是这样的, 要去配置任务限流机制, 还要设置队列缓冲机制, 以及构建资源预热机制, 并且要对调度算法实施优化, 以此来保障弹性伸缩能够平稳可靠地进行运作。
六、行业技术趋势总结
如今, 企业大数据平台核心的演进趋向, 已然从“对算力规模的追求出发而转变成为”“对算力效能的追求”。以往那种依靠堆叠硬件来支撑业务的模式, 已经没办法去适配降低成本提升效率的行业需要, 云原生容器化、存算分离、离在线混部、智能资源治理会成为大数据平台的标配能力。
未来大数据架构会呈现三大核心趋势, 其一为全面化, 要将常驻闲置资源彻底消除, 达成算力切实按需付费；其二是AI赋能智能调度, 凭借任务特征、业务周期自动对资源配置与调度策略予以优化, 达成无人值守式资源最优化利用；其三是批流一体化融合, 实时与离线计算算力在全域实现互通、动态调度, 将算力场景壁垒完全打破。
七、结语
离线计算资源出现浪费这种情况, 并非单一的点上运维方面的问题, 而是传统架构所存在的系统性的缺陷, 容器化大数据架构的核心起到的价值所在, 并不是简简单单地把大数据组件以容器化的方式进行部署, 而是借助架构重新构建, 调度方面实现升级, 治理达成闭环, 从根源之处去解决资源出现固化、错配、闲置以及冗余这些问题。
对于技术负责人来讲, 构建容器化大数据平台, 不只是技术架构的更新换代, 更是企业用以管控技术成本、提高算力效能、 业务长期规模化发展的关键战略。借助本文整套架构方案以及治理体系实现落地, 能够达成大数据离线计算“性能得到提升、成本有所下降、效率实现升级”这三重收益, 给企业数字化建设夯实高效且低成本的算力基础。
