news 2026/6/25 13:21:37

Flink的特点

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Flink的特点

#1.FLINK的优点
1.批流统一
同一套代码,同一个SQL可以跑批处理,也可以跑流处理。
2.性能卓越
3.规模计算
支持水平扩展架构
支持超大状态与增量检查点机制
状态:计算过程中的数据或者数据本身。
大公司情况
每天处理数万亿的事件(数据)
应用维护几个TB大小的状态
应用在数千个CPU核心上运行。
4.生态兼容
支持与yarn集成
支持与kubernetes集成
支持单机模式运行
5.高容错
故障自动重试
一致性检查点
保证故障现场下精确一次的状态一致性

3.全新版本
基于最新Flink1.17.0版本
新source接口用法
新sink接口用法
通用增量检查点changelog
导入依赖的变化

#2.Flink是什么
Flink的官方主页地址: https://flink.apache.org
Flink的核心目标,是“数据流上的有状态计算”(Stateful Computations over Data Streams)
具体说明:apache flink 是一个框架 和分布式处理引擎,用于对无界和有界数据流将那些有状态计算。

事件驱动型应用
流处理的流水线
流&批数据分析

有界和无界流
1.无界数据流
有定义流的开始,但没有定义流的结束
他们会无休止的产生数据
无界流的数据必须持续处理,即数据被摄取后需要立即处理。
我们不能等到所有数据都到达后再处理,因为输入是无限的。


2.有界数据流
有定义流的开始,也有定义流的结束。
有界流可以在摄取所有数据后再进行计算
有界流所有数据可以被排序,所以并不需要有序摄取。
有界流处理通常被称为批处理。


有状态流处理
把流处理需要的额外数据保存成一个"状态",然后针对这条数据进行处理,并且更新状态。这就是所谓的"有状态的流处理"

状态在内存中:优点,速度快,缺点:可靠性差。

#3.Flink的特点
我们处理数据的目标是:低延迟,高吞吐,结果的准确性和良好的容错性。

flink主要特点如下:
高吞吐和低延迟:每秒处理数百万个事件,毫秒级延迟。每秒上亿条数据。
结果的准确性:flink提供了事件事件(event-time)和处理时间(processing-time)定义。
对于乱序事件流,事件时间定义仍然能提供一致且准确的结果。

精准一次(exactly-once)的状态一致性保证
Flink可以连接到最常用的存储系统:如kafka,Hive,JDBC,HDFS,Redis等

高可用:本身高可用的设置,加上与K8S,YARN和Mesos的紧密集成,再加上从故障中快速恢复和动态扩展任务的能力,
Flink能做到以极少的停机时间7*24全天候运行。

Flink vs SparkStreaming
Spark以批处理为根本。
spark数据模型:spark 采用 RDD模型,sparkStreaming的DStream 实际上也就是一组组小批数据RDD的集合。
spark运行时架构:spark是批计算,将DAG划分为不同的stage,一个完成后才可以计算下一个。

Flink以流处理为根本。
Flink数据模型:Flink基本数据模型是数据流,以及事件(Event)序列。
flink运行时机构:flink是标准的流执行模式,一个事件再一个节点处理完后可以直接发往下一个节点进行处理。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/25 13:21:28

Navicat Mac版无限试用期终极解决方案:3种高效重置方法详解

Navicat Mac版无限试用期终极解决方案:3种高效重置方法详解 【免费下载链接】navicat_reset_mac navicat mac版无限重置试用期脚本 Navicat Mac Version Unlimited Trial Reset Script 项目地址: https://gitcode.com/gh_mirrors/na/navicat_reset_mac Navic…

作者头像 李华
网站建设 2026/6/25 13:18:30

三步完成FanControl中文界面配置:打造你的个性化散热管理中心

三步完成FanControl中文界面配置:打造你的个性化散热管理中心 【免费下载链接】FanControl.Releases This is the release repository for Fan Control, a highly customizable fan controlling software for Windows. 项目地址: https://gitcode.com/GitHub_Tren…

作者头像 李华
网站建设 2026/6/25 13:16:24

Mixtral 8x7B:开源稀疏MoE模型实战指南

1. 项目概述:为什么Mixtral 8x7B不是又一个“新模型”,而是开源AI的分水岭你可能已经习惯了每周刷到几条“全新开源大模型发布”的推送——名字越来越长,参数量越来越大,宣传语越来越炫。但这次不一样。2023年12月,Mis…

作者头像 李华
网站建设 2026/6/25 13:14:52

搞懂LangChain开发库,还有dotenv实战

为帮助开发者快速吃透 LangChain 整体架构、解决入门难题,本文将拆解项目核心模块,并讲解在实际项目中,API Key的常用配置和dotenv代码实战,内容简洁易懂,兼顾理论认知与实际开发落地。 如果喜欢看视频学习的&#xf…

作者头像 李华
网站建设 2026/6/25 13:11:23

Python 协程池性能调优实践

Python协程池性能调优实践 在当今高并发的应用场景中,Python的协程池(如asyncio和aiohttp)因其轻量级和高效性成为开发者优化性能的重要工具。协程池的默认配置可能无法完全发挥其潜力,尤其是在高负载或复杂业务逻辑下。本文将分…

作者头像 李华