flink的内存模型详解

Flink 的内存模型是其高效处理流式/批量数据的核心架构之一，其设计旨在优化资源利用并避免内存溢出。以下是详细解析：

• JVM特定内存：JVM本身使用的内存，包含JVM的metaspace和over-head

1）JVM metaspace：JVM元空间

taskmanager.memory.jvm-metaspace.size，默认256mb

2）JVM over-head执行开销：JVM执行时自身所需要的内容，包括线程堆栈、IO、编译缓存等所使用的内存。

taskmanager.memory.jvm-overhead.fraction，默认0.1

taskmanager.memory.jvm-overhead.min，默认192mb

taskmanager.memory.jvm-overhead.max，默认1gb

一、总内存划分

TaskManager（工作节点）的总内存由以下两部分构成：

1. 框架内存（Framework Heap/Off-Heap）
   用于运行时框架（如网络通信、RPC、检查点协调）。 $$ \text{框架内存} = \text{总内存} \times f_{\text{framework}} \quad (f_{\text{framework}} \approx 10%\text{默认}) $$

2. 任务内存（Task Heap/Off-Heap）
   供用户任务（算子、状态、排序等）使用。