Flink 的基本概念是什么？

文章来源：企鹅号 - 大数据老司机

Apache Flink 的基本概念包括一系列核心概念，这些概念构成了 Flink 的数据处理模型。以下是 Flink 的一些基本概念：

1、数据流（DataStream）：数据流是 Flink 中的基本数据抽象，代表无限（实时）或有界（批处理）的数据流。数据流可以是单个事件，也可以是事件的集合。

2、转换操作（Transformation）：转换操作是对数据流进行处理的操作，Flink 提供了丰富的转换操作，如 Map、Filter、KeyBy、Window 等。转换操作用于构建数据处理的计算逻辑。

3、窗口（Window）：窗口用于将无限流切割成有限的块，以便对每个窗口应用转换操作。窗口可以基于时间、元素数量等进行定义，例如滚动窗口、滑动窗口等。

4、时间语义（Time Semantics）：时间语义是指事件的时间属性，Flink 支持事件时间（Event Time）、处理时间（Processing Time）和摄入时间（Ingestion Time）。时间语义在窗口操作和状态管理中起到关键作用。

5、状态（State）：状态用于在 Flink 任务中保存和访问中间结果或信息。Flink 提供了内建的状态管理机制，允许任务维护和更新状态。

6、检查点（Checkpoint）：检查点是 Flink 中的一种容错机制，用于定期保存任务的状态。检查点可以用于在任务失败时恢复到之前的状态。

7、并行度（Parallelism）：并行度定义了任务或操作的并行度，即并发执行的任务或操作的数量。Flink 允许设置任务级别和操作级别的并行度。

8、任务图（JobGraph）：任务图是 Flink 任务的逻辑表示，它描述了任务中各个操作之间的依赖关系和执行顺序。

9、源（Source）和接收器（Sink）：源是数据流的起始点，接收器是数据流的终止点。Flink 提供了丰富的源和接收器连接器，用于与不同的数据源和目标进行交互。

10、检查点和保存点（Savepoint）：检查点是任务状态的一致性快照，保存点是一组检查点的集合。它们用于容错和在任务中进行版本迁移。

这些基本概念构建了 Flink 的数据处理模型，通过这些概念，用户可以构建灵活且高效的流处理和批处理应用。在深入使用 Flink 之前，理解这些概念是非常重要的。

扫码

添加站长进交流群

领取专属 10元无门槛券

私享最新 技术干货