flink - 标签 - 腾讯云开发者社区-腾讯云

腾讯云

开发者社区

文档建议反馈控制台

首页TVP

#flink

Yelp 使用 Apache Beam 和 Apache Flink 彻底改造其流式架构

深度学习与Python 11天前2024-05-06 15:56:40

Yelp 公司采用 Apache Beam 和 Apache Flink 重新设计了原来的数据流架构。该公司使用 Apache 数据流项目创建了统一而灵活的解...

8810

Flink 系列：Flink 入门不再难！3000字深入浅出 WordCount 实战及精解

create17 2024-04-152024-04-15 17:02:45

在这个数据驱动的时代，掌握大数据技术成为了每一位开发者必不可少的技能。而在众多技术栈中，Flink无疑占据了重要的位置。作为一个高性能、可扩展的实时数据处理框架...

14510

Hive日志解析

用户7647874 2024-04-032024-04-03 15:56:40

因为我们应用的日志接了审计，所以这部分日志丢到了kafka，所以我尝试使用flink进行相关处理。

9410

SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比

Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

2024-03-272024-03-27 14:18:14

Apache SeaTunnel 是一个非常易用的超高性能分布式数据集成产品，支持海量数据的离线及实时同步。每天可稳定高效同步万亿级数据，已应用于数百家企业生产...

41310

Flink State 状态原理解析

吴云涛 2024-03-122024-03-12 08:50:55

State 用于记录 Flink 应用在运行过程中，算子的中间计算结果或者元数据信息。运行中的 Flink 应用如果需要上次计算结果进行处理的，则需要使用状态存...

18210

Maven安装本地的jar包和创建带模板的自定义项目

Kiba518 2024-03-072024-03-07 08:34:35

如果没配置Maven的环境变量，需要先CD到maven的安装目录，因为没配置环境变量，mvn命令是无法在maven安装目录以外的目录运行。 cd C:\Mav...

10510

【天衍系列 05】Flink集成KafkaSink组件：实现流式数据的可靠传输 & 高效协同

纸飞机_暖阳 2024-03-042024-03-04 17:47:53

Apache Flink 作为流式处理领域的先锋，为实时数据处理提供了强大而灵活的解决方案。其中，KafkaSink 是 Flink 生态系统中的关键组件之一，...

18810

【天衍系列 04】深入理解Flink的ElasticsearchSink组件：实时数据流如何无缝地流向Elasticsearch

纸飞机_暖阳 2024-03-042024-03-04 17:47:18

Flink的Elasticsearch Sink是用于将Flink数据流（DataStream）中的数据发送到Elasticsearch的组件。它是Flink的...

22710

【天衍系列 03】深入理解Flink的Watermark：实时流处理的时间概念与乱序处理

纸飞机_暖阳 2024-03-042024-03-04 17:45:45

Watermark 是用于处理事件时间的一种机制，用于表示事件时间流的进展。在流处理中，由于事件到达的顺序和延迟，系统需要一种机制来衡量事件时间的进展，以便正确...

25210

【天衍系列 02】深入理解Flink的FileSink 组件：实时流数据持久化与批量写入

纸飞机_暖阳 2024-03-042024-03-04 17:42:32

FileSink 是 Flink 中的 Sink 函数，用于将处理后的数据输出到文件系统。它能够处理实时数据流，并提供灵活的配置选项，允许用户定义输出文件的格式...

23910

【天衍系列 01】深入理解Flink的 FileSource 组件：实现大规模数据文件处理

纸飞机_暖阳 2024-03-042024-03-04 17:41:57

Apache Flink 是一个流式处理框架，被广泛应用于大数据领域的实时数据处理和分析任务中。在 Flink 中，FileSource 是一个重要的组件，用于...

30210

【极数系列】Flink集成KafkaSink & 实时输出数据（11）

纸飞机_暖阳 2024-03-042024-03-04 17:41:27

13210

【极数系列】Flink集成KafkaSource & 实时消费数据（10）

纸飞机_暖阳 2024-03-042024-03-04 17:38:27

? 若是不引入该依赖，项目启动直接报错：Exception in thread “main” java.lang.NoClassDefFoundError: o...

95110

【极数系列】ClassNotFoundException: org.apache.flink.connector.base.source.reader.RecordEmitter & 详细分析解决

纸飞机_暖阳 2024-03-042024-03-04 17:37:29

flink-connector-base模块主要是提供连接外部系统和数据源的基础功能，为其他具体的连接器模块提供了通用的接口和类。通过使用flink-conne...

20510

【极数系列】Flink集成DataSource读取Socket请求数据（09）

纸飞机_暖阳 2024-03-042024-03-04 17:36:04

11110

【极数系列】Flink集成DataSource读取文件数据（08）

纸飞机_暖阳 2024-03-042024-03-04 17:35:27

读取文本文件，例如遵守 TextInputFormat 规范的文件，逐行读取并将它们作为字符串返回。

12410

【极数系列】Flink集成DataSource读取集合数据（07）

纸飞机_暖阳 2024-03-042024-03-04 17:34:38

注意！使用迭代器的时候对象必须是实现持久化的，否则报错，详情可以看我的另外一篇文章、

10910

【极数系列】Flink配置参数如何获取？（06）

纸飞机_暖阳 2024-03-042024-03-04 17:34:05

直接下载解压可用 https://gitee.com/shawsongyue/aurora.git 模块：aurora_flink 主类：GetParams...

16210

#flink

Yelp 使用 Apache Beam 和 Apache Flink 彻底改造其流式架构

Flink 系列：Flink 入门不再难！3000字深入浅出 WordCount 实战及精解

Hive日志解析

SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比

Flink State 状态原理解析

Maven安装本地的jar包和创建带模板的自定义项目

【天衍系列 05】Flink集成KafkaSink组件：实现流式数据的可靠传输 & 高效协同

【天衍系列 04】深入理解Flink的ElasticsearchSink组件：实时数据流如何无缝地流向Elasticsearch

【天衍系列 03】深入理解Flink的Watermark：实时流处理的时间概念与乱序处理

【天衍系列 02】深入理解Flink的FileSink 组件：实时流数据持久化与批量写入

【天衍系列 01】深入理解Flink的 FileSource 组件：实现大规模数据文件处理

【极数系列】Flink集成KafkaSink & 实时输出数据（11）

【极数系列】Flink集成KafkaSource & 实时消费数据（10）

【极数系列】ClassNotFoundException: org.apache.flink.connector.base.source.reader.RecordEmitter & 详细分析解决

【极数系列】Flink集成DataSource读取Socket请求数据（09）

【极数系列】Flink集成DataSource读取文件数据（08）

【极数系列】Flink集成DataSource读取集合数据（07）

【极数系列】Flink配置参数如何获取？（06）

热门专栏

大数据成神之路

腾讯云流计算 Oceanus

大数据-BigData

Lansonli技术博客

大数据羊说

热门标签

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐