flink背压问题解决记录

flink做流表维表关联，每天TB级数据量，维表存储在mysql。程序提交后，查看背压率为1.严重背压了
flink源是kafka，sink到hdfs。用到算子filter、process算子
filter按规则过滤
process关联维表，并作数据转换拼接
从flinkUI中看到filter方框的背压率为1，查看参数是output产生的背压，也就是process算子产生的背压。
优化手段：
checkpoint存储到rockDB，缩短checkpoint时间
给维表添加缓存，先读缓存，读不到再读数据库
mysql匹配字段添加索引
提高process算子并行度

本文转自网络，原文链接：https://developer.aliyun.com/article/787378
本站部分内容转载于网络，版权归原作者所有，转载之目的在于传播更多优秀技术内容，如有侵权请联系QQ/微信：153890879删除，谢谢！