Flink 利器：开源平台 StreamX 简介
原创Flink 利器：开源平台 StreamX 简介
原创
吴云涛
修改于 2022-01-13 15:20:09
修改于 2022-01-13 15:20:09
StreamX 简介
StreamX 是 Flink & Spark 极速开发脚手架，开源的流批一体一站式大数据平台。
StreamX 支持 Flink 多版本，支持 Flink SQL WebIDE，支持 Flink SQL 校验。自2021年3月起开源，提供了一系列开箱即用的 Conncetor,标准化了配置、开发、测试、部署、监控、运维的整个过程, 提供 scala 和 java 两套api, 其最终目的是打造一个一站式大数据平台,流批一体,湖仓一体的解决方案。
可以理解为是一个开源版本、简化版的阿里云实时计算 Flink 版或腾讯云流计算 Oceanus 平台。
架构图如下：
StreamX 架构
StreamX 功能特性：
- 开发脚手架
- 多版本Flink支持(1.11,x, 1.12.x, 1.13 )
- 一系列开箱即用的connectors
- 支持项目编译功能(maven 编译)
- 在线参数配置
- 支持
Applicaion模式,Yarn-Per-Job模式启动 - 快捷的日常操作(任务
启动、停止、savepoint,从savepoint恢复) - 支持火焰图
- 支持
notebook(在线任务开发) - 项目配置和依赖版本化管理
- 支持任务备份、回滚(配置回滚)
- 在线管理依赖(maven pom)和自定义jar
- 自定义udf、连接器等支持
- Flink SQL WebIDE
- 支持catalog、hive
- 任务运行失败发送告警邮件
- 支持失败重启重试
- 从任务
开发阶段到部署管理全链路支持 - ...
参考阅读：
[1] Streamx Github:??https://github.com/streamxhub/streamx
[2] StreamX 官网：http://www.streamxhub.com/
[3] StreamX 说明文档: http://www.streamxhub.com/zh/doc/guide/intro/
[4] 百里国际在 StreamX 上的实践：https://mp.weixin.qq.com/s/0WvUiMgzRXRWiaRkiIz7qA
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
评论
登录后参与评论
推荐阅读
目录
相关产品与服务
流计算 Oceanus
流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的企业级实时大数据分析平台，具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。