快看漫画屈世超：中小公司也可建设小而美的数据中台
之前听过不少公司分享数据中台建设的话题，从数据中台到算法中台、再到AI中台等等，在特定的业务场景下对特定功能进行复用。我们听到的更多的是大公司的实践，其实中台不仅仅是大公司的玩具，中小企业也有根据自身需求建设数据中台的诉求。
在策划中台建设专题的之初，我就想邀请业界中小型企业来讲讲自身的中台搭建过程，也许他们没有足够的研发人员，也许他们没有太多的业务线，但是中台思路一定是适合他们的业务发展的。而这样的内容更符合同体量的公司参考样本。
很快，快看漫画进入了我的视野，并邀请快看漫画产品研发部/数据开发负责人屈世超老师来QCon会议上演讲，也借此机会采访了数据中台等相关的问题。
屈老师在快看漫画工作4年多，一直与数据打交道，在这几年亲历了快看漫画数据平台、数据处理技术随着业务发展，走过的3个阶段。第一阶段是数据开发起步期，快看漫画基于云厂商的大数据托管集群进行数据部署，其特点是工具受限，平台会遇到性能和稳定性问题；第二阶段是自建数据平台阶段，快看漫画基于高性能云物理机搭建 CDH 集群，支撑各个业务的数据需求；第三阶段是数据中台化，也是现阶段正在做的演进，其特点是业务线数量和业务需求陡增，要求数据平台能高效支持业务的规模化扩张。
除了完善的底层数据和平台工具，数据中台还需要具备通用、易用的特性，要求技术团队基于多个业务抽象出公共的基础需求模块，并设计和落地能够承接业务应用的接口和功能。
一般来说，中台承接的业务量都会比较大，一是业务线数量多，二是每个业务的规模也较大。
快看漫画小而美的数据中台
为了让精细化运营能够高频的迭代，快速地利用底层大数据的支持，这就需要数据中台提供强有力的支持。既然要基于业务需求迭代开发一套小而美的数据中台方案，那如何规划数据中台架构？快看漫画的数据中台打通了全数据流程。包括：数据采集和同步、自助数仓建模和 ETL、离线调度管理、实时任务一体式管理、BI 可视化和自助查询分析，以及数据的治理体系。
- 在数据总线模块，Web 化管理配置，兼容多种数据源，统一接入规范，集成元数据管理、调度和实时任务管理系统；
- 在自助数仓建设模块，Web 化便捷配置，集成调度，简化 ETL 上手开发成本；
- 在实时任务管理模块，同样通过 Web 后台集成任务部署、管理、监控功能；
小而美的数据中台，“小”和“美”各体现在哪些方面？屈老师介绍说，”小“指的是轻快，快看漫画的目标是用最小的开发成本，搭建起最高效复用的中台系统；”美“指的设计优雅，简单即美，用 Web 化来搭建起最简化步骤的开发流程。
在整个数据中台化过程中，存在很多痛点，正如屈老师所说，推动数据中台化主要有两方面的压力，一是平衡业务数据开发需求和中台化建设开发的优先级；二是跳出数据开发视角去全局思考跨业务的开发机制。
在中台建设中，技术选型和工具使用上也有一些经验分享给大家。大数据领域，大家普遍会遇到的一个问题是：为了解决不同场景的采集、ETL、分析可视化需求，需要使用不同的开源框架，导致各种开源框架林立，增加了维护和迁移成本。基于开源框架，快看漫画的中台建设主要做了上层封装、统一使用流程和规范，提升易用性。
技术团队封装统一了数据总线、ETL 开发和调度模块、OLAP 分析模块、数据查询模块。目标是让各个模块连通形成闭环，并提升整体的易用性和使用效率。
快看漫画数据中台的具体实践
数据中台需求源于业务，也实践于业务开发。快看漫画的中台实践主要分为两个阶段。
第一阶段，由于业务扩张、运营精细化导致数据需求极速增多，在开发效率和数据复用上存在较多问题，快看漫画研发团队开始了数据中台化的调研和建设，这个阶段的工作内容以需求收集归类、抽象为主，逐渐演化出了当前的数据中台架构；
第二阶段，主要是做中台模块化的拆解开发和推广应用，这个阶段要注意两个陷阱，一是避免自嗨式的闭门造车，要贴近业务实际使用习惯，这样才容易推广应用。二是要统一数据接入、清洗规范，让数据最大程度的复用起来。
中台落地只是它使命的开始，如何评估数据中台的收益呢？屈世超老师说，评估数据中台的指标是业务开发效率和成本，数据中台能显著减少重复的开发成本，提升开发效率。
收益主要分两个方面，一是降低了开发门槛，让 PM、数据分析师、业务后台开发都能够自主选择合适的数据开发流程；二是提升了数据的复用能力，通过规范数据接入、清洗等规范，减少了重复开发和冗余存储。
个人和团队的收获
在数据中台规划 / 落地过程中，对于个人，对于团队，都有哪些收获和思考？
对于个人而言，屈老师说，最大的收获是能够站在公司全局视角去思考业务、人和数据平台的关系，梳理清晰了三者的供需关系。
对于业务团队来说，尤其是业务 PM、数据分析师和后台开发，他们有了可快速上手的平台工具去更快速的响应业务数据需求，解放了数据开发侧的需求压力；
从更广义的数据团队视角看，有了公共统一的数据规范，让公共数据在各个业务之间有了更高的复用性，提高了研发效能。
最后，屈老师团队正在招聘大数据架构师、数仓工程师、数据分析师等技术专家，以及客户端 & 服务端架构师 / 工程师、运维开发工程师等，感兴趣可点击官网 https://kkworld.zhiye.com/home
- 发表于:
- 本文为 InfoQ 中文站特供稿件
- 首发地址：https://www.infoq.cn/article/7pI21ChOpQcdsEhY3J47
- 如有侵权，请联系 cloudcommunity@tencent.com 删除。
相关快讯
扫码
添加站长 进交流群
领取专属 10元无门槛券
私享最新 技术干货
腾讯云开发者
