主题:Databricks 数据洞察 - 企业级全托管 Spark 大数据分析平台及案例分析
讲师:棕泽,阿里云技术专家,计算平台事业部开放平台-生态企业团队负责人
内容框架:
直播回放:扫描文章底部二维码加入钉群观看回放
一、Databricks 数据洞察产品介绍1、 Databricks 公司简介在2013年,由加州大学伯克利分校 AMPLab 的创始团队 ApacheSpark 的创建者所成立。
② 核心产品和技术,主导和推进 Spark 开源生态ApacheSpark、DeltaLake、Koalas 、MLFlow、OneLakehousePlatform
③ 公司定位Databricksis the Data + AI company,为客户提供数据分析、数据工程、数据科学和人工智能方面的服务,一体化的 Lakehouse 架构开源版本 VS 商业版本:公司绝大部分技术研发资源投入在商业化产品多云策略,与顶级云服务商合作,提供数据开发、数据分析、机器学习等产品,Data+AI 一体化分析平台④ 市场地位科技独角兽,行业标杆,领导Spark整体技术生态的走向及风向标2021年最受期待的科技上市公司02\ Databricks 公司估值及融资历史(来源 Databricks 官网)① 2019年10月G轮,估值 $ 6.2 Billion② 2021年2月初F轮,估值 $ 28 Billion本轮融资,三大云服务商 AWS、GCP、MSAzure 以及 Salesforce 都进行了跟投——足以看到云厂商对 Databricks 的发展的重视上市预期:计划 IPO 在2021年——多方预测 Databricks 上市之时其估值可能达到350亿美元,甚至是高达500亿美元03\ Databricks 和阿里云联手打造的高品质 Spark 大数据分析平台Apache Spark 背后的商业公司,Spark 创始团队,美国科技独角兽在全球拥有5,000多个客户和450多个合作伙伴,品牌认知强2020年,在 Gartner 发布的数据科学和机器学习(DSML)平台魔力象限报告中,位于领导者象限本架构描述利用 Databricks 数据洞察 解决客户大数据计算问题:
数据存储:自建 Hive数仓-》OSS (降低存储成本,同时做计算存储分离)大数据分析:自建 CDH -》Databricks 数据洞察(全托管 Spark ,高性能 Runtime 引擎,Notebook 交互式分析,工作流 DAG 调度, Python 库的安装方便等)元数据:自建 CDH -》RDS MySQL 自建元数据库或使用 DDI 统一元数据库数据迁移:使用 DistCp 或 JindoDistCp 将数据迁移到 OSS,数据结果同步继续使用Sqoop 定时任务客户成本收益分析全托管 Spark 集群免运维,节省人力成本(省1运维+ 1大数据,此外免去性能调优)相比自建机器资源多了3倍,此外算上 Databricks Runtime 相比开源 spark 来说(预估3倍),整体性能提升9倍Notebook 交互式分析+ DAG 工作流调度,提升数据开发/分析体验技术方案统一,计算存储分离方案 OSS 存储节省客户存储成本,并为以后数据湖、多计算架构铺路Delta Lake 解决了客户增量数据更新的问题客户案例 02:工业制造头部空调公司– 大数据分析方案架构数据收集/存储: 接收实时产生的流式数据和外部云存储上批量数据数据 ETL:持续高效地处理增量数据,支持数据的回滚和删改,提供 ACID 事务性保障BI数据分析 交互式分析: 支持查询,Notebook 可视化分析,无缝对接多种BI分析工具数据科学:支持机器学习/深度学习?态对接:如上游对接 Kafka、OSS、EMR HDFS 等等,下游承接 Elasticsearch、RDS、OSS 存储等更多精彩内容,欢迎扫描文章底部钉钉群二维码,进群观看直播回放哦!
获取更详细的 Databricks 数据洞察相关信息,可登录以下链接,也可以直接点击阅读全文跳转产品详情页:
https://www.aliyun.com/product/bigdata/spark
(当前产品提供¥599首购试用活动,欢迎试用!)
阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,技术专家直播,只为营造纯粹的 Spark 氛围,欢迎关注公众号!
扫描下方二维码入 Databricks 数据洞察产品交流钉钉群一起参与交流讨论,进群直接在群内观看直播回放哦!
身为数据分析师,大家对SQL可是再熟悉不过了。大多数人对常规的sql语法都已经熟...
导读 高可用可以说是分布式系统中最常谈到的词之一,那么我们在聊高可用时,我们...
美家全域潜客运营解决方案 借助阿里平台能力打通线上、门店周边、到店和离店链路...
TOP云 (west.cn)12月5日,今天下午工信部正式批复同意.vip顶级域的许可申请, ...
域名 过期到删除要多少时间?域名到期之后有一定时间的续费期,续费期结束之后,...
云备份和镜像服务有很多功能交融的地方,有时需要搭配一起使用。镜像有时也可用...
如果要检查 JavaScript 中的相等性,有两个比较运算符:双等号运算符(==)和三等...
站在新的一年回望过去,不管是在基础设施、AI医疗场景成熟度、资本注入等环节,...
2019,关于科技的鲜活记忆,正在快速变成时间洪流的一部分,也变成了我们读懂未...
域名 服务器一年多少?搭 建网站 必不可少的就是域名、服务器、程序。有一部分 ...