前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >大数据发展历程

大数据发展历程

作者头像
用户1483438
修改2021-11-17 20:10:53
5600
修改2021-11-17 20:10:53
举报
文章被收录于专栏:大数据共享大数据共享

任何技术的出现,在前期都是理论先行,但此时没有应用场景,不会大规模的推开,那技术都得不到深度的发展。

任何技术深度的发展,都是在有了应用场景,降低了门槛,才会真正的发展起来。

大数据技术的发展也是这样的历程:

最开始是由于像谷歌,雅虎这样的搜索引擎,因为存储的网页数量巨大,才有了这样的大数据的概念。

所以大数据最早的应用场景就是搜索引擎,但因为此时的技术发展不成熟,最早还只是大数据的存储,和一点简单的大数据应用,比如检索,主要是21世纪初。

不像现在,经过20年的发展,大数据在各行各业都有了应用,不仅仅是存储,还包含计算和应用。

应用场景也从搜索引擎扩展到医疗,社交,电商,物流,交通,旅游等各行各业。

而大数据的发展,也从最早的大数据存储,发展出大数据的计算,以及大数据处理的资源管理。

首先是需要解决大数据的存储,之后是对存储的这么多数据进行计算处理,利用这些数据计算的结果,在处理大数据的过程中,单个机器的垂直扩展始终是有瓶颈,而水平扩展则是没有边界,水平扩展的这么多机器就需要发展出资源管理器统一管理这些机器。这样大数据的必须的三驾马车就齐备了。

大数据未来如何发展?

现在大数据也被提了很多年了,也有很多从业者了,有了大数据的发展生态,不管是Hadoop,spark 这些开源的框架让从业者能够快速搭建一个大数据系统,构建大数据系统的应用。

那展望未来,未来我们的生产生活只会创造越来越多的数据,对这些数据进行收集,清洗,分析,应用将会成为常态;我们需要更为强大的存储介质,计算能力,和管理系统;也许不仅仅是这三个方面,在更大数据的形态需要更高的要求。

将大数据基建化,大数据产业化,将会是未来的一个趋势。

本文系转载,前往查看

如有侵权,请联系?cloudcommunity@tencent.com 删除。

本文系转载前往查看

如有侵权,请联系?cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
http://www.vxiaotou.com