做了这么多年Java开发,如何快速转行大数据
分享转行经验路线
对于Java程序员,大数据的主流平台hadoop是基于Java开发的,所以Java程序员往大数据开发方向转行从语言环境上更为顺畅,另外很多基于大数据的应用框架也是Java的,所以在很多大数据项目里掌握Java语言是有一定优势的。
当然,hadoop核心价值在于提供了分布式文件系统和分布式计算引擎,对于大部分公司而言,并不需要对这个引擎进行修改。这时候除了熟悉编程,你通常还需要学习数据处理和数据挖掘的一些知识。尤其是往数据挖掘工程师方向发展,则你需要掌握更多的算法相关的知识。
对于数据挖掘工程师而言,虽然也需要掌握编程工具,但大部分情况下是把hadoop当做平台和工具,借助这个平台和工具提供的接口使用各种脚本语言进行数据处理和数据挖掘。因此,如果你是往数据挖掘工程方向发展,那么,熟练掌握分布式编程语言如scala、spark-mllib等可能更为重要。
Java程序员转大数据工程师的学习路线图:
***步:分布式计算框架
掌握hadoop和spark分布式计算框架,了解文件系统、消息队列和Nosql数据库,学习相关组件如hadoop、MR、spark、hive、hbase、redies、kafka等;
第二步:算法和工具
学习了解各种数据挖掘算法,如分类、聚类、关联规则、回归、决策树、神经网络等,熟练掌握一门数据挖掘编程工具:Python或者Scala。目前主流平台和框架已经提供了算法库,如hadoop上的Mahout和spark上的Mllib,你也可以从学习这些接口和脚本语言开始学习这些算法。
第三步:数学
补充数学知识:高数、概率论和线代
第四步:项目实践
如果你仅仅是做大数据开发和运维,则可以跳过第二步和第三步,如果你是侧重于应用已有算法进行数据挖掘,那么第三步也可以先跳过。
根据调研机构Forrester Research公司最近的一项调查,在数字化转型和软件即服务...
1、Flink local模式安装 Linux 1.在 官网 下载Flink 并解压到?/opt/software/fli...
作者:闲鱼技术——之诚 讲讲上下文 如果你是公众号《闲鱼技术》的老粉,也许你...
【51CTO.com快译】如果您一直在试用Kubernetes,就知道这有多难。不仅有许多活动...
作者 | 彭南光(光南) 来源 | 阿里巴巴云原生公众号 千里之堤,溃于蚁穴。绪论 ...
本文转载自公众号读芯术(ID:AI_Discovery)。 对于数据科学家而言,热爱Python的...
TIOBE 作为还算权威的编程语言影响力榜单机构,发布了1月的编程语言排行榜,Pyth...
预测性存储分析工具正在成为企业采用的标准设备。人们需要了解它们的功能、工作...
本文转载自微信公众号「全栈修仙之路」,作者阿宝哥。转载本文请联系全栈修仙之...
TOP云 (west.cn)6月21日消息,前段时间我们报道过三数字885.cc拍了17.2万元,...