精选问答

大数据属于程序员吗?大数据开发是什么工作?

字号+ 题主:檀浅暮晗 2020-11-13 15:10:01 我要评论

我想了解关于“大数据属于程序员吗?大数据开发是什么工作?”的信息,请大家多多发言。

YCA - 2020-11-13 16:45:42 【精选答案】围绕大数据能开展的工作很多,大部分都是程序员在做,这个话题也可以看作一个课题,有很多分支,是搞数据收集,还是数据分析,分析又分比如技术学习方面,每一个分支都是科学,包含程序设计,语言,数学等等,而大数据这个大话题又是当前很热的一个话题,围绕它的讨论工作岗位很多,如果单纯讲工作很多公司都是要求大数据工程师有至少一到两个需要,python是必不可少,关系型和非关系型数据库至少知道一两个,基于消息消费生产模式的处理框架知道至少一种,知道至少一种模型训练方式和一种基于已知训练模型的分类机制,等等等等,总体来说,是需要3到5年经验积累的程序员才有机会入门这个,所以回到你的问题,答案是肯定的

浅洛嫣 - 2020-11-13 17:43:46 ” 1、Java程序员
作为Java开发者,你对软件工程的规则已经了然于心,能够设计软件系统执行复杂任务。数据科学正是关于开发“数据产品”的一门科学,主要是基于数据和算法的软件系统。对于Java程序员来说,第一步需要了解机器学习的各种算法:现在有哪些算法,都能解决哪些问题以及如何实现。另外还需要学习使用R和Matlab等建模工具,此外WEKA、Vowpal
Wabbit和OpenNLP等库也为大多数常见算法提供了经过验证的实现方法。2、Python程序员
如果你是Python程序员,对软件开发和脚本编写一定很熟悉,也许已经在使用很多数据科学中常见的库例如NumPy和SciPy。Python对数据科学应用的支持很好,尤其是NumPy/Scipy,Pandas,Scikit-learn,
IPython等用于探索性分析的库,以及可视化方面的Matplotlib。在处理大型数据集方面,多学些Hadoop及其与Python的流式集成。3、统计学家与应用科学家
如果你有统计学或者机器学习的背景,那么你很可能很多年前就开始使用诸如R,Matlab或SAS进行回归分析、聚类分析等机器学习相关任务。R、Matlab和SAS是很强大的统计分析和可视化工具,对于很多机器学习算法都有很成熟的实现方法。但是,这些工具通常被用于做数据勘探和模型开发,很少单独用来开发产品级的数据产品。在开发端到端的数据产品时,大多数情况下,你需要需要同时用到其他软件模块如Java、Python等,并与Hadoop等数据平台整合。显然,熟悉一门或者多门现代编程语言,例如Python或Java是你的首要任务。此外,与有经验的数据工程师紧密合作将有助于更好地理解他们开发生产级数据产品所用到的工具和方法。4、业务分析师
如果你的背景是SQL,那么说明你已经跟数据打交道很多年了,你很清楚如何通过数据获取业务分析结果。Hive能让你以你熟悉的SQL语言访问Hadoop上的大数据集,因此是你步入大数据殿堂的首选。数据产品通常需要使用SQL无法胜任的高级机器学习和统计,因此对于业务分析师来说,进入数据科学领域的第二个重要步骤就是在理论层面深入了解此类算法(例如推荐引擎、决策树、NLP),并熟悉目前的实现工具如Mahout,
WEKA,或Python的Scikit-learn。5、Hadoop开发者
作为Hadoop开发者,你一定已经了解了大数据集和集群计算的复杂性。你还可能熟悉Pig、Hive、HBase并有丰富的Java经验。第一步,你需要深入了解机器学习和统计,以及这些算法面向大数据集的高效实现方法。Mahout是个不错的开始,可以在Hadoop上实现上述很多算法。另外一个需要关注的领域是数据清理(data
cleanup),很多算法在建模前都会为数据分配基本结构。但不幸的是,现实中数据大多很“脏”,清理这些数据是数据科学中一项很繁重的工作。Hadoop通常是建模前大规模数据清理和预处理的工具选择。

Charlemagn - 2020-11-13 16:57:34 程序员想转行大数据,可行吗?为什么?大数据相关有很多工种的,其中就包括了程序员,如果是程序员做大数据开发类工作相对就容易很多。当然要转向大数据分析之类的理论性较高的工种,就要相对难一点了。如果做大数据开发,程序员就不存在转行之说,只是说开发的项目是关于大数据相关而已。但大数据开发也有一些特殊的地方,所以还得要多学习才行。对于大数据开发还是要掌握比较多的技能:开发语言比如Java、Python等等,Linux、Hadoop、Hive、Storm&Kafka、MapReduce、Oozie Azkaban、Hbase、Nutch Web.Magie分布式爬虫框架、MongoDB&Redis等NoSql数据库、Zookeeper、Spark&Scala、Sqoop、Flume等,还有大数据的可视化,也需要学习一些比如:Echarts、D3.js、Vue.js等,虽然列出的不一定全部要懂,但基本的还是要学习很多才行。而对于理论要求较高的大数据分析师,则要学习数学、统计学、K均值算法、聚类算法等知识,同时使用一些分析工具,比如Excel、PowerBi、SQL等等,还要掌握一些开发语言比较好,比如说Java、Python、R语言之类的,掌握一门数据分析软件比如SPSS、STatistic、Eviews、SAS等,掌握构建模型的数学软件比如Matalab、Mathmatics等,不一定全要掌握但至少每一个门类都能掌握一门。有很多程序员搞大数据相关的项目开发,转到这个方向实际上是比较快的。而对于转到大数据分析师与挖掘、大数据运维等,相对要稍微陌生一点儿但经过一段时间的学习再加上一段时间实践,基本都能胜任。大数据这几年方兴未艾,不只是单纯数据分析结果作为决策参考,也与人工智能等密切相关,转到这个方向应该还是不错的。更多科技分享,请关注东风高扬“。

zzyunicorn - 2020-11-13 16:01:15 作为资深非专业程序员,现在却从事着金融大数据风控相关工作,这充分说明大数据跟计算机技术息息相关,它是计算机科学发展到一定阶段的产物。什么是数据化?数据指的是我们通过物联网、区块链、虚拟现实等数字化工具将我们现实世界的一切人、事、物转换成计算机能够读懂的信息。在数据化的世界中,我们的日常活动都是在和数据进行交互。什么是大数据?我们生活的世界所存储的信息量是非常庞大的,如果想要判断一个事物的规律,按照我们以前的做法,那就是在大量的信息中抽取部分样本进行分析,因为海量的数据已经超出我们人类能够分析的极限。但是随着计算机科学的不断发展,我们拥有了获取、存储、分析海量数据的能力。而且针对海量数据的全量分析得出的结论更加客观、更加准确、更加真实。大数据有什么用?大数据的应用非常广泛,就拿我现在所处的金融领域来说,大数据被广泛的应用于风险模型建立、风险控制、辅助决策等方面。在我们日常生活中,我们可以应用大数据分析的场景有很多。例如利用手机定位大数据预测城市交通拥堵情况;超市利用用户的购买行为大数据合理安排商品摆放以及定价;利用用户搜索关键词大数据预测区域性的突发事件等等。可以说,拥有了数据,就拥有了未来。未来各行各业都将离不开大数据。我是程序员爱编程,一个资深非专业码农,科技领域段子手!如本回答能够讨得您的欢心,劳请点赞、转发、关注我,如有不同看法可以在评论区留言,谢谢!

tsavo - 2020-11-13 17:37:05 我来回答一下,我目前程序员一枚
程序员工资的话,分阶段:
刚入门的程序员像刚毕业的,杭州这种城市能拿到5k左右。毕业两年左右的就能拿到8k+了。毕业三年左右的能拿到13k+了。总的来说程序员的工资还是相对较高的。程序员之所以能拿到高工资主要是加班多,工作是真的废脑子,所以我们会看到很多程序员脱发,白发,工作压力太大了。但是程序员也不是外界说的那么乏味无聊,程序员的乐趣在于你钻研一个东西出来就会很有成就感。觉得自己很牛逼。程序员本身也不是外界说的都是内向,腼腆,不善交际的,我身边的程序员朋友性格都挺活泼开朗的。不可能说你之前很开朗,做了程序员之后立马就变得内向了。你要是本身对程序感兴趣,专业学的也是这方便的
可以选择做程序员,程序员也不是全部都加班,还是分公司的。不要害怕哈。最近感觉行业寒冬来了,最近很多跳槽的小伙伴都不怎么好找工作,面试个2.3轮不知道什么原因就被刷下来了,去面试的人排成队,现在市场是供大于求。不过听说今年不止是互联网,大部分行业经济都不怎么景气。最后,决定了就去做,不会永远寒冬的,大数据还可以,欢迎加入我们程序员的大家庭哦

Best - 2020-11-13 17:02:43 怎么计算的?用于计算什么的?问题描述不是很清楚。大数据最早可以追溯到Google提出的MapReduce计算方式,Apache通过Hadoop实现了一个基于MapReduce算法的实现,主要用于大规模数据的处理。它与传统的并行计算有很大的不同,传统的并行计算主要利用的是单台服务器的性能,通过不断的扩展服务器的硬件资源来提高运算效率。而MapReduce主要就是利用多台机器甚至可以是废弃的机器组成集群来将任务分配在不同节点上同时进行运算,以此来提高运算效率。由于性能方面可以通过不断的扩充节点而得到提升,因此使用成本、扩展性方面都比传统的并行计算要出色得多。其运算过程如下图:
整个过程可以分成两步:
第一步:Map,将整个计算过程细分,典型的如基因序列比对算法,需要从基因库中查找到匹配的基因;在Map这一步中,会将查找的库中的基因进行细分,每个节点分配一个指定数目的基础序列;然后在每个节点上同时进行序列比较;每个节点上会出来一个比对结果。第二步:Reduce,将每个节点运算的结果进行汇总,最终返回给调用方。基于这种原理,再加上目前互联网产生的数据量越来越大,而传统的并行计算所需的硬件资源过于昂贵,因此Hadoop的应用已经越来越广泛。它可以用于文件存储,也可以用于替换传统的数据库来进行数据的收集与统计,也可以用于日志存储分析等方面。

雅姐姐 - 2020-11-13 17:23:07 大数据方面有很多的技术:
一是大数据平台本身,一般是基于某些Hadoop产品如CDH的产品部署后提供服务。部署的产品里面有很多的组件,如HIVE、HBASE、SPARK、ZOOKEEPER等,一般都是基于Java的;二是ETL,即数据抽取过程;大数据平台中的原始数据一般是来源于公司内的其它业务系统,如银行里面的信贷、核心等,这些业务系统的数据每天会从业务系统抽取到大数据平台中,然后进行一系列的标准化、清理等操作,再然后经过一些建模生成一些模型给下游系统使用;ETL一般对应有一个调度平台,一般是Java等技术实现的,基于Kettle进行封装;因此在ETL过程中有以下工作:一是调度平台的开发(也可以是产品部署);二是ETL过程中需要使用到的一些Shell脚本的开发;三是ETL及建模过程中调用的一些SQL过程的开发;当然也还有模型的设计等较为高级的工作;三就是数据分析了;在数据收集完成后基于这些数据要做一些什么样的处理,典型的如报表应用,那每天可能就是写SQL开发报表了;还有一些如风险监测等平台,都要基于大数据平台收集的数据来进行处理;更往上就是一些如客户行为预测分析等分析场景,这个时候就需要使用一些更加专业的数据分析工具如SAS或者其它的一些更加高级的语言如Python、R语言等来进行数据挖掘及分析了。你所说的大数据平台开发,需要明确到底是哪方面的开发才能做进一步的解答。

黃小湃 - 2020-11-13 16:39:15 大数据最简单的理解就是从海量的数据中寻找数据之间的关联关系,寻找数据的价值。例如,今日头条可以通过大家对电影的评论确定一部电影的票房,在哪些地方票房比较高。

焕然 - 2020-11-13 17:31:23 ”程序员又被人们戏称为“程序猿”,虽然薪资不低却依然掩饰不住悲催的命运:加班、单身成了这一职业的代名词。而最重要的,是职业发展限制性较高,常常有程序员忧虑自己的职业只是一碗青春饭。而正在这时候,大数据时代来临了,程序员们仿佛看到了希望的曙光,想要投身大数据行业。那么,程序员转行大数据是个明智的选择吗?除去个人因素,大数据的确具有十分强大的发展潜力。从国家政策到国内各大企业的重视程度,无一不在为大数据时代的腾飞积蓄着力量。而且,不同于传统的IT行业,大数据行业其实更像是一个工具,也可以说是各行各业的一个神器。它的应用范围十分广泛,几乎360行,行行都能利用大数据分享到不小的红利。大数据技术能够精准地引导企业进行企业决策,把企业从传统的“凭经验吃饭”的套路中解脱出来。从此以后,再也没人说“嘴上无毛,办事不牢”了,经验代表过去,而大数据代表着未来。大数据工程师经过多年的历练,说是企业的“军师”也不为过。而广泛的行业范畴更为大数据专业人才提供了无限的可能。可以说,大数据给了人们一个更广阔的发展空间,无限的发展可能。而相比之下,程序员的发展空间就会显得局促很多。其实,任何行业都不是一味的黯淡无光和一味的前途无量。还是需要看个人的喜好和专长。如果你对大数据感兴趣,欢迎来报名光环大数据培训班,相信你会有一个美好的将来!

我有更好答案

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

猜你感兴趣
看了又看