作者：紅掌網絡 訪問量：387 發布時間：2020-05-25 07:22
想要成爲一(yī)名合格的大(dà)數據研發工(gōng)程師（Bigdataresearchanddevelopmentengineers），首先就要了解大(dà)數據軟件開(kāi)發這個職業，大(dà)數據非傳統型的互聯網數據信息，大(dà)數據也包含了很多新的特征。互聯網時代的發展，每天都産生(shēng)各種各樣的數據信息，數據來源很廣，每天都有從各方面來臨的數據信息，大(dà)數據格式多種多樣，非結構化數據（Unstructureddata）、結構化數據（structureddata）、excel文件等等，而且大(dà)數據數量很大(dà)，至少要是TB級别的，甚至會達到PB級别的。既然數據總量如此之多，又(yòu)各種類型的都有，增長數據也很快，那數據該如何彙總并且轉化運用成自己所需要的數據信息呢?這就誕生(shēng)了大(dà)數據研發工(gōng)程師，大(dà)數據研發工(gōng)程師在充分(fēn)了解行情的基礎之上，發揮其自身所具備的專業技能。
先扯一(yī)下(xià)大(dà)數據的4V特征：
1：數據量大(dà)，TB->PB
2：數據類型繁多，結構化、非結構化文本、日志(zhì)、視頻(pín)、圖片、地理位置等；
（datatypeisvarious,structuredandunstructuredtext,logs,video,images,thegeographicalposition,etc.;）
3：商(shāng)業價值高，但是這種價值需要在海量數據之上，通過數據分(fēn)析與機器學習更快速的挖掘出來；
（highcommercialvalue,butthisvaluetakeonhugeamountsofdata,throughdataanalysisandmachinelearningmorerapidexcavation;）
4：處理時效性高，海量數據的處理需求不再局限在離(lí)線計算當中(zhōng)。
（processingtimelinessishigh,therequirementofthehugeamountsofdataprocessingisnolongerlimitedinoff-linecalculation.）
大(dà)數據軟件開(kāi)發工(gōng)程師需要學什麽呢？
我(wǒ)(wǒ)們從全國幾個大(dà)城市招聘信息來了解，大(dà)數據軟件開(kāi)發工(gōng)程師到底需要學什麽及相應的月薪。
大(dà)數據開(kāi)發工(gōng)程師杭州（20000-40000元/月)
1、熟悉java或scala開(kāi)發語言，了解python或go等語言，有3年以上開(kāi)發經驗2、了解hadoop生(shēng)态，Hadoop，hive，HBase，Spark等，了解實時計算技術，包括storm,kafka，flume，druid等3、熟悉linux各項基本操作4、熟悉數據結構，對常用算法有所了解，有良好的數據思維5、有大(dà)規模數據分(fēn)析、推薦、廣告相關研發經驗的優先6、有BI數據平台、數據倉庫、日志(zhì)采集，多維實時分(fēn)析平台設計、開(kāi)發、架構經驗優先。
崗位職責(responsibility)：
1、負責大(dà)數據平台基礎組件功能設計、研發及維護工(gōng)作；2、負責大(dà)數據采集、清洗、整合等工(gōng)作；3、負責大(dà)數據平台文本挖掘分(fēn)析等工(gōng)作；4、負責相關功能設計文檔撰寫；5、負責BI及報表開(kāi)發。任職要求：1、深厚的Java功底，多年的并發編程經驗；2、參與過分(fēn)布式高性能服務的設計開(kāi)發過程，有大(dà)規模分(fēn)布式系統的實踐經驗；3、熟悉HDFS/HBase/Hive/MapReduce/Storm/Spark等相關技術,有 MapReduce 程序的實戰開(kāi)發經驗；4、熟悉Hadoop運行監控及調優技術；5、熟悉常見存儲技術（Sqlserver ,Oracle, Mysql, NosqlDB、Redis、ElasticSearch），WebService/WebAPI（SOAP/json）；6、熟悉Scala語言優先；7、計算機、軟件工(gōng)程及相關專業本科或以上學曆，3年以上相關項目開(kāi)發經驗；
大(dà)數據開(kāi)發工(gōng)程師安徽合肥(5000-10000元/月)
崗位職責(responsibility)：
1、大(dà)數據平台的産品及解決方案設計、開(kāi)發，實現大(dà)數據存儲、查詢、分(fēn)析、挖掘的目标；
3、對大(dà)數據（雲計算）的主流技術、産品跟蹤研究，設計适合公司業務的、有競争力的方案和産品；
3、具體(tǐ)工(gōng)作包括技術預研、方案設計、構件選型、開(kāi)發、集成、優化等；
4、能根據公司産品和業務特征不斷提出改進建議，持續創新、開(kāi)發新産品及方案。
任職資(zī)格(responsibility)：
1.計算機或者相關專業本科以上學曆，1年實際工(gōng)作經驗
2.精通java。熟悉shell/perl/python任意一(yī)門腳本語言，有紮實的編程功底。
3.熟悉Hadoop+spark+hbase生(shēng)态和常見的開(kāi)源分(fēn)布式計算/存儲相關技術
4.精通SQL，有較好的SQL性能調優經驗，理解Hive/Mysql基本原理和調優策略；有開(kāi)源貢獻者優先
5.有文檔編制基礎，能夠流暢編寫技術方案及實施方案
大(dà)數據開(kāi)發工(gōng)程師北(běi)京(15001-20000元/月)
崗位職責:
1、負責公司級的通用數據平台和分(fēn)析型産品，服務于全公司各個用戶産品線；
2、面向PB級超大(dà)規模數據問題，每天處理千億增量的用戶行爲數據；
3、爲大(dà)數據的全生(shēng)命周期提供服務，覆蓋數據産生(shēng)，傳輸，計算，建模，統計分(fēn)析，實驗評估，可視化的全流程；
4、構建設計良好的數據流、數據倉庫、調度系統、kv存儲，查詢引擎，數據服務、分(fēn)析系統、流程規範，數據工(gōng)具/産品，降低數據的使用門檻，保證系統穩定高效運行，以實現數據的最大(dà)價值。
任職資(zī)格:
1、熟悉linux編程環境，有較強的開(kāi)發能力（java/scala/c++/python等);
2、強悍的編碼能力，對新技術有強烈的學習熱情；
3、加分(fēn)，熟悉一(yī)項或多項大(dà)數據處理/分(fēn)析相關的工(gōng)具/框架，e、g、azkaban,hadoop,Hive,Spark,kylin,druid,flume,kafka,hbase,mesos,kubernets,redisetc。
4.對數據建模有一(yī)定了解。
