崗位職責：
1.根據(jù)業(yè)務需求開展數(shù)據(jù)清洗、預處理和特征工程等工作。
2.負責大數(shù)據(jù)架構(gòu)的規(guī)劃設(shè)計，參與業(yè)務建模及數(shù)據(jù)化運營平臺的搭建、運維，對業(yè)務流程與大數(shù)據(jù)的結(jié)合提出建議和解決方案。
3.進行數(shù)據(jù)探索和可視化分析，挖掘數(shù)據(jù)中的模式、規(guī)則、規(guī)律、趨勢等。
4.從文獻資料或數(shù)據(jù)庫中提取數(shù)據(jù)規(guī)律，并依照業(yè)務規(guī)則，設(shè)計算法生成模擬數(shù)據(jù)。
5.探索和引入新的數(shù)據(jù)挖掘和機器學習技術(shù)，提高算法的預測準確性和運行效率。
6.完成基于大數(shù)據(jù)平臺的業(yè)務項目的開發(fā)、實施和維護工作。
任職資格
1.碩士及以上學歷，大數(shù)據(jù)/計算機/數(shù)學/統(tǒng)計學等相關(guān)專業(yè)。
2.熟悉大數(shù)據(jù)、數(shù)據(jù)倉庫、湖倉一體、分布式架構(gòu)技術(shù)理論，具備大數(shù)據(jù)整體系統(tǒng)架構(gòu)設(shè)計和實戰(zhàn)經(jīng)驗。
3.熟悉大數(shù)據(jù)組件的開發(fā)編譯、搭建、維護以及性能優(yōu)化。
5.精通Hadoop生態(tài)，在Hive、Hudi、Kudu、Flink、Spark、Presto等大數(shù)據(jù)技術(shù)方面有相關(guān)應用經(jīng)驗，能閱讀源碼跟蹤問題。
6.精通使用相關(guān)開發(fā)語言(Java/Python/Scala/Shell等)之一。
7.精通掌握Spark、flink任意一種計算框架，掌握MapReduce計算框架原理，并有實際項目開發(fā)經(jīng)驗。
8.精通大數(shù)據(jù)安全組件kerberos、ranger組件搭建及維護、開發(fā)。
9.精通數(shù)據(jù)挖掘、機器學習和統(tǒng)計學等相關(guān)理論，熟悉常用的數(shù)據(jù)挖掘和機器學習工具和框架，如pandas，numpy，matplotlib, scikit-learn等。
10.具有良好的團隊合作和溝通能力，能夠與團隊成員和其他部門合作推進項目。