大數(shù)據(jù)開發(fā)工程師崗位的主要職責概述
| 相關文章↓↓↓ |
|---|
| №.1大數(shù)據(jù)開發(fā)工程師的主要職責精選 |
| №.2大數(shù)據(jù)開發(fā)工程師的工作職責模板 |
| №.3大數(shù)據(jù)開發(fā)工程師的基本職責 |
| №.4大數(shù)據(jù)開發(fā)工程師的崗位職責 |
大數(shù)據(jù)開發(fā)工程師負責大數(shù)據(jù)平臺的技術和產(chǎn)品的設計、開發(fā)、優(yōu)化和維護。下面是小編為大家?guī)淼拇髷?shù)據(jù)開發(fā)工程師崗位的主要職責概述八篇，希望大家能夠喜歡!
大數(shù)據(jù)開發(fā)工程師崗位的主要職責1
職責：
1、 規(guī)劃及建設大數(shù)據(jù)平臺;
2、 負責大數(shù)據(jù)存儲系統(tǒng)、分布式計算系統(tǒng)、挖掘算法等設計、研發(fā)以及維護、優(yōu)化工作;
3、負責分析、挖掘、對抗各種產(chǎn)品安全層面的惡意行為;
4、 參與項目的系統(tǒng)設計和核心代碼開發(fā)，指導和培訓其他工程師;
5、 整理和提交技術文檔，負責核心功能模塊的代碼編寫和測試工作。
崗位要求：
1、 計算機、統(tǒng)計學等相關專業(yè)本科及以上學歷，具有深厚的數(shù)學、統(tǒng)計學和計算機相關知識，精通數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的相關技術，3年以上大數(shù)據(jù)開發(fā)相關經(jīng)驗;
2、具有非常扎實的Java基礎，熟悉Shell、Python、R、Scala等一種以上語言;
3、算法基礎扎實，熟悉常見的數(shù)據(jù)結構，了解分布式算法和分布式系統(tǒng)的技術原理;
4、精通MapReduce設計方法或Spark計算框架、對NoSQL，Hadoop、Hbase、Spark、Hive等主流云計算，大數(shù)據(jù)相關軟件有充分的了解，并且有實踐經(jīng)驗，能解決應用中的復雜問題;
5、熟悉大數(shù)據(jù)處理相關技術，包括但不限于Hadoop、Hive、Hbase、Impala、Spark，Kafaka、Flume、Sqoop、Storm、Redis等;
6、研讀過Hadoop、Hbase、Hive源代碼者，能夠在特定業(yè)務中進行定制改造者優(yōu)先;
7、具有海量數(shù)據(jù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)分析相關項目的工作經(jīng)驗者優(yōu)先。
大數(shù)據(jù)開發(fā)工程師崗位的主要職責2
職責：
1、參與大數(shù)據(jù)架構的規(guī)劃設計，參與業(yè)務建模及數(shù)據(jù)化運營平臺的搭建、運維，對業(yè)務流程與大數(shù)據(jù)的結合提出建議和解決方案;
2、完成基于大數(shù)據(jù)平臺的業(yè)務項目的開發(fā)、實施和維護工作;
3、負責解決大數(shù)據(jù)平臺建設過程中的技術難點和性能調優(yōu)工作;
4、參與數(shù)據(jù)倉庫設計，根據(jù)業(yè)務需求實現(xiàn)高效率高靈活性的查詢，數(shù)據(jù)分析，數(shù)據(jù)挖掘;
5、負責高吞吐高可用數(shù)據(jù)實時和離線采集，高并發(fā)的大數(shù)據(jù)業(yè)務架構設計
6、負責研發(fā)技術發(fā)展方向，新技術領域的探索，引入并驗證數(shù)據(jù)平臺領域新技術，提供系統(tǒng)效能
7、對大數(shù)據(jù)技術及開源框架充滿熱情，具有鉆研精神，能自我學習。
任職資格：
1、具有5年Java開發(fā)經(jīng)驗，熟悉Spring生態(tài)，掌握Hibernate、Mybatis任意一種ORM框架，掌握Oracle、Mysql數(shù)據(jù)庫。
2、具有2年以上的大數(shù)據(jù)開發(fā)經(jīng)驗，熟悉大數(shù)據(jù)、數(shù)據(jù)倉庫，分布式架構技術理論，具有大數(shù)據(jù)整體系統(tǒng)架構設計和實戰(zhàn)經(jīng)驗，熟悉CDH、HDP、TDH至少一款大數(shù)據(jù)產(chǎn)品，有從無到有建設大數(shù)據(jù)平臺經(jīng)驗者優(yōu)先;
3、熟悉大數(shù)據(jù)組件的開發(fā)、搭建、維護以及性能優(yōu)化;
4、較強的開發(fā)能力，必須熟練使用相關開發(fā)語言(Java/Python/Scala/Shell等)，熟悉大數(shù)據(jù)生態(tài)、關系數(shù)據(jù)庫和NOSQL數(shù)據(jù)庫、Linux等相關知識，能夠獨立完成并指導初級開發(fā)人員完成大數(shù)據(jù)相關的技術實現(xiàn)和調優(yōu);
5、熟悉Hadoop、Hbase、Hdfs、MapReduce、Yarn、Zookeeper、Hive、Impala、Spark、Flink、Kafka、Flume、Kylin、Phoenix等組件或技術，能閱讀源碼跟蹤問題。
6、熟練掌握Spark、flink任意一種計算框架，掌握MapReduce計算框架原理，并有實際項目開發(fā)經(jīng)驗。
7、熟練掌握HDFS、HBase、Kafka、Redis、Hive、Sqoop、Shell等技術和組件，熟練應用開發(fā)，必須熟悉復雜數(shù)據(jù)查詢性能調優(yōu)，包括實時查詢和離線批處理查詢，服務器和生態(tài)組件的參數(shù)優(yōu)化。
8、精通高級算法并有與業(yè)務結合落地優(yōu)先;
9、扎實的獨立分析問題、解決問題的能力，具備良好的需求理解能力、溝通協(xié)調能力和團隊合作精神;有很強的數(shù)據(jù)設計抽象能力，善于從復雜的數(shù)據(jù)問題中找到關鍵路徑，并且擅于跟業(yè)務團隊就業(yè)務問題進行良好的溝通，能推動業(yè)務的指標化、量化;
10、有較好的學習能力、團隊協(xié)作精神，認真細心，有強烈的責任心，愛崗敬業(yè)，有較高抗壓能力，有較好的工作穩(wěn)定性。
大數(shù)據(jù)開發(fā)工程師崗位的主要職責3
職責：
1、參與大規(guī)模數(shù)據(jù)快速查詢系統(tǒng)的架構設計和開發(fā);
2、大規(guī)模數(shù)據(jù)挖掘和機器學習算法的實現(xiàn);
3、在線和離線海量數(shù)據(jù)分析平臺的開發(fā);
4、研究大數(shù)據(jù)前沿技術，提升系統(tǒng)的運維效率;
5、實現(xiàn)大數(shù)據(jù)基礎架構平臺的自動化運維。
【任職要求】：
1、計算機相關專業(yè),具有3年以上大數(shù)據(jù)開發(fā)經(jīng)驗，熟悉Java,Linux;
2、熟悉Hadoop大數(shù)據(jù)處理系統(tǒng)的開發(fā),搭建及部署者優(yōu)先
3、熟練地處理數(shù)據(jù)模型、數(shù)據(jù)ETL以及存儲管理;
4、熟悉HDFS/Hive/MapReduce/Kylin/HBase，能獨自進行Mapreduce程序開發(fā)者優(yōu)先;
5、熟悉分布式系統(tǒng)概念、架構，有大規(guī)模分布式系統(tǒng)設計、實現(xiàn)、部署等經(jīng)驗;
6、有較強的書面與口頭溝通表達能力，獨立分析、解決問題的能力。
大數(shù)據(jù)開發(fā)工程師崗位的主要職責4
職責：
1、 負責大數(shù)據(jù)平臺架構的整體設計，承擔數(shù)據(jù)抽取、清洗、轉化等數(shù)據(jù)處理程序開發(fā);
2、 為業(yè)務運營提供技術支持，完成應用系統(tǒng)的搭建、優(yōu)化、升級工作，保證平臺穩(wěn)定運行;
3、 編寫系統(tǒng)的需求分析、設計、開發(fā)和部署文檔等。
崗位要求：
1、碩士及以上學歷，計算機、自動化、通信等相關專業(yè);
2、熟練掌握Java語言，并熟悉Python語言，熟悉分布式系統(tǒng)架構，有hadoop，spark系統(tǒng)架構經(jīng)驗;
3、熟悉實時計算框架storm，flink，spark streaming其中之一;
4、熟練使用SQL，熟悉數(shù)據(jù)庫原理，熟練使用至少一種主流關系型數(shù)據(jù)庫;
5、熟悉軟件開發(fā)流程，能夠根據(jù)需求編寫需求、設計、開發(fā)手冊等項目過程文檔;
6、具有良好的溝通能力和主動性，抗壓能力強。
大數(shù)據(jù)開發(fā)工程師崗位的主要職責5
職責：
1. 對數(shù)據(jù)進行結構化、標準化處理，對處理流程進行自動化搭建
2. 通過ETL/Cube數(shù)據(jù)建模，構建基于數(shù)據(jù)倉庫的分析工具;
3. 參與數(shù)據(jù)與公司軟件產(chǎn)品及第三軟件的API對接;
4. 搭建與優(yōu)化，數(shù)據(jù)采集、處理、可視化流程中所需的框架與模塊開發(fā);
5. 協(xié)同內外部力量完成需求的表達與技術攻關。
任職要求：
1. 熟悉數(shù)據(jù)庫的設計和開發(fā)如：Oracle/Mysql/MSSQL/Redis等，有處理大量數(shù)據(jù)經(jīng)驗的優(yōu)先;
3. 熟練使用ETL工具進行數(shù)據(jù)抽取，清洗，轉換，關聯(lián)等操作;
4. 熟練使用Linux操作系統(tǒng),具備編寫shell的能力;
5. 熟練使用主流的開發(fā)框架，掌握以下語言：Java、Python;了解過源碼的優(yōu)先;
6. 具有2年以上數(shù)據(jù)倉庫(DW)、商務智能(BI)、大數(shù)據(jù)等方面的軟件或項目開發(fā)經(jīng)驗;
7. 了解可視化及BI工具者優(yōu)先;
大數(shù)據(jù)開發(fā)工程師崗位的主要職責6
職責：
1、負責該領域的業(yè)務需求討論，完成技術方案及數(shù)據(jù)開發(fā);
2、負責數(shù)據(jù)倉庫的體系建設及落地實現(xiàn);
3、負責大數(shù)據(jù)平臺各類環(huán)境的部署及運維、并參與架構優(yōu)化、性能優(yōu)化等工作;
4、負責該領域所屬模塊的代碼開發(fā)、調試與維護工作，并進行技術沉淀和文檔輸出。
招聘要求：
1、計算機、電子通信、自動化等專業(yè)，本科及以上學歷;
2、五年以上研發(fā)經(jīng)驗，其中二年以上大數(shù)據(jù)開發(fā)的相關工作經(jīng)驗;
3、熟練JAVA開發(fā)語言;熟悉微服務及Spring框架;
4、熟練熟練Hive、Impala、ES性能調優(yōu)，關注細節(jié)，學習能力強;
5、能配合團隊完成該領域的工作，自我管理能力強，能承受工作中的各種壓力，具備很好的團隊意識
6、熟練主流大數(shù)據(jù)平臺產(chǎn)品部署及運維，如CDH、HDP平臺。
7、對機器學習和深度學習等方面有一定的了解;
8、有汽車制造業(yè)及相關行業(yè)的大數(shù)據(jù)開發(fā)經(jīng)驗優(yōu)先。
大數(shù)據(jù)開發(fā)工程師崗位的主要職責7
職責：
1、負責數(shù)據(jù)中心和大數(shù)據(jù)處理平臺的搭建
2、在線和離線海量數(shù)據(jù)分析平臺的開發(fā);
3、研究大數(shù)據(jù)前沿技術，提升系統(tǒng)的運維效率;
4、參與大數(shù)據(jù)的采集、存儲、處理，分析等開發(fā)
5、參與數(shù)據(jù)挖掘算法的設計、對海量數(shù)據(jù)進行挖掘分析和發(fā)掘數(shù)據(jù)價值及算法學習及實現(xiàn)
【任職要求】：
1、計算機或相關專業(yè)本科學歷及以上，2年工作經(jīng)驗以上
2、熟悉Java/Scala等至少一門語言，能對分布式常用技術進行合理應用，解決實際架構問題
3、熟練使用hadoop，hive，HBase，YARN，kafka，spark，Storm,Flume等大數(shù)據(jù)開發(fā)組件
4、熟悉整個大數(shù)據(jù)的完整處理流程，包括數(shù)據(jù)的采集、清洗、存儲、分析和可視化及報表開發(fā);
5、熟悉分布式系統(tǒng)概念、架構，有大規(guī)模分布式系統(tǒng)設計、實現(xiàn)、部署等經(jīng)驗;
6. 具有優(yōu)秀的學習能力、獨立分析和解決問題能力，良好的團隊合作精神。
7. 有BI開發(fā)經(jīng)驗的優(yōu)化考慮。
大數(shù)據(jù)開發(fā)工程師崗位的主要職責8
職責：
1.結合項目或產(chǎn)品涉及的具體業(yè)務場景，對數(shù)據(jù)進行清洗、計算與加工;
2.思路清晰，可快速響應數(shù)據(jù)處理的需求，評估并給出合理的解決方案，并采用合理的方式處理需求;
3.積極主動，能夠與團隊成員進行有效溝通，并完成數(shù)據(jù)處理結果的核對與對接;
4.完成上級交辦的工作或任務。
崗位要求
1.計算機相關專業(yè)大專以上學歷;
2.2年以上大數(shù)據(jù)產(chǎn)品或項目開發(fā)經(jīng)驗，精通Hadoop生態(tài)圈，熟練使用Spark，HBase、Hive、Kafka、Redis等;
3.精通SQL，熟練使用HSQL實現(xiàn)復雜數(shù)據(jù)處理邏輯，并具備數(shù)據(jù)處理調優(yōu)的能力;
4.熟悉Linux開發(fā)環(huán)境，熟悉Linux的shell命令。
5.具有良好的邏輯思維能力和嚴謹?shù)某绦蜷_發(fā)思想，具備獨立問題排查與處理的能力;
6.良好的團隊精神和合作意識，強烈的責任心，對工作有激情，良好的溝通能力，能吃苦耐勞;
7.有大數(shù)據(jù)項目或產(chǎn)品背景者優(yōu)先;
8.有使用Spark SQL進行數(shù)據(jù)處理，并具有Spark SQL優(yōu)化經(jīng)驗者優(yōu)先。
9.有Python或者Shell腳本開發(fā)經(jīng)驗優(yōu)先
大數(shù)據(jù)開發(fā)工程師崗位的主要職責概述相關文章：