大數(shù)據(jù)架構(gòu)師的基本職責

　　大數(shù)據(jù)架構(gòu)師需要參與規(guī)劃從數(shù)據(jù)源到數(shù)據(jù)應用的整體流程，并參與相關產(chǎn)品的決策。下面是學習啦小編為您精心整理的大數(shù)據(jù)架構(gòu)師的基本職責。

　　大數(shù)據(jù)架構(gòu)師的基本職責1

　　職責：

　　1.負責整個大數(shù)據(jù)平臺架構(gòu)的設計和構(gòu)建;

　　2.負責構(gòu)建大數(shù)據(jù)平臺的數(shù)據(jù)交換、任務調(diào)度等通用平臺;

　　3.制定開發(fā)、測試、實施、維護的標準和規(guī)范，指導和培訓工程師，不斷提升團隊能力。

　　4.參與系統(tǒng)需求分析、架構(gòu)設計、技術(shù)選型、應用設計與開發(fā)以及測試與部署，負責編寫核心部分代碼。

　　5.持續(xù)挑戰(zhàn)新的技術(shù)方向，攻克大數(shù)據(jù)量、高并發(fā)、高可用、可擴展等技術(shù)難點。

　　任職要求：

　　1.3年以上大數(shù)據(jù)架構(gòu)經(jīng)驗，豐富的數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、機器學習項目經(jīng)驗

　　2.大規(guī)模數(shù)據(jù)處理的架構(gòu)和設計實戰(zhàn)經(jīng)驗

　　3.精通Spark、MR，熟練HDFS、Yarn、Hbase、Hive、MongoDB，熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB(NEO4J或其他)等，并具有豐富的大型數(shù)據(jù)平臺工程經(jīng)驗

　　4.深刻理解大數(shù)據(jù)處理(流計算，分布式計算，分布式文件系統(tǒng)，分布式存儲等)相關技術(shù)和實現(xiàn)方法

　　5.熟悉主數(shù)據(jù)、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量等企業(yè)數(shù)據(jù)管理相關的體系和方法，熟練Linux/Unix平臺上的開發(fā)環(huán)境

　　6.本科或以上學歷，計算機軟件或相關專業(yè)，豐富的java開發(fā)經(jīng)驗和互聯(lián)網(wǎng)背景優(yōu)先。

　　7.具有比較強的問題分析和處理能力，有比較優(yōu)秀的動手能力，熱衷技術(shù)，精益求精

　　大數(shù)據(jù)架構(gòu)師的基本職責2

　　職責：

　　1. 深刻理解政府行業(yè)業(yè)務模式，構(gòu)建政府行業(yè)的數(shù)據(jù)模型，制定公司大數(shù)據(jù)技術(shù)發(fā)展路線;

　　2. 對接業(yè)務研究和技術(shù)部門，主動搜集和轉(zhuǎn)化需求，組織數(shù)據(jù)中心業(yè)務開發(fā)，進行數(shù)據(jù)相關產(chǎn)品需求分析和設計;

　　3. 搭建數(shù)據(jù)倉庫，研發(fā)數(shù)據(jù)庫管理系統(tǒng)，搜集、提取、處理業(yè)務積累的海量數(shù)據(jù)，開展數(shù)據(jù)分析和挖掘;

　　4. 根據(jù)公司戰(zhàn)略和發(fā)展需要，規(guī)劃數(shù)據(jù)中心重點工作和任務;落實部門人員、事務管理，開展跨部門、跨地區(qū)協(xié)作，協(xié)助對外交流與合作。

　　職位要求：

　　1. 5年以上相關工作經(jīng)驗，有團隊管理和項目管理經(jīng)驗者優(yōu)先;

　　2.了解政府運作機制，掌握財政行業(yè)知識，有電子政務行業(yè)經(jīng)驗者優(yōu)先;

　　3. 熟練掌握使用Java或Python,精通數(shù)據(jù)庫查詢語言如SQL，Oracle等,在機器學習模型和算法方向有應用經(jīng)驗者優(yōu)先;

　　4. 具備數(shù)據(jù)中心產(chǎn)品策劃整體思維，有大數(shù)據(jù)處理、分析、挖掘經(jīng)驗者優(yōu)先;

　　5. 邏輯思維嚴密，具備業(yè)務抽象、分解和標準化的能力，口頭和書面表達優(yōu)秀;

　　6. 有較強的大局意識和良好的團隊合作意識，富有領導力，具備優(yōu)秀的人際交往和溝通能力。

　　大數(shù)據(jù)架構(gòu)師的基本職責3

　　職責:

　　1、從事電信行業(yè)大數(shù)據(jù)項目相關業(yè)務調(diào)研、產(chǎn)品標準建設、核心模型設計和優(yōu)化、系統(tǒng)測試等相關工作

　　2、與數(shù)據(jù)專業(yè)委員會一起研究數(shù)據(jù)建模方案和建模工具，負責產(chǎn)品線產(chǎn)品的數(shù)據(jù)架構(gòu)、數(shù)據(jù)模型設計

　　3、參與研究數(shù)據(jù)庫之間的數(shù)據(jù)轉(zhuǎn)換方式，參與項目中的數(shù)據(jù)移植工作，收集在項目中的數(shù)據(jù)移植經(jīng)驗，優(yōu)化產(chǎn)品的數(shù)據(jù)模型

　　4、負責培訓本部門隊伍的數(shù)據(jù)模型基礎理論工作，建立數(shù)據(jù)模型團隊

　　崗位要求：

　　1、統(tǒng)招本科學歷，3年以上主流數(shù)據(jù)上(DB2、Oracle、SQLServer、Mysql等)ETL設計、開發(fā)經(jīng)驗，具備大型數(shù)據(jù)倉庫邏輯模型和物理模型設計經(jīng)驗，精通SQL，有較好的SQL性能調(diào)優(yōu)經(jīng)驗;

　　2、擁有Python，R等數(shù)學建模工具的使用經(jīng)驗，并具備一定的數(shù)據(jù)處理和建模經(jīng)驗，可以輸出相應的模型分析結(jié)果、模型比較、模型效率以及對模型的理論和判斷依據(jù)方法并對其進行完整的解釋和說明;

　　3、熟悉統(tǒng)計學基本原理，做過實戰(zhàn)的數(shù)據(jù)建模項目;

　　4、有分布式數(shù)據(jù)倉庫建設相關經(jīng)驗者優(yōu)先，具備電信行業(yè)數(shù)據(jù)倉庫建設相關經(jīng)驗者優(yōu)先;

　　大數(shù)據(jù)架構(gòu)師的基本職責4

　　職責：

　　1、負責大數(shù)據(jù)平臺的架構(gòu)設計、核心代碼開發(fā)等任務;根據(jù)項目要求編寫相關技術(shù)文檔;

　　2、負責大數(shù)據(jù)平臺的架構(gòu)評審，代碼評審，上線評審;參與數(shù)據(jù)應用需求、設計、審核和評審;

　　3、負責核心模塊研發(fā)，負責大數(shù)據(jù)平臺的搭建，完成系統(tǒng)調(diào)試、集成與實施;

　　4、負責建立和維護大數(shù)據(jù)平臺技術(shù)標準規(guī)范，指導開發(fā)人員編寫代碼;

　　任職要求：

　　1、本科及以上計算機相關專業(yè)畢業(yè);

　　2、精通離線和實時數(shù)據(jù)處理流程，掌握離線數(shù)據(jù)處理框架hive、impala、spark-sql等，掌握實時數(shù)據(jù)處理常用技術(shù)工具，包括Storm、SparkStreaming等;

　　3、熟悉大數(shù)據(jù)技術(shù)生態(tài)圈，精通大數(shù)據(jù)技術(shù)架構(gòu)，有大數(shù)據(jù)平臺構(gòu)建經(jīng)驗;

　　4、掌握常見數(shù)據(jù)流接入工具，包括Flume、kafka等;

　　5、熟練掌握基本的Linux操作系統(tǒng)和某種腳本語言編程(如Shell等);

　　6、掌握一種或以上實時處理語言，如JAVA、SCALA、PYTHON等，有SCALA經(jīng)驗者優(yōu)先;

　　7、有實際大規(guī)模數(shù)據(jù)(TB級以上)處理經(jīng)驗優(yōu)先;

　　大數(shù)據(jù)架構(gòu)師的基本職責5

　　職責：

　　1、負責公司的大數(shù)據(jù)處理框架的研發(fā)設計工作，梳理可實現(xiàn)方案和技術(shù)規(guī)范;

　　2、開發(fā)、完善公司大數(shù)據(jù)平臺;參與公司離線、實時大數(shù)據(jù)處理系統(tǒng)的設計、開發(fā)、測試及多個業(yè)務模塊的自動化集成;

　　3、負責業(yè)務平臺數(shù)據(jù)統(tǒng)計分析模塊的設計與規(guī)劃;

　　4、負責公司產(chǎn)品研發(fā)過程中的數(shù)據(jù)及存儲設計;

　　5、帶領和培養(yǎng)團隊完成組織分解的目標;

　　任職要求：

　　1、統(tǒng)招本科及以上學歷，計算機、軟件工程相關專業(yè)，至少8年以上工作經(jīng)驗，5年以上大數(shù)據(jù)開發(fā)經(jīng)驗;

　　2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相關技術(shù)的基礎架構(gòu)

　　3、熟悉數(shù)據(jù)倉庫，數(shù)據(jù)算法，分布式計算技術(shù)理論，具有大數(shù)據(jù)整體系統(tǒng)架構(gòu)設計經(jīng)驗;

　　4、熟悉Linux系統(tǒng)，熟練使用shell/perl/python腳本處理問題;

　　5、對深度學習框架(Tensorflow)和機器學習(svm 隨機深林貝葉斯等)有一定了解的優(yōu)先;

　　6、能夠組織項目開發(fā)組協(xié)同工作，包括團隊溝通、計劃、開發(fā)環(huán)境管理等