大数据开发工程师（渠道团队）职位描述与岗位职责任职要求

职位描述：

职责描述：

1.参与产品和项目研发工作，基于SPARK完成产品大数据架构和功能开发；

2.搭建和调优大数据基础平台，包括Hadoop/HBase/Hive/Sqoop/Kafka/Flume/Spark/Storm等大数据组件的环境搭建；

3.维护线上系统的稳定性、可靠性，通过分析现象快速定位问题，进而提出优化方案，改进要求；

任职要求：

1.计算机相关专业本科及以上学历，5年以上大数据工作经验,有扎实的计算机理论基础；

2.熟练使用MapReduce、Spark提供的API编程，具备海量数据加工处理（ETL）相关经验；

3.熟练使用大数据的工具平台，熟悉Hadoop生态环境，对Hadoop、Spark、Storm、HBase、Hive等至少一个项目有着深入了解；

4.掌握数据分析的基本流程，具备数据采集、清洗、分析等环节的实战经验；可以进行数据产品ETL需求的调研及开发；

5.熟悉ETL任务调度及管理；

6.熟悉Shell命令，进行简单的Shell编程；熟悉Linux文本处理命令，VI、AWK、Sed等命令

7.熟练使用Hadoop或其他分布式平台的一种，能使用Java、Python或其他语言编写MapReduce进行大数据处理优先；

8.有大型金融项目经验者优先。"

篇2:高级大数据开发工程师职位描述与岗位职责任职要求

职位描述：

岗位职责：

1.基于公司大数据产品进行数据开发，包括数据的采集，清洗，预处理，存储，建模，分析挖掘等

2.根据业务用户需要分析数据，提供数据支持

3.参与公司大数据产品的运维和监控，保障数据质量和服务稳定性

任职要求：

1.具备本科以上学历,计算机,软件以及相关专业,5年以上大数据开发经验

2.熟悉数据仓库维度建模,并能根据客户需求进行数据开发,向模型更新数据

3.使用过至少一种以上的ETL工具

4.熟练掌握Java,对Hadoop相关的技术和组件(HDFS,MR,Hbase,Hive,Spark,Storm,Kafka等）有全面深入了解

5.熟练掌握Shell或者Python中的一种

6.具备Spark开发经验者优先

7.具备实时计算(Kafka+Storm/SparkStreaming)经验者优先

8.具备数据分析和数据挖掘方面经验者优先

篇3:中级大数据开发工程师职位描述与岗位职责任职要求

职位描述：

职责描述：

1、参与公司商业智能平台的研发工作；

2、参与公司商业智能平台的升级改造工作，包括运维工作。

任职要求：

1、正规院校本科及以上学历，软件、计算机、通信、信息安全、网络工程等相关专业；

2、良好的Java开发背景，熟悉Spring/MyBatis技术体系；

3、良好的SQL功底，熟悉MySQL或Oracle数据库；

4、熟悉Linux；

5、了解开源Pentaho产品，包括PRD、Mondrian、SaiKu、Kettle等；

6、熟悉Hadoop、Hive、HBase、Storm、Spark等大数据平台；

7、沟通能力强，有较强的学习能力，有较强的责任心与良好的团队协作能力。