互联网公司大数据开发岗位职责职位要求
职责描述：
大数据开发
1，本科或以上学历，计算机专业，3年以上大数据项目开发经验。
2，具有Hadoop/Spark开发与应用经验，有较大规模的项目经历并应用在生产环境
3，熟悉hbase、hive、YARN、Storm、Pig、zookeeper等大数据相关工具，并有处理TB级以上数据的项目经验
4，具有独立完成从方案选型设计到原型系统开发实现的能力
5，有较强的沟通表达能力，善于学习，能迅速理解产品需求；有较强的责任心和事业心，能够自我驱动
6，熟悉docker/impala/elasticsearch/mongodb等技术的优先
岗位要求：
学历要求：大专
语言要求：不限
年龄要求：不限
工作年限：不限
篇2:Java大数据岗位工作职责
简介:Java大数据是对大量、动态、能持续的数据,通过运用新系统、新工具、新模型的挖掘,从而获得具有洞察力和新价值的东西。
Java大数据职位描述(模板一)
岗位职责:
1.参与指标系统的建设;
2.基于大数据离线+实时分析日志,进行数据挖掘;
3.自助分析,关联分析系统的构建;
4.数据开放网关。
任职资格:
1.本科以上学历,3年以上Java软件开发工作经验,有互联网经验;
2.熟悉Java开发,熟练掌握各类常用数据结构和相关算法;
3.至少熟悉一种关系型数据库如Oracle、mysql等,熟练掌握Hive/SQL,熟悉Hadoop/Map-Reduce/MPI分布式计算框架,有海量数据处理经验者优先;
4.有大数据建模、大数据存储方面设计,并有大数据分析处理实际项目经验优先;
5.喜欢专研技术、有独立探索技术的能力,有开源项目经验者优先;
6.扎实的数据结构及算法基础,有良好的代码书写、注释和单元测试习惯;
7.对技术充满热情,具备良好的沟通能力、强烈的责任心和团队合作精神;可以独立带领团队完成项目需求者优先。
Java大数据职位描述(模板二)
岗位职责:
1.根据要求,负责公司数据平台的方案设计并主导方案的实现;
2.负责公司数据平台各类数据的存储优化、维护及建模等工作;
3.负责算法设计,并推动实现和验证;
4.负责编写相关技术文档。
任职要求:
1.本科及以上学历,计算机相关专业,两年以上后端服务系统相关实战经验;
2.对大数据系统、云服务系统有一定了解,有企业大数据服务的互联网从业经历者优先;
3.拥有扎实的编程能力,熟练掌握常见数据结构,掌握Java常用框架和开发模式;
4.熟悉Spring、MyBatis等开源框架,了解其工作原理;熟悉微服务开发;
5.熟练掌握常见SQL、NoSQL数据库原理、数据库设计、查询编写和优化;
6.熟悉Hadoop、Hive、Spark、ElasticSearch、Lucene、Kafka等数据和搜索系统;
7.逻辑分析能力强,善于沟通,有良好的团队合作精神,良好的学习能力。
Java大数据职位描述(模板三)
岗位职责:
1.负责基于Spark的大数据和机器学习产品架构设计、研发;
2.完善和优化系统处理能力和准确性;
3.根据产品和项目需求,完成相应的技术文档编写;
4.按要求完成代码的单元测试和承担必要的代码检查工作。
任职要求:
1.开发3年以上经验;
2.本科及以上学历,熟悉linu*开发环境;
3.精通Spark、Scala,有互联网大数据平台开发经验。掌握hadoop相关技术栈,如Hive、Hbase、kafka、flume、mahout等;
4.有hadoop/Spark调优、机器学习经验;
5.精通Java语言,熟悉设计模式;了解多线程、异步通信处理等;
6.了解大数据处理及分布式管理前沿技术(包括Hadoop、MapReduce、Spark、ZooKeeper等开源框架);
7.良好的沟通技能,团队合作能力,曾做过分布式系统开发的优先考虑。
篇3:大数据工程师岗位工作职责
简介:大数据(bigdata),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据工程师职位描述(模板一)
岗位职责:
1.负责数据分析、加工、清洗、处理程序的开发;
2.从事海量数据分析、挖掘相关工作;
3.负责大数据相关平台的搭建、开发、维护、优化;
4.对业务部门的数据分析需求给予实现与支持;
5.对公司的“数据驱动运营”的业务目标进行大数据架构方案实现。
任职要求:
1.计算机相关专业,本科及以上学历,3年以上Java开发工作经验,学习能力突出;
2.熟悉hadoop生态系统内常见项目的使用(hdfs、hive、hbase、spark、zookeeper、yarn等),具有python、spark、MapReduce开发经验,有实际大数据项目经验优先;
3.熟练掌握Oracle、MySql等主流数据库;
4.精通JAVA,熟悉基于J2EE的WEB架构设计,熟悉Web开发流程,有丰富的WebMVC(Struts/SpringMVC、Spring,Hibernate/Mybatis等)开发经验;
5.熟悉Linu*/Uni*系统环境下的操作;熟悉Tomcat等应用服务器的配置和优化;
6.具有良好的沟通能力、组织能力及团队协作精神,有较强的分析和解决问题的能力。
大数据工程师职位描述(模板二)
岗位职责:
1.大数据平台功能规划、设计;
2.大数据平台的设计、研发;
3.大数据平台实施、数据接入。
任职要求:
1.统招本科及以上学历,计算机科学、软件工程、数学、统计学相关专业毕业;
2.具有扎实的Java基础,精通SQL、mysql以及2年以上软件开发经验;
3.熟悉HADOOP平台架构,有hadooop、HBase、Hive、Spark、kafka使用经验;
4.熟练Python进行数据处理,网页爬取;
5.有非结构化数据解析、识别经验优先。
大数据工程师职位描述(模板三)
岗位职责:
1.负责数据仓库建设、设计、优化和落地;
2.负责数据ETL开发、数据平台建设、设计并实现对BI分析、数据产品开发。
任职要求:
1.985院校计算机相关专业本科以上学历;
2.有较扎实的数据仓库理论基础,对数据模型建设、应用层建设有比较丰富的经验;
3.有Hadoop、Hive、Spark、Impala等大数据技术使用经验者优先。
大数据工程师职位描述(模板四)
岗位职责:
1.主要负责电信业务的大数据开发工作;
2.结合业务需求设计数据分析场景,并形成后台实现方案,独立完成业务数据建模,并将结果转化为运营指标;
3.对产品全生命周期跟进,协调各种资源保证产品顺利发展。
任职要求:
1.计算机或者相关专业本科及以上学历,3年及以上相关工作经验;
2.熟练掌握java开发语言,熟悉多线程和线程调优,如懂scala开发更佳;
3.熟悉Linu*服务器环境、熟悉shell;
4.熟悉分布式系统、集群管理、SOA架构等相关技术,熟悉hadooponyarn集群部署和工作原理,熟练掌握MR开发,有大型集群开发运维经验更佳;
5.熟悉以下技术中3种及以上者优先考虑:hive、hbase、impala、Ngin*、zookeeper、redis、kafka、storm、spark、es、爬虫;
6.具有良好的沟通能力和团队精神,具有良好的抗压能力。
大数据工程师职位描述(模板五)
岗位职责:
1.负责大数据处理平台应用的开发工作;
2.利用Hadoopyarn/Storm/Spark进行开发、存储、分布式计算应用的代码实现;
3.优化Hadoopyarn/Storm/Spark参数,实现系统调优,满足行业应用的实时大数据处理需求;
4.学习新技术,提高整个平台的计算能力和效率;
5.开发基于HIVE、Hbase、ES等数据处理方式的脚本程序。
任职要求:
1.3年以上Hadoop/Storm/Spark开发经验,对分布式、并行计算理论有深刻理解;
2.精通java/scala/python任一语言;
3.对Hadoop/Storm/Spark源码有研究,有大数据平台开发工作经验者优先;
4.有很好的技术敏感性,良好的学习能力和吃苦耐劳能力;
5.具有较好的沟通协调能力、团队合作能力、文档编写能力。