大数据研发岗位职责
大数据研发职位描述:
1、理解数据的产品应用场景逻辑,通过统计方法和通用分布式框架工具语言如hadoop,不断加强数据服务质量;
2、负责数据清洗、转换、建模等工作,对海量用户行为数据通过hadoop/spark等进行离线和实时处理;
3、参与用户画像、个性化推荐系统等数据产品的开发工作
4、参与数据、工具平台相关的功能接口、数据接口开发,完成业务功能;
岗位要求:
1、精通java或scala语言,具有面向对象编程思想,对底层实现有一定研究;
2、精通sparksql、sparkstreaming等编程,具有实际大型分布式集群项目开发经验;
3、熟悉Linux操作系统,熟悉Linuxshell编程;
4、熟悉mysql,redis等常用数据库,jetty等中间件;
5、熟悉分布式存储或NoSQL数据库技术,如hbase等;
6、熟悉Hadoop生态环境,精通以下一种或多种大数据技术,如flume、Kafka、Hdfs、MR、elasticsearch;
7、熟悉常用的数据挖掘算法优先。职位描述:
1、理解数据的产品应用场景逻辑,通过统计方法和通用分布式框架工具语言如hadoop,不断加强数据服务质量;
2、负责数据清洗、转换、建模等工作,对海量用户行为数据通过hadoop/spark等进行离线和实时处理;
3、参与用户画像、个性化推荐系统等数据产品的开发工作
4、参与数据、工具平台相关的功能接口、数据接口开发,完成业务功能;
岗位要求:
1、精通java或scala语言,具有面向对象编程思想,对底层实现有一定研究;
2、精通sparksql、sparkstreaming等编程,具有实际大型分布式集群项目开发经验;
3、熟悉Linux操作系统,熟悉Linuxshell编程;
4、熟悉mysql,redis等常用数据库,jetty等中间件;
5、熟悉分布式存储或NoSQL数据库技术,如hbase等;
6、熟悉Hadoop生态环境,精通以下一种或多种大数据技术,如flume、Kafka、Hdfs、MR、elasticsearch;
7、熟悉常用的数据挖掘算法优先。
篇2:数据仓库研发工程师岗位职责
搜狗金融-数据仓库研发工程师-北京-02173(MJ001926)搜狗北京搜狗科技发展有限公司,北京搜狗科技,搜狗,搜狗科技,搜狗翻译,搜狗词典,搜狗岗位职责:
1、数据仓库、数据集市的数据模型设计
2、数据仓库ETL规则设计和开发
3、利用HQL进行数据清洗,根据应用场景建立数据集市。
4、数据仓库数据导入,建表,日常任务跑批,日志监控。
5、数据仓库需求调研和需求分析
任职条件:
1、熟悉python,熟练使用shell编程解决数据清洗;
2、熟练使用Hadoop、Hive、Sqoop,熟练使用hiveSQL并有一定编写map/reduce开发经验;
3、熟悉数据仓库建模理论,了解数据仓库数据分层架构,精通3NF和多维数据模型设计;
4、具备大中型数据仓库架构设计、模型设计、ETL设计的相关经验;
5、具备海量数据处理、有性能调优经、金融、电商、电信、互联网行业数据模型经验者优先
这是一款定位于服务平台互联网用户的金融产品,由搜狗公司内部孵化,深度挖掘搜狗在互联网端的用户规模优势以及多年的大数据能力积累。在当下大热的互联网金融领域,搜狗将发挥用户服务和智能算法优势,并结合平台的综合运营实力。
篇3:数据研发工程师岗位职责
数据研发工程师投中信息上海投中信息咨询股份有限公司,投中信息职责描述:
1.负责数据源调研、入库、开发的全流程工作(数据采集、清洗、汇总、集成等),并保证数据质量;
2.有较强的自学能力,能够根据需要学习相关业务和技术知识,并能灵活运用;
3.负责对公司平台的数据进行整理、挖掘及分析工作;
4.基于公司现有产品,提出可扩展,高性能,高可用性设计方案;
任职要求:
1.熟练掌握Java编程语言,熟悉Python脚本语言,并灵活运用到实际工作中及解决技术问题;
2.熟悉Hadoop+Spark大数据处理工具和技术,有两年以上的实际大数据处理经验;
3.熟练掌握一至两种开源ETL工具软件;
4.熟悉常见机器学习算法(如逻辑回归、SVM、神经网络、决策树、贝叶斯等);
5.对机器学习/深度学习有兴趣,并具有一定的理解和研究,熟悉Tensorflow、Torch等常见框架;有实际项目开发经验者优先;
6.善于分析和解决问题,富有想象力和学习能力,良好的团队合作精神;
7.责任心强,工作踏实,团队协作精神,具备快速解决问题的能力。