资深数据仓库工程师职位描述与岗位职责任职要求

职位描述：

工作职责

1、基于公司数据建设需要，完成数据内容开发等工作，维护与完善数据模型各类信息；

2、负责各业务线系统的信息调研、表与字段的关系梳理，根据业务及日常需求来优化模型；

3、工作中对数据平台基础设施、数据内容建设等工作主动深度思考，提升效能、促进组织和系统发展；

4、负责核心数据仓库模型代码开发，跟进ETL的完成。负责接入源系统数据的脚本开发、数据测试与验证、以及调度开发等工作；

5、与上游系统与下游应用同事沟通协作，推动各类需求在数据模型中的落地；

6、跟踪、监测、维护及优化数据模型，确保数据模型被使用。

任职资格

1、本科以上学历，5年或以上金融行业数据类工作经验；

2、熟悉Hadoop生态系统组件，如：Hive、MapReduce、Spark、HBase等；具备编写、优化复杂SQL的能力；

3、负责过大型数据平台或数据仓库设计，具有扎实的大数据和数据仓库的理论功底；

4、掌握一定的数据质量管理方法论、评估模型设计、质量报表设计，能够根据数据质量要求制定数据质量探查规则并进行实施；

5、掌握一定元数据管理方法论、元数据管理设计。

6、能够围绕业务和产品特征建模并解决问题；

7、具有丰富的数据实践经验；

8、基于公司数据建设需要，完成数据内容开发等工作，维护与完善数据模型各类信息。

篇2:数据仓库研发工程师岗位职责

搜狗金融-数据仓库研发工程师-北京-02173(MJ001926)搜狗北京搜狗科技发展有限公司,北京搜狗科技,搜狗,搜狗科技,搜狗翻译,搜狗词典,搜狗岗位职责:

1、数据仓库、数据集市的数据模型设计

2、数据仓库ETL规则设计和开发

3、利用HQL进行数据清洗,根据应用场景建立数据集市。

4、数据仓库数据导入,建表,日常任务跑批,日志监控。

5、数据仓库需求调研和需求分析

任职条件:

1、熟悉python,熟练使用shell编程解决数据清洗;

2、熟练使用Hadoop、Hive、Sqoop,熟练使用hiveSQL并有一定编写map/reduce开发经验;

3、熟悉数据仓库建模理论,了解数据仓库数据分层架构,精通3NF和多维数据模型设计;

4、具备大中型数据仓库架构设计、模型设计、ETL设计的相关经验;

5、具备海量数据处理、有性能调优经、金融、电商、电信、互联网行业数据模型经验者优先

这是一款定位于服务平台互联网用户的金融产品,由搜狗公司内部孵化,深度挖掘搜狗在互联网端的用户规模优势以及多年的大数据能力积累。在当下大热的互联网金融领域,搜狗将发挥用户服务和智能算法优势,并结合平台的综合运营实力。

篇3:仓库开发工程师岗位职责

数据仓库开发工程师同程艺龙同程网络科技股份有限公司,同程旅游,同程艺龙,同程职责描述:

1、数据仓库、数据集市的数据模型设计

2、数据仓库ETL规则设计和开发数据仓库需求调研和需求分析

3.业务模型抽象、数据模型设计开发

4.支持业务的数据需求,跟分析师一起完善业务的数据分析体系和工具

5.ETL、数据应用和服务的设计开发

6.积累数据生产、分析工具,不断提高数据生产效率

7.实时数据仓库设计、开发与服务

任职要求:

1、1年以上数据仓库开发和架构经验,深刻理解数据仓库应用设计原理和实践;

3、精通数据库索引和sql语句的优化,和服务器的性能参数调整

4、熟练一种以上主流ETL工具和BI工具

5、能根据业务需求设计数据仓库模型,掌握多种数据仓或数据集市开发,多维分析相关技术和OLAP前端展现工具;

6、有互联网旅游数据仓库经验者优先;有处理实时数据经验者优先;

7、强烈责任心,开放的性格,良好的沟通能力;较强的分析问题、解决问题能力,良好的沟通能力、团队精神。

8、有一个以上企业级数据仓库项目设计经验,精通数据仓库架构,熟悉数据仓库项目的实施流程;