数据架构师职位描述与岗位职责任职要求
职位描述:
工作职责:
1.负责数据仓库建设,主要从事数据仓库的基础架构设计、ETL与开发流程优化,整体管理数据的生产、建模、应用等;
2.负责数据治理平台,制定数据规范及标准、建设数据管理体系和流程,完善数据治理制度,提升数据质量;
3.基于数据驱动参与构建交易相关的数据中后台系统,并负责维护与运行;
3.深入业务,理解并合理抽象业务需求,建设数据主题,发挥数据价值;
4.有数据中台建设经验者优先;有大型数据平台项目建设经验者优先
任职资格:
1.精通数据模型和数据架构,有大型数据仓库建设经验
2.熟悉数据仓库模型设计与ETL开发经验,具备海量数据加工处理(ETL)相关经验;
3.精通SQL,并且有一定的SQL性能调优经验,并且熟悉MYSQL等常用数据库;
4.熟悉hive、hbase、storm、mahout、flume、ElasticSearch、Spark、Kafka等,具备实际项目设计及开发经验;
5.对数据敏感、对技术敏感,有研究的意识
篇2:数据架构师岗位工作职责
1、深入理解MDM主数据管理思想和流程;
2、理解业务数据、主数据与元数据的区别与关系;
3、参与过数据模型的设计与开发;
4、深入理解数据清洗,标准化,转换,匹配,数据质量、安全管理的原理和业务流程;
5、参与过数据ETL开发与设计;
6、熟练运用主流DBMS,nosql数据库。
篇3:大数据系统架构师岗位职责大数据系统架构师职责任职要求
大数据系统架构师岗位职责
职责描述:
1.负责客户业务需求、数据分析需求的调研、收集与分析;
2.负责Kyligence大数据平台整体架构和数据架构设计,根据具体业务需求和产品对数据模型进行统一分析和规划;
3.负责技术设计及技术实现规范编制,指导开发团队进行项目设计、项目实现及技术汇报;
4.负责项目重难点模块的功能设计和难点攻坚;
5.参与大数据平台的应用设计、开发、测试及优化工作。
任职要求:
1.计算机相关专业,本科及以上学历;
2.有5年以上工作经验,3年以上数据仓库架构和大数据系统设计经验;
3.精通Hadoop、Hive、HBase原理及优化,熟悉大数据生态技术圈,如Storm、Spark、Flume、Sqoop、Kafka、Zookeeper、ES等,有大规模集群架构设计、开发及管理经验;
4.熟练使用SQL语言,掌握Oracle、DB2、GP、MySQL等至少两种数据库系统的使用,有较好的SQL性能调优经验;
5.至少熟悉Java,Scala,Python,Shell等编程语言中的2种;
6.熟悉数据治理及应用,元数据管理的设计与应用;
7.熟悉数据仓库模型的设计,分层设计原理,并结合大数据技术组建解决模型应用的问题;
8.优秀的分析和解决问题的能力,对挑战性问题充满激情;
9.具备良好的文档撰写能力和技术团队管理能力;
10.具备良好的团队合作精神,较强的沟通能力,具备良好的技术领导能力;
11.有Hive数据仓库或者ApacheKylin的开发经验者优先考虑;