首页 > 制度大全 > 首席数据智能架构专家职位描述与岗位职责任职要求

首席数据智能架构专家职位描述与岗位职责任职要求

2024-07-26 阅读 1877

职位描述

岗位职责

1、分析当前和未来大数据、数据治理、数据管理和应用支持等场景的需求,引领相关平台技术架构的研究和基础能力建设,主导构建基于大数据智能处理技术的基础能力平台;

2、规划公司大数据、数据智能处理技术等相关领域的技术发展战略并在产品和平台层面规划和领导软件开发,确定软件实现架构,推动相关技术落地产品;

3、与其他团队紧密合作,确保平台产品的先进性、完整性和竞争力;

4、参加相关趋势、标准及开源技术生态组织或会议,洞察行业发展趋势、战略,确保数据智能技术在大数据领域的持续竞争力

岗位要求

1、硕士/博士学历,5+年数据技术行业经验;

2、精通互联网大型数据应用和处理软件架构,并具备软件开发团队协作管理经验;

3、能主导团队成员进行大型项目的设计,架构及落地,主导核心框架、模型的设计与原型开发;

4、在相关重要开源社区活跃或发表论文在业界有一定影响力,在软件行业组织或开源组织中承担重要岗位者优先;

5、精通大数据及其处理分析栈技术及工具,如Hadoop/Spark,ELK,Flink,Kafka,Storm等系列组件,具有在数据挖掘和机器学习工具中处理大型数据集的经验;

6、具备开发和使用传统数据栈及工具(关系数据库、数据仓库、SQL)的开发经验及有Scala/GO/C++/Java等开发语言及Python、Perl等脚本语言开发经验;

7、了解虚拟化、容器和PaaS云平台的技术和开发,如K8s、OpenStack、Ceph等,有开发微服务、无服务架构、面向服务架构、Web服务或数据处理管理经验者优先

篇2:数据架构师岗位工作职责

1、深入理解MDM主数据管理思想和流程;

2、理解业务数据、主数据与元数据的区别与关系;

3、参与过数据模型的设计与开发;

4、深入理解数据清洗,标准化,转换,匹配,数据质量、安全管理的原理和业务流程;

5、参与过数据ETL开发与设计;

6、熟练运用主流DBMS,nosql数据库。

篇3:大数据系统架构师岗位职责大数据系统架构师职责任职要求

大数据系统架构师岗位职责

职责描述:

1.负责客户业务需求、数据分析需求的调研、收集与分析;

2.负责Kyligence大数据平台整体架构和数据架构设计,根据具体业务需求和产品对数据模型进行统一分析和规划;

3.负责技术设计及技术实现规范编制,指导开发团队进行项目设计、项目实现及技术汇报;

4.负责项目重难点模块的功能设计和难点攻坚;

5.参与大数据平台的应用设计、开发、测试及优化工作。

任职要求:

1.计算机相关专业,本科及以上学历;

2.有5年以上工作经验,3年以上数据仓库架构和大数据系统设计经验;

3.精通Hadoop、Hive、HBase原理及优化,熟悉大数据生态技术圈,如Storm、Spark、Flume、Sqoop、Kafka、Zookeeper、ES等,有大规模集群架构设计、开发及管理经验;

4.熟练使用SQL语言,掌握Oracle、DB2、GP、MySQL等至少两种数据库系统的使用,有较好的SQL性能调优经验;

5.至少熟悉Java,Scala,Python,Shell等编程语言中的2种;

6.熟悉数据治理及应用,元数据管理的设计与应用;

7.熟悉数据仓库模型的设计,分层设计原理,并结合大数据技术组建解决模型应用的问题;

8.优秀的分析和解决问题的能力,对挑战性问题充满激情;

9.具备良好的文档撰写能力和技术团队管理能力;

10.具备良好的团队合作精神,较强的沟通能力,具备良好的技术领导能力;

11.有Hive数据仓库或者ApacheKylin的开发经验者优先考虑;