首页 > 制度大全 > 大数据基础架构工程师(Hadoop)职位描述与岗位职责任职要求

大数据基础架构工程师(Hadoop)职位描述与岗位职责任职要求

2024-07-26 阅读 4086

职位描述

工作职责

1、打造业界领先的大数据基础设施,包括数据接入,同步,存储、计算,查询等环节的分布式系统,为海量数据和大规模业务系统提供可靠的基础设施;

2、与开源社区保持交流,发现对业务场景有帮助的特性并引入生产环境,或将经内部验证的特性贡献到社区;

3、承担千台规模集群的管理工作,与业务一起解决性能优化、容量规划、预算审计等问题,保障集群高效稳定经济运行;

任职资格

1、计算机基础扎实,熟悉常用数据结构和算法,具备较强的逻辑思维能力和编码能力;

2、掌握分布式系统原理,对存储、计算、消息队列、资源管理,数据同步等中的一项或多项有深入的理解和认识;

3、乐于挑战没有明显答案的问题,能快速理解业务场景,从具体问题中抽象出通用的解决方案;

4,熟悉Hadoop,Hbase,Zookeeper,Flume,K8s等基础服务中的一项或多项;

5、有Kafka或者同类型技术设计开发及集群管理经验者优先。

篇2:智能平台工程师架构师抖音火山职位描述与岗位职责任职要求

职位描述

工作职责

1、负责抖音、火山等海内外亿级产品的大规模集群的优化工作,优化架构、稳定性、资源、全球多机房问题;

2、负责AIOps方向的优化,优化故障检测、根因分析、健康度、容量规划等;

3、负责DevOps方向的云平台建设,优化核心服务的持续集成和交付,高效和自动化的运维优化。

任职要求

1、拥有良好的系统设计能力、开发能力,对解决具有挑战性问题充满激情;

2、对大规模分布式系统的设计、分析、故障排查有强烈兴趣;

3、有以下经验者优先:机器学习AI经验、或运维相关经验、或云平台相关经验(阿里云、AWS等)。

篇3:高级Java研发工程师架构师职位描述与岗位职责任职要求

职位描述

岗位描述

1、负责后台核心系统的开发与设计,完成核心代码编写;

2、根据开发规范与流程独立完成模块的设计、编码;

3、参与现有系统的升级、改进、性能调优等。

任职要求:

1、三年以上java开发经验,JAVA基础扎实,理解IO、多线程、MQ等基础框架,对JVM原理有一定的了解。

2、熟悉Linux操作系统常用命令。

3、熟悉分布式系统,熟练掌握一种以上分布式服务框架者优先

4、有大规模分布式系统的设计和开发经验者优先

5、具有优秀的学习能力,良好的逻辑分析能力,良好的沟通能力和团队合作精神