抓取工程师岗位职责任职要求

抓取工程师岗位职责

工作职责:

1、参与头条爬虫的核心技术研发,建设平台化服务

2、满足业务团队的数据需求,和业务部门一起优化数据处理流程

任职要求:

1、具备良好的编码能力,有扎实的数据结构和算法功底

2、熟悉linux开发环境,掌握至少一门高级语言:C/C++/Python

3、理解http、计算机网络,熟悉HTML、DOM、XPath等

4、工作认真细致踏实,较强的学习能力、分析解决问题能力

抓取工程师岗位

篇2:抓取工程师视频职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责视频爬虫的核心技术研发

2、负责构建和优化推荐离线数据流，有机会参与推荐算法策略

3、基于算法挖掘和分析头条作者、用户每天产生的海量数据，辅助产品策略

任职要求：

1、具备强悍的编码能力

2、有扎实的数据结构和算法功底

3、工作认真细致踏实，有较强的学习能力

4、熟悉linux开发环境，熟悉C++和python语言的优先

5、良好的团队合作精神,较强的沟通能力

篇3:数据抓取资深工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责今日头条、西瓜视频、TopBuzz、BuzzVideo等产品的全球内容接入，通过算法智能解析各语种页面结构，自适应提取页面关键信息

2、负责全网图文、长短视频、SNS内容监控，对海量的站内外发文、用户关系分析挖掘；每日处理上亿条数据，提供几十亿内容在线服务

3、负责通用垂直抓取平台建设，服务头条、抖音等所有业务团队，快速解决各种不同的抓取诉求，提供数据和平台支持

4、负责项目整体架构设计与优化，主导代码开发测试，并积极推动上线；负责初、中级工程师的培养

任职要求：

1、具备强悍的编码能力，有扎实的数据结构和算法功底

2、精通Python、PHP、C++、Java、Golang中的至少一门语言

3、理解http、计算机网络，熟悉HTML、DOM、XPath等

4、责任心强，积极主动，有良好的沟通能力和团队合作能力

5、工作认真细致踏实，较强的学习能力、分析解决问题能力

6、有很好的产品意识，对业务流程有良好的抽象和总结能力