高级Python工程师／爬虫／Spider职位描述与岗位职责任职要求

职位描述：

工作内容：

1、基础系统架构、模块、库和组件的研发；

2、分布式海量数据存储和分析系统的研发和调优；

3、统计分析、报表、SaaS业务等系统研发；

4、CRM、财务结算、工作流等内部管理系统的研发。

能力要求：

1、至少使用PHP/Java/Python等一门以上语言，开发过不算太小的项目；

2、熟悉数据结构、DB、OS、Web开发等相关知识，对Linux相关的各类技术情有独钟；

3、有大规模、高性能互联网网站系统相关的设计和开发经验者优先；

4、具备良好的学习能力和成长潜力，渴望和团队一起快速成长。

篇2:手机应用爬虫工程师职位描述与岗位职责任职要求

职位描述：

*负责设计和开发分布式网络爬虫系统

*应用多种技术对各平台进行数据采集

*设计数据采集策略，提升数据采集效率及质量

*与各行业分析师沟通，分析项目的可行性和讨论抓取方案。

*两年以上爬虫开发相关经验，本科及以上学历，计算机相关专业为佳

*熟练掌握C#或Java开发语言为佳

*了解TCP/IP，HTTP及相关网络协议

*熟悉JS/HTML/XPATH/Json/正则表达式等网页相关技术

*熟悉分布式、多线程、缓存、消息队列等互联网技术

*熟悉手机应用的数据抓取，手机app开发经验，加/脱壳经验为佳

*良好的沟通技能，注重细节，抗压性强

*良好的英语沟通技能为佳

篇3:爬虫工程师职位描述与岗位职责任职要求

职位描述：

职位诱惑：

全球项目、高薪资、高福利、国际团队

职位描述：

if(your_passions.includes('coding')){

switch(your_stacks){

case'Node.js':

case'Python':

case'Kubernetes':

case'Serverless':

console.log('JoinAfterShip');

break;

}

}

岗位职责

1、负责与不同物流公司的系统对接，使用各种API及爬虫技巧，抓取、分析、调度、存储数据，为公司业务提供正确稳定的数据；

2、负责系统的SLA代码维护、秩代更新，保证任务质量和交付及时性；

3、负责编写相关的技术文档、单元测试，对产品质量负责。

岗位要求

1、统招本科及以上学历，具备英语读写能力；

2、熟悉Git/GitHub，通信协议TCP/HTTP及RESTful标准；

3、一年及以上Python爬虫开发工作经验，JavaScript基础扎实，有Scrapy等使用经验；

4、有MySQL,Redis或MongoDB等相关数据库使用经验。

加分项

1、有CI/CD自动化测试经验；

2、有使用Docker、Kubernetes、AWS或GCP云计算经验；

3、有写Blog的习惯，活跃技术社区，参与开源项目等；

4、有代码洁癖，对代码精益求精，对技术有极客热情；

5、有软件著作权申请，有专利发明申请。

为什么加入我们

1、极客氛围:拥抱开源技术，实践敏捷开发；

2、最新技术:Kubernetes,Serverless,TensorFlow,Microservice；

3、特色福利:每天下午茶，学习成长基金,提供MacBookPro；

4、多元文化:团队来自全球十几个国家；

5、龙头企业:海外知名企业；

6、朝阳行业:B2B企业级系统，国际性SaaS平台。