公司规模:100 - 499人
公司性质:私营/民营企业
职位性质: | 全职 | 专业要求: | 计算机专业 | 招聘日期: | 2021.12.9 ~ 2022.12.13 |
---|---|---|---|---|---|
工作地点: | 天津 | 外语要求: | 无 | 更新日期: | 2022.8.11 |
工作经验: | 三年以上 | 职称要求: | 不限 | ||
学历要求: | 本科及以上 | 工资待遇: | 6000 - 10000 | ||
招聘人数: | 若干 |
Python开发工程师(爬虫方向) 岗位职责: 1、负责网络爬虫系统的设计与开发(结构化抽取,分布式,调度策略); 2、研究爬虫策略和防屏蔽规则,解决封锁、验证码、加密,等问题,优化爬虫效率和质量; 3、对抓取后的数据进行清洗、存储,并持续优化平台,提升爬虫稳定性及可扩展性。 4、向部长汇报。 任职要求: 1. 至少1年爬虫项目开发经验;至少熟练掌握主流爬虫框架中的一种 2. 精通Python语言,熟练运用多进程、多线程开发; 3. 熟悉爬虫原理,熟练掌握正则表达式、XPath、CSS等网页信息抽取技术以及提取多层Json结构数据; 4. 熟悉常见反爬机制,IP池、cookie、js加密等;对破解验证码有丰富经验,独立解决js反爬和模拟登陆问题 5. 熟练使用Scrapy、Requests、Selenium、PhantomJS等框架;熟练使用抓包工具; 6. 熟悉Linux基础命令,熟悉Mysql、Redis等数据库及相关操作; 其它要求: 1. 熟悉数据清洗,能够用numpy、pandas、jieba等工具对数据进行处理者优先; 2. 有Django/Flask等web框架开发经验者优先 |