爬虫工程师

该职位来源于猎聘 岗位职责： 1、负责web端数据的爬取、清洗、解析、入库 2、熟练掌握Python编程语言，熟悉JavaScript，熟悉fastapi后端服务构建； 3、熟练使用数据库，掌握redis、pgsql、mysql等； 4、数量使用docker进行服务部署； 5、熟悉各种抓取技术，包括爬虫反爬、代理、验证码处理； 6、熟练使用正则表达式、xpath等，能够从结构化的和非结构化的数据中获取信息； 7、掌握常见的反爬机制，精通各种反爬破解，包括但不限于：hook、Js防护、混淆、逆向分析等技能； 8、参与设计与优化分布式网络爬虫系统，熟悉采集系统的调度策略，实时监控爬虫的进度和警报反馈； 任职要求： 1、编程能力：精通Python，熟悉JavaScript，能使用FastAPI构建后端服务 2、数据库：熟练使用PostgreSQL/MySQL进行数据存储，Redis实现缓存与去重 3、精通XPath/正则表达式解析结构化与非结构化数据 4、掌握代理IP池构建、请求伪装、动态渲染等技术 5、备反爬破解能力（Hook技术、JS逆向、混淆代码分析等） 6、有瑞数、国密算法逆向经验者优先 7、熟练使用Docker容器化部署服务