Scrapling:能自动适应网站改版并绕过反爬虫的Python爬虫框架 | Scrapling
起因:改版一次,重写一次 做爬虫的人都有这个经历:昨天还正常跑的脚本,今天突然全空。打开网页,发现.product变成了.item-card,h2后面多了层span。旧选择器全废,得重新分析页面结构,更新代码。如果你爬的网站改版频繁,维护成本比开发还高。 Scrapling 是我最近试的一个 Pyt...
起因:改版一次,重写一次 做爬虫的人都有这个经历:昨天还正常跑的脚本,今天突然全空。打开网页,发现.product变成了.item-card,h2后面多了层span。旧选择器全废,得重新分析页面结构,更新代码。如果你爬的网站改版频繁,维护成本比开发还高。 Scrapling 是我最近试的一个 Pyt...