现在有很多爬虫框架,比如scrapy、webmagic、pyspider,也可以直接通过requests+beautifulsoup来写一些个性化的小型爬虫脚本。但是在实际爬取过程当中,仍然不能完全满足实际需要。所以我搭配gevent开发了这套轻量级爬虫框架。 主要特点 框架代码结构简单易用,易于修改。例如针对出现验证码的处...
现在有很多爬虫框架,比如scrapy、webmagic、pyspider,也可以直接通过requests+beautifulsoup来写一些个性化的小型爬虫脚本。但是在实际爬取过程当中,仍然不能完全满足实际需要。所以我搭配gevent开发了这套轻量级爬虫框架。 主要特点 框架代码结构简单易用,易于修改。例如针对出现验证码的处...