scrapy是什么的缩写_python

当前位置：网站建设 > 技术支持

资料来源：网络整理时间：2023/3/9 3:47:51 共计：3602 浏览

scrapy是什么的缩写？

1.scrapy是蜘蛛爬虫框架，我们用蜘蛛来获取互联网上的各种信息，然后再对这些信息进行数据分析处理。

2.Scrapy的组成

引擎：处理整个系统的数据流处理，出发事务

调度器: 接受引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回

下载器: 下载网页内容，并将网页内容返回给蜘蛛

蜘蛛: 蜘蛛是主要干活的，用来制定特定域名或网页的解析规则

项目管道: 清洗验证存储数据，页面被蜘蛛解析后，被发送到项目管道，并经过几个特定的次序处理数据。

下载器中间件: 位于引擎和下载器之间，处理引擎与下载器之间的请求及响应

蜘蛛中间件:位于引擎和蜘蛛之间，处理从引擎发送到调度的请求及响应

版权说明：
本网站凡注明“广州京杭原创”的皆为本站原创文章，如需转载请注明出处！
本网转载皆注明出处，遵循行业规范，如发现作品内容版权或其它问题的，请与我们联系处理！
欢迎扫描右侧微信二维码与我们联系。