专业网站建设品牌,十四年专业建站经验,服务6000+客户--广州京杭网络
免费热线:400-683-0016      微信咨询  |  联系我们

scrapy是什么的缩写_python

当前位置:网站建设 > 技术支持
资料来源:网络整理       时间:2023/3/9 3:47:51       共计:3600 浏览

scrapy是什么的缩写?

1.scrapy是蜘蛛爬虫框架,我们用蜘蛛来获取互联网上的各种信息,然后再对这些信息进行数据分析处理。

2.Scrapy的组成

引擎:处理整个系统的数据流处理,出发事务

调度器: 接受引擎发过来的请求,压入队列中,并在引擎再次请求的时候返回

下载器: 下载网页内容,并将网页内容返回给蜘蛛

蜘蛛: 蜘蛛是主要干活的,用来制定特定域名或网页的解析规则

项目管道: 清洗验证存储数据,页面被蜘蛛解析后,被发送到项目管道,并经过几个特定的次序处理数据。

下载器中间件: 位于引擎和下载器之间,处理引擎与下载器之间的请求及响应

蜘蛛中间件:位于引擎和蜘蛛之间,处理从引擎发送到调度的请求及响应

版权说明:
本网站凡注明“广州京杭 原创”的皆为本站原创文章,如需转载请注明出处!
本网转载皆注明出处,遵循行业规范,如发现作品内容版权或其它问题的,请与我们联系处理!
欢迎扫描右侧微信二维码与我们联系。
·上一条:一般都什么情况下用这些_python | ·下一条:英语中带e的单词_python

Copyright © 广州京杭网络科技有限公司 2005-2025 版权所有    粤ICP备16019765号 

广州京杭网络科技有限公司 版权所有