专业网站建设品牌,十四年专业建站经验,服务6000+客户--广州京杭网络
免费热线:400-683-0016      微信咨询  |  联系我们

mysql命令 导出数据,如何将scrapy爬虫的数据存到mysql中_数据库

当前位置:网站建设 > 技术支持
资料来源:网络整理       时间:2023/3/5 14:50:32       共计:3565 浏览
mysql命令 导出数据,如何将scrapy爬虫的数据存到mysql中?

Scrapy依赖于twisted,所以如果Scrapy能用,twisted肯定是已经安装好了。抓取到的数据,可以直接丢到MySQL,也可以用Django的ORM模型丢到MySQL,方便Django调用。

方法也很简单,按数据库的语句来写就行了,在spiders目录里定义自己的爬虫时也可以写进去。当然使用pipelines.py是更通用的方法,以后修改也更加方便。

你的情况,应该是没有在Settings.py里定义pipelines,所以Scrapy不会去执行,就不会生成pyc文件了。

版权说明:
本网站凡注明“广州京杭 原创”的皆为本站原创文章,如需转载请注明出处!
本网转载皆注明出处,遵循行业规范,如发现作品内容版权或其它问题的,请与我们联系处理!
欢迎扫描右侧微信二维码与我们联系。
·上一条:mysql默认的数据库,MySQL数据库字段没有默认值什么意思_数据库 | ·下一条:mysql查询列名称,mysql怎么查询记录总数_数据库

Copyright © 广州京杭网络科技有限公司 2005-2024 版权所有    粤ICP备16019765号 

广州京杭网络科技有限公司 版权所有