Scrapy依赖于twisted,所以如果Scrapy能用,twisted肯定是已经安装好了。抓取到的数据,可以直接丢到MySQL,也可以用Django的ORM模型丢到MySQL,方便Django调用。
方法也很简单,按数据库的语句来写就行了,在spiders目录里定义自己的爬虫时也可以写进去。当然使用pipelines.py是更通用的方法,以后修改也更加方便。
你的情况,应该是没有在Settings.py里定义pipelines,所以Scrapy不会去执行,就不会生成pyc文件了。
Copyright © 广州京杭网络科技有限公司 2005-2024 版权所有 粤ICP备16019765号
广州京杭网络科技有限公司 版权所有