爬虫提取到的数据该如何处理_数据库

当前位置：网站建设 > 技术支持

资料来源：网络整理时间：2023/3/5 17:01:48 共计：3582 浏览

爬虫提取到的数据该如何处理？

一、文本存储

二、sqlite3微型数据库存储

在爬虫中一般都是在pipeline里面设置的，然后再setting里面的ITEM_PIPELINES解注释，项目名+要开启的管道名+在管道里新添加的类或者是说要用到的类，这里还有优先级，数字越小优先级越高

三、将数据存储到excel表格，以豆瓣电影存储到excel表格为例

四、mysql数据库存储

五、在爬虫终端命令形式存成表格形式

scrapy crawl 爬虫名 -o 爬虫名.csv

六、终端命令将数据的解码方式改成utf-8,防止中文乱码

scrapy crawl 爬虫名 -o 爬虫名.json -s FEED_EXPORT_ENCORDING=UTF-8

七、将数据中的图片存到本地文件夹

在setting里面添加

IMAGES_STORE = '***'（文件名、默认是在当前目录的父级，在这里你也可选择已存在文件夹的路径）

IMAGES_URLS_FIELD = '***' （一般填写图片的下载路径，在爬虫文件中要特别注意，要传的路径最好带【】是将得到的数据转储到items里面的时候）

将文本文件存到本地（例如小说之类）

FILES_STORES = '****' (性质和存图片的一样)

FILES_URLS_FIELD = '***'(同上)

原文链接https://blog.csdn.net/UserAgent123/article/details/81570935

可以看看这个

版权说明：
本网站凡注明“广州京杭原创”的皆为本站原创文章，如需转载请注明出处！
本网转载皆注明出处，遵循行业规范，如发现作品内容版权或其它问题的，请与我们联系处理！
欢迎扫描右侧微信二维码与我们联系。