• 网站首页
• 网站建设
• 短视频
• 网站推广
• 网站模板
• 客户案例
• 资讯动态
• 关于我们

调用查询mysql,python如何爬取大众点评评论信息_数据库

当前位置：网站建设 > 技术支持

这个非常简单，大众点评的数据是静态加载的，直接嵌套在网页源码中，所以直接爬取就行，下面我简单介绍一下实现过程，实验环境win10+python3.6+pycharm5.0，主要内容如下：

1.这里随便打开一个商户的评论页面，假设爬取的信息主要包括用户昵称、商户等级以及评论内容这3个字段（其他字段也可以），如下：

2.接着右键检查元素，就可以看到对应的网页标签信息，包括属性、文本等，里面就有我们需要爬取的内容，如下：

3.然后就是针对上面的网页结构编写对应代码解析网页内容，这里主要用到requests+BeautifulSoup组合，其中requests用于请求页面，BaautifulSoup用于解析页面，提取内容，测试代码如下，非常简单：

点击运行这个程序，效果如下，已经成功爬取到评论内容：

4.最后就是保存数据到mysql数据库中，主要用到pymysql这个模块，用于插入数据到mysql数据库中，安装的话，直接输入命令“pip install pymysql”就行，安装完成后，新建一个dzdp数据表，包含有user，rank，content这3个字段，接着就可以直接编写代码插入数据了，测试代码如下：

点击运行这个程序，打开mysql数据库，已经成功插入数据，截图如下：

至此，我们就完成了利用Python爬取大众点评评论信息并保存到mysql数据库中。总的来说，整个过程非常简单，因为是静态加载的数据，所以直接解析网页就行，如果是动态的，就需要抓包分析了，只要你熟悉一下上面的代码，很快就能掌握的，当然，你也可以使用scrapy爬虫框架爬取，都可以，网上也有相关教程和资料，非常丰富，感兴趣的话，可以搜一下，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言。

版权说明：
本网站凡注明“广州京杭 原创”的皆为本站原创文章，如需转载请注明出处！
本网转载皆注明出处，遵循行业规范，如发现作品内容版权或其它问题的，请与我们联系处理！
欢迎扫描右侧微信二维码与我们联系。