如何用python爬取知网论文数据_java

当前位置：网站建设 > 技术支持

资料来源：网络整理时间：2023/3/9 2:01:26 共计：3568 浏览

如何用python爬取知网论文数据？

授人以鱼不如授人以渔，我介绍一下用Python自动化下载我想要的论文参考文献格式的方法。其用到的方法和工具同从知网爬取论文数据类似，你可以做个参考。

工具：selenium浏览器： Chrome引用的库：

为了将每个下载到的文件都能对应正确的文件名，用了多线程来监听下载目录文件夹，用watchdog一个开源库来监听下载目录文件夹，当该文件夹中出现新的文件时，程序自动将该文件进行重命名。

软件从一个txt文件中读取出需要下载的文件名称，然后进行自动化下载。从txt中读取文件名称时，用到了正则表达式。

需要下载的文献在txt中

打开浏览器

打开浏览器后，需要获取到页面的相应操作控件，需要获取输入框和搜索按钮，selenium提供了find_element_by_id函数，可以在界面中找到控件的id即可

同理找到搜索按钮的id，然后在输入框中填入需要搜索的文章，触发按钮的click事件。

按照上述思路进行界面自动化操作，进入到想要的下载链接按钮处

现在需要获取到该链接，即图中的href链接既是需要下载的内容链接

事实上，下载按钮有相应的属性值，只需要通过get_attribute函数获取即可。

以上既是自动化下载文献引用格式的一个过程。爬取知网论文思路类似，完全可以通过Selenium来实现。

版权说明：
本网站凡注明“广州京杭原创”的皆为本站原创文章，如需转载请注明出处！
本网转载皆注明出处，遵循行业规范，如发现作品内容版权或其它问题的，请与我们联系处理！
欢迎扫描右侧微信二维码与我们联系。