python爬虫，目前只会python的爬虫，有大神告知以后要怎么学吗？或者新手来交流一下？_python

资料来源：网络整理时间：2023/3/5 12:27:06 共计：3569 浏览

python爬虫？ Python是一门编程语言，可以做很多事情，很多朋友对“目前只会python的爬虫，有大神告知以后要怎么学吗？或者新手来交流一下？”这样的疑问，小编汇总了相关问答给大家参考！

Python的运用很广泛的，单纯用来爬虫有点浪费，做一个爬虫工程师待遇也不是很好！可以转到其他领域！

数据分析

Python做数据分析已经很主流了，Numpy，pandas等等已经大量运用于数据分析，方便高效！但是如果想从事还是需要更新一些知识如Excel数据量不大的情况（一百万以内）下任然用Excel，数据库有MySQL，oracle等，BI工具tableau，帆软等！有这些只是就可以做数据分析了

数据分析中各工具的使用情况如图

人工智能领域

人工智能无疑是近年来最火热的，市场上已经陆续出现各种人工智能产品。各种技术也让人惊喜不断！所以转到人工智能领域也是很有潜力的。Python是人工智能的主流语言，机器学习，深度学习也使用Python，对你来说也是优势，人工智能就业容易，待遇高！不过人工智能对于数学要求也较高，不过也别担心！又不是研究数学，只是有点基础容易理解原理！

下图是人工智能每个领域需要的学科基础

本人从事IT行业，同时也在深入研究人工智能领域，如果有什么疑问可以评论区留言！欢迎关注，交流讨论

自动的。

爬虫：一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息。

Python 爬虫架构主要由五个部分组成，分别是调度器、URL管理器、网页下载器、网页解析器、应用程序（爬取的有价值数据）。

调度器：相当于一台电脑的CPU，主要负责调度URL管理器、下载器、解析器之间的协调工作。

初期不需要登录的中国站比较简单，掌握httpgetpost和urllib怎么模拟，掌握lxml、BeautifulSoup等parser库就可以了，多用firefox的firebug或者chrome的调试工具看浏览器是怎么发包的。上面都是不需要登录不需要下文件就可以做到的

昨天刚刚概念性的回答了爬虫怎样断点续传的问题，今天看到你这个提问就突然产生把昨天构思的爬虫构架实现的冲动。希望下面我这些用心写出的内容能够解答你的问题。

都说Python是做爬虫绝好的工具，这是因为用Python写代码从互联网抓数据实在太简单了。今天我用个简单的小例子带大家看一看，怎样用Python去网站上爬取信息。爬虫英语叫做Spider，因为蜘蛛会在网上爬来爬去，每个角落都有它的足迹，互联网上的Spider行为也是一样的，它会探索网站的每个角落，去抓取感兴趣的信息。作为一篇新手向的指导，我没有向大家介绍Scrapy这些框架，一上来就讲框架往往会让人忽视问题的本质，今天写的这个小程序没有借助任何爬虫框架，原汁原味地用Python实现了一个能自动探索网站的爬虫程序。

爬虫的架构设计

爬虫应当具备两个基本能力，一是从网页中发现URL，以便于探索更多的页面；二是从网页提取我们想要的数据，这也是开发爬虫的根本目的。

一个典型的爬虫应当具有下图这样的架构。

我们使用队列去做URL存储以便更加容易的实现自动化。如下图所示，在队列的tail加入待处理的URL（入队enqueue），然后从head取出URL进行处理（出队dequeue）。

第一次运行程序，我们放入一个种子URL到队列中，爬虫主体从队列中拿到URL，通过和待抓取网站交互获取到新的URL，再次放入到URL队列中，同时把需要解析的数据存储到数据库。这便形成了一个自循环系统，只需要设计好URL抽取算法，爬虫可以完全自动化的工作起来了！这样看来，我们开发爬虫需要掌握下面的知识，如果1你还不了解，可以先去百度科普一下，本文的介绍会涉及2~4的相关知识：Web网站的基本结构，HTTP和HTML相关知识。如何使用HTTP协议方法从Web站点上获取信息。如何抽取URL和我们感兴趣的结构化数据。如何存储数据。

设计程序框架

根据架构图，我们使用Python的Queue库作为URL队伍使用，新建一个爬虫主体类，我们命名为SimpleSpider。SimpleSpider的主要功能是从队伍中取URL、获取网页并从中提取URL和数据、将URL放入队列等功能。代码框架如下图所示。

实现URL队列

为了让SimpleSpider代码先能跑得通，我们得先把URL队列实现了。Queue库很简单，我们在加入以下几行代码，便完成了队列的功能。这里还简单实现了一个去重机制（注意这种使用list去重方法效率很低而且会占用大量内存，实际项目需要用其它方式实现）。

可以注意到在初始化时把news.baidu.com加入了URL队列，也就是我们爬虫的起始种子URL是news.baidu.com。

实现网页下载

需要使用HTTP协议同网站服务器沟通才能下载下来网页，Python中最为流行的HTTP库是requests，它的功能很强大，详细的使用方法可以参考它的中文文档（http://docs.python-requests.org/zh_CN/latest/user/quickstart.html）。这里只用到它很简单的一个get方法，在程序中继续加入以下代码，便实现了文档下载的功能。需要提醒的是，requests并非Python的标准库，需要运行pip install requests安装。

然后，我们在程序的尾部加上以下代码，来做一个简单的测试：

Bingo，百度新闻主页下载下来并打印出来了！请注意，我们的document变量里存的是网页的源代码，因此后面的分析也是基于源代码进行的。

实现提取URL和数据，并保存到磁盘

提取数据，可用的方法非常的多，比如正则表达式、BeautifulSoup、XPath、CssPath等都很强大，今天只简单介绍下正则表达式。正则表达式如果想到熟练其实并不容易，不过今天教大家一个“万金油”式的用法，足够应付开发爬虫最初期的需要了，那就是模糊匹配：

使用点（.）表示任意字符，使用星号（*）表示任意长度，使用问号（？）表示匹配最近的一个后续字符串，然后使用括号把你想要的数据括起来。

现在我们想要提取URL，实际上就是把网页上的<a href="http://www.baidu.com" ... >中的href=""两个引号中间的内容取出来，写成正则表达式就是：

'<a href="(.*?)"'

现在我们要把源代码中所有包含new.baidu.com的URL提取出来，并重新放入URL队列中：

提取数据的方法想必大家也都猜出来了。通过观察百度新闻主页发现，所有指向真正新闻内容的URL都链接到其它新闻发布站点上了，而且它们都在新窗口中打开（包含了_blank标记）。下面就按照这个规律把所有新闻的标题和网址提取出来，并组织成这样的一个数据结构：{"title":"新闻标题","url":"http://xxxxx"}保存到磁盘。代码如下，数据被保存在output.txt文件中。

完成并测试我们的爬虫

最后，需要实现run方法，把我们的爬虫跑起来。判定只要队列不是空就一直循环，它完成3步操作：第1步，下载网页，第2步，提取网页中我们需要的URL，第3步，提取数据。我们用一个print语句把处理的结果输出到屏幕上。启动后爬虫开始全自动的工作，仔细去探索百度新闻网站。

这是提取出来的数据保存到磁盘上的结果：

由于百度新闻数据量极大，加上我们没有很好的过滤掉无用的代码，不出意外的话，这个爬虫会运行很久才停下来（我已经跑了1小时队列里已经积压了5000多个URL了[汗]，后面有机会我会告诉大家如何用多线程去极大的提高URL队列的处理速度）。如果等不及了想看结果请直接按Ctrl+C结束进程。开发真正实用的爬虫时，需要仔细去设计跳出循环的机制。这个小爬虫程序是我专门为回答此问题编写的，如果觉得帮到了你请帮忙点赞呦！大家可以照着指示写下来应该不会有问题，或者不想动手敲代码可以加粉私信我，我会一一回复源代码的下载地址。也希望大家能多多转发，大家的支持是我坚持写下去的唯一动力！

总结，以上就是关于python爬虫以及目前只会python的爬虫，有大神告知以后要怎么学吗？或者新手来交流一下的经验分享，卡友有疑问可以加wx或扫码加群！

版权说明：
本网站凡注明“广州京杭原创”的皆为本站原创文章，如需转载请注明出处！
本网转载皆注明出处，遵循行业规范，如发现作品内容版权或其它问题的，请与我们联系处理！
欢迎扫描右侧微信二维码与我们联系。

·上一条：python快速编程入门百度云，如何进行Python程序的编写？_python | ·下一条：python下载教学，自学Python（1，下载安装所需要工具）？_python