作为一名IT行业的从业者，同时也在使用Python做机器学习方面的开发，所以我来回答一下这个问题。
首先，对于初学者来说学习Python是不错的选择，一方面Python语言的语法比较简单易学，另一方面Python的实验环境也比较容易搭建。
学习Python需要的时间取决于三方面因素，其一是学习者是否具有一定的计算机基础知识，其二是不同的学习方向需要不同的学习时间，其三是掌握程度不同需要的时间也不同。
如果学习者具备一定的计算机基础，那么学习Python语言的基础语法部分还是相对比较容易的，通常一周左右的时间就能够掌握基本的Python语法，然后再利用2到3周的时间完成一些实验通常就可以了。如果基础比较薄弱，或者干脆没有任何计算机基础，那么学习Python的基本语法也不会有太大的困难，但是学习时间会有一定的延长，正常情况下6到8周能够熟练掌握基本语法，并完成一些简单的实验。
如果学习Web开发方向，还需要学习一定的前端开发内容（Html、CSS和JavaScript）和Django库，另外还需要掌握数据库知识。对于初学者来说，通常需要3个月左右的时间，能够达到开发岗位实习要求。
如果学习大数据方向，则需要具备一定的数学基础（线性代数、概率论等），需要学习Numpy、Matplotlib、Scipy、pandas等库，顺利的话3个月左右也能够达到实习岗位的要求。学习大数据方向通常需要先学习如何进行数据采集，通常是先学习如何开发“爬虫”，然后再学习数据分析。另外，学习大数据分析的过程也会顺便学习机器学习的相关内容，因为机器学习是目前数据分析的常见手段之一。
我从事互联网行业多年，目前也在带计算机专业的研究生，主要的研究方向集中在大数据和人工智能领域，我会陆续写一些关于互联网技术方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。
如果有互联网方面的问题，或者考研方面的问题，都可以咨询我，谢谢！
授人以鱼不如授人以渔，我介绍一下用Python自动化下载我想要的论文参考文献格式的方法。其用到的方法和工具同从知网爬取论文数据类似，你可以做个参考。
工具：selenium浏览器： Chrome引用的库：为了将每个下载到的文件都能对应正确的文件名，用了多线程来监听下载目录文件夹，用watchdog一个开源库来监听下载目录文件夹，当该文件夹中出现新的文件时，程序自动将该文件进行重命名。
软件从一个txt文件中读取出需要下载的文件名称，然后进行自动化下载。从txt中读取文件名称时，用到了正则表达式。
需要下载的文献在txt中
打开浏览器
打开浏览器后，需要获取到页面的相应操作控件，需要获取输入框和搜索按钮，selenium提供了find_element_by_id函数，可以在界面中找到控件的id即可
同理找到搜索按钮的id，然后在输入框中填入需要搜索的文章，触发按钮的click事件。
按照上述思路进行界面自动化操作，进入到想要的下载链接按钮处
现在需要获取到该链接，即图中的href链接既是需要下载的内容链接
事实上，下载按钮有相应的属性值，只需要通过get_attribute函数获取即可。
以上既是自动化下载文献引用格式的一个过程。爬取知网论文思路类似，完全可以通过Selenium来实现。
答：本文邀请feifan来回答，他总结了使用python自带库完成爬虫的方法，并且列出了爬虫在实际中可能遇到的几个问题， 教会你零基础入门python爬虫~
此处的爬虫并不是百度或者google这样需要沿着某条路径采集互联网上所有信息的机器人，而是针对某个特定的网页，从中提取出我们需要的信息。比如我们在中关村上查到了一台手机的详情页，想把其中的cpu信息、操作系统、分辨率等等字段提出出来。即此处的爬虫是指针对特定网页结构、规模很小、抓取路径收敛的情况而言。下文我们以一个实例，看看如何从头写一个python爬虫。
抓取页面基本方法浏览器中看到的页面，实际上是通过一系列的http请求加载并渲染服务器的资源。同理只要我们能够用python发出http请求，通过get或post的方法获得服务器返回的html片段、html页面或json数据串，就可以从中抓取到想要的内容。
python中对http请求的封装是在urllib和urllib2两个库里。
urllib提供了一些工具方法，用于对发送请求时的字符串进行转义或编码。
发送get/post请求则需要用到urllib2中提供的几个类
在掌握了如何在python中构造http请求后，下一步需要做的就是结合具体的网页，分析出web页面的请求方式、参数传递方式和必要的header信息（如cookie等）。chrome控制台的network分析基本上可以满足需求，但一款抓包利器无疑可以提升我们的效率。推荐使用fiddler进行抓包和解包，可以更清晰第看到http中所用的不同请求方式。
字符串查找、正则表达式、html解析http请求的response通常包含两种：json字符串，或html代码片段，信息的提取就转变成了字符串处理。此时无论是通过字符串查找、正则表达式匹配，只要能定位到目标字段即可。
但更好的方法是对html的Dom树进行解析，尤其是存在多个目标字段需要抓取时，解析html的方式能够对特殊格式的字段信息进行批量解析。
这里使用python自带的htmlparser进行解析，htmlparser对html片段进行深度优先的遍历，在遍历的过程中可以识别出开始标签、结束标签和标签中的内容，因此提供了一种基于标签tag的编程方式。看下面的例子
需要提取手机的操作系统、核心数、cpu型号等信息，根据html的标签、属性名称，代码如下：
针对中关村上的某个手机详细
handle_data可以提取html标签中的数据，但handle_data存在两个问题。
（1）当标签内容为空时，handle_data自动跳过该标签。这里的标签为空是指标签中不包含任意字符串内容、不包含其他的子标签。注意，当标签中含有&nb等空白字符串时，handle_data可以解析出其中的data。比如以下结构中，电话号码一列允许为空，通过html_parser解析后只得到4个<td>的标签内容。
由于会跳过内容为空的标签的解析，就会打乱html的结构，由于数据的缺失返回的list长度不定，导致无法将list中每项内容与html中的内容对应起来。
（2）标签中包含子标签时，内容会被分割到不同的handle_data函数中，比如
由于handle_data是针对每个标签返回数据，以上的td里包含了一个span子标签，handle_data分为2次返回数据。即第一次调用handle_data返回状态：，第二次调用handle_data返回已拒绝。我们希望<td>标签中的内容作为整体返回，而现在被分割成了两块，同样会破坏结构。
解决以上两个问题的关键方法在于，使用cache缓存字符串，把对数据的处理从handle_data推迟到handle_endtag。只有遇到end_tag时，才能确定标签闭合，使数据完整。
爬虫被屏蔽后怎么办服务器会通过一些策略屏蔽恶意爬虫，以避免对服务器资源的消耗，如检查同一IP的访问频率、访问间隔等。
所以我们也应该使用一些简单策略，使我们的爬虫看起来更像是人的行为，以绕开服务器的检测机制。常用的方法包括延长相邻请求的间隔，相邻间隔使用随机时长。
在请求的header字段中包含了user-agent字段，服务器通过检测user-agent字段确定客户端的类型。如果不指定user-agent字段，请求时脚本会默认填充该字段，如下图
# python中默认的user-agent字段
网上有一些说法user-agent的值会影响爬虫是否能够抓取web内容，为了避免爬虫被屏蔽，将user-agent的值设为浏览器的类型：Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36
但在实际抓取的几个web站点中，user-agent的值对爬虫被屏蔽没有影响，在使用时不用刻意设置user-agent的值。
以上的方法都是避免爬虫被屏蔽掉。但万一很不幸爬虫已经被屏蔽了，发出请求返回的结果是输入验证码的页面，此时该如何解决呢？
对于支持https协议的站点，此时可以尝试的一种方案是：改用https协议。
项目中遇到爬虫被百度屏蔽的现象，尝试了很多方法都无效。后来将原来链接中的http协议换成https爬虫又开始工作了。原理虽然不清楚，但简单可行。
带验证码的登录很多web内容只有在登录后才有权限访问，服务器通过创建session并下发sessionid来维持与客户端的链接状态。客户端在每次发送请求时，都在cookie中携带sessionid等字段信息。sessionid是无法复用的，也即在浏览器中登录后所获得的sessionid直接拿到python脚本中使用，返回的结果仍然是跳转到登录页面的。因为通过http下发的sessionid是捆绑到端口号的，也就是与服务器维持通信的是客户端上的某个进程，把浏览器中的sessionid拿到python脚本中，由于更换了进程sessionid当然失效了。
既然无法绕开登录，我们就在python脚本中完成登录的过程，拿到登录后返回的cookie、sessinoid等。这里有两个难点需要解决，1）服务器登录逻辑的分析与猜测；2）解决登录时存在的验证码识别问题。
登录除了需要post提交用户名、密码和sessionid之外，通常也会隐式提交部分参数，可以用chrome浏览器的调试模式查看post提交的参数及对应的值，登录成功之后，我们就可以拿到返回的cookie值了。
登录时的验证码可以通过OCR自动识别，尝试了google的tesseract-ocr准确率并不高。所以推荐手动输入验证码，帮助爬虫完成登录，毕竟授权只需要一次输入。
手动输入验证码的思路如下，在请求sessionid的同时保存验证码的图片，人工读取验证码的内容，与username和password一起提交。示例代码如下：
需要抓取javascript加载的结果详细参考外部链接：https://impythonist.wordpress.com/2015/01/06/ultimate-guide-for-scraping-javascript-rendered-web-pages/
这篇文章中的思路是，通过使用web kit library建立本地的javascript执行环境，模拟浏览器对页面的加载渲染，从而抓取javascript处理后的页面内容。
这个例子中javascript所加载的结果，也是通过ajax重新向服务器发起请求返回的，直接发送ajax请求并抓取结果即可。在本地搭建javascript的执行环境有些画蛇添足，但也是一种可以参考的思路。
本文总结了使用python自带库完成爬虫的方法，并且列出了爬虫在实际中可能遇到的几个问题，比如爬虫被屏蔽、需要输入验证码进行登录等。实践中的难点在于分析和猜测服务器的登录逻辑，并且提取必需的参数完成登录鉴权。
你好，我是中移的一名通讯工程师，很高兴回答你的问题。
说起来也遗憾，难过，我虽然是通讯行业的，但也是因为想着多学一点知识，19年中旬找到了一个免费学习网站学习python，但是由于各种原因，学完了80%了，最后20%还是没能坚持下来，所以我这些话可能含有一些负能量，但我希望在我介绍这个网站之前，能让你明白学习是必须持之以恒，决定了的事就一定要做好，及时我现在在通讯行业也干得不错哈。呵呵。
直接不如主题吧，相比你是对python是有一定了解的了，也不用我介绍他的优势了，但学习python的网站机构太多了，谁叫这个“蟒蛇”突然火起来了呢？hei(黑)ma（马）程-序员（系统会检测广告，没办法才这样）这个网站是我大学室友介绍的，这个机构向上线下都能培训，在国内也小有名气，不仅是编程语言，还有运维工程师、项目经理、PS软件涉及、人工智能、大数据等等当下热门的IT技术、热门技能，它基本覆盖
优点：1、课程免费，资源丰富，有自己的论坛，并且信息量大，可以先免费学习，觉得不错再找线下实地培训2、课程视频基本都可以用百度云盘下载到你电脑上，可自由安排学习时间3、一门技术，请的基本是该行业比较有名气的讲师，好比python，那么老师至今的演讲风格我都无法忘记，幽默不说，特别好理解。4、既然说到这个机构，就稍微提一下它的付费课程跟脱产课程吧。付费课程是针对那些有一定基础的人群所开设的，基本几千块钱一门技能，当然没寄出的，可以回到上面我讲的，先看免费视频看完后就可以说有基础了。
面授脱产课程是面向所有成年人开设的课程，我那室友说，只要下定决定学，就业率还是很高的，5个月时间，学费2万左右（根据技能不同，价格不同），条件艰苦的可以贷款，找到了工作后在分期还，我室友学的是前端，现在深圳工作，目前工资大概10K.好啦，这是我分享的内容。希望你能喜欢总结，以上就是关于python基础教程百度云盘以及学python需要多长时间，初学者适合学python吗的经验分享，卡友有疑问可以加wx或扫码加群！
版权说明：Copyright © 广州京杭网络科技有限公司 2005-2024 版权所有 粤ICP备16019765号
广州京杭网络科技有限公司 版权所有
免费热线：400-683-0016
扫二维码关注公众号
当前位置：