这是一份数据分析师的入门指南,它包含七周的内容,Excel、数据可视化、数据分析思维、数据库、统计学、业务、以及Python。
每一周的内容,都有两到三篇文章细致讲解,帮助新人们快速掌握。这七周的内容刚好涵盖了一位数据分析师需要掌握的基础体系,也是一位新人从零迈入数据大门的知识手册。
第一周:Excel
每一位数据分析师都脱离不开Excel。
它是日常工作中最常用的工具,如果不考虑性能和数据量,它可以应付绝大部分分析工作。虽然现在机器学习满地走,Excel依旧是无可争议的第一工具。
Excel的学习分为两个部分。
掌握各类功能强大的函数,函数是一种负责输入和输出的神秘盒子。把各类数据输入,经过计算和转换输出我们想要的结果。
在SQL,Python以及R中,函数依旧是主角。掌握Excel的函数有助于后续的学习,因为你几乎在编程中能找到名字一样或者相近的函数。
在「数据分析:常见的Excel函数全部涵盖在这里了」中,介绍了常用的Excel函数。
清洗处理类:trim、concatenate、replace、substitute、left/right/mid、len/lenb、find、search、text
关联匹配类:lookup、vlookup、index、match、row、column、offset
逻辑运算类:if、and、or、is系列
计算统计类:sum/sumif/sumifs、sumproduct、count/countif/countifs、max、min、rank、rand/randbetween、averagea、quartile、stdev、substotal、int/round
时间序列类:year、month、weekday、weeknum、day、date、now、today、datedif
搜索能力是掌握Excel的不二窍门,工作中的任何问题都是可以找到答案。
第二部分是Excel中的工具。
在「数据分析:Excel技巧大揭秘」教程,介绍了Excel最具性价比的几个技巧。包括数据透视表、格式转换、数组、条件格式、自定义下拉菜单等。正是这些工具,才让Excel在分析领域经久不衰。
在大数据量的处理上,微软提供了Power系列,它和Excel嵌套,能应付百万级别的数据处理,弥补了Excel的不足。
Excel需要反复练习,实战教程「数据分析:手把手教你Excel实战」,它通过网络上抓取的数据分析师薪资数据作为练习,总结各类函数的使用。
除了上述要点,下面是附加的知识点,铺平数据分析师以后的道路。
了解单元格格式,数据分析师会和各种数据类型打交道,包括各类timestamp,date,string,int,bigint,char,factor,float等。
了解数组,以及相关应用(excel的数组挺难用),Python和R也会涉及到 list,是核心概念之一。
了解函数,深入理解各种参数的作用。它会在学习Python中帮助到你。
了解中文编码,UTF8、GBK、ASCII,这是数据分析师的坑点之一。
第二周:数据可视化
数据分析界有一句经典名言,字不如表,表不如图。
数据可视化是分析的常用技巧之一,不少数据分析师的工作就是通过图表观察和监控数据。首先了解常用的图表:
Excel的图表可以100%绘制上面的图形,但这只是基础。
在「数据可视化:你想知道的经典图表全在这」中介绍了各类数据分析的经典图表,除了趋势图、直方图,还包括桑基图、空间图、热力图等额外的类型。
数据可视化不是图表的美化,而是呈现数据的逻辑之美,是揭示数据的内在关联。了解图表的维度和适用场景,比好看更重要。比如桑吉图就是我一直推崇的图表,它并不知名,但是它能清晰的揭露数据内在状态的变化和流向。案例是用户活跃状态的趋势。
Excel的图表操作很傻瓜化,其依旧能打造出一份功能强大的可视化报表。「数据可视化:教你打造升职加薪的报表」教给大家常用的Excel绘图技巧,包括配色选取,无用元素的剔除、辅助线的设立、复合图表等方法。
Excel图表的创造力是由人决定的,对数据的理解,观察和认知,以及对可视化的应用,这是一条很长的道路。
图表是单一的,当面板上绘制了多张图表,并且互相间有关联,我们常称之为Dashboard仪表盘。
上图就是用分析师薪资数据为数据源绘制的Dashboard,比单元格直观不少。我们常常把绘制这类Dashboard的工具叫做BI。
BI(商业智能)主要有两种用途。一种是利用BI制作自动化报表,数据类工作每天都会接触大量数据,并且需要整理汇总,这是一块很大的工作量。这部分工作完全可以交给BI自动化完成,从数据规整、建模到下载。
另外一种是使用其可视化功能进行分析,它提供比Excel更丰富的交互功能,操作简单,而且美观,如果大家每天作图需要两小时,BI能缩短大半。
在「数据可视化:手把手打造BI」教程中,以微软的PowerBI举例,教大家如何读取数据,规整和清洗数据,绘制图表以及建立Dashboard。最后的成果就是上文列举的分析师案例。
BI还有几个核心概念,包括OLAP,数据的联动,钻取,切片等,都是多维分析的技巧,也是分析的核心方法之一。
后续的进阶可视化,将和编程配合。因为编程能够提供更高效率和灵活的应用。而BI也是技术方向的工具,了解技术知识对应用大有帮助。
第三周:数据分析思维数据分析能力的高低,不以工具和技巧决定,而以分析思维决定。
在一场战争中,士兵装备再好的武装,进行再严苛的训练,若是冲锋的方向错了,那么迎接他们的唯有一败涂地。
分析思维决定一场「数据战争」中的冲锋方向。只有先养成正确的分析思维,才能使用好数据。
既然是思维,它就倾向于思考的方式,Excel函数学会了就是学会,分析则不同。大多数人的思维方式都依赖于生活和经验做出直觉性的判断,以「我觉得我认为」展开,好的数据分析首先要有结构化的思维。
麦肯锡是其中领域的佼佼者,创建了一系列分析框架和思维工具。最典型地莫过于金字塔思维。
这篇文章简述了该思维的应用,「快速掌握麦肯锡的分析思维」。你能学会结构化思考,MECE原则,假设先行,关键驱动等方法论。
除此以外,还有SMART、5W2H、SWOT、4P4C、六顶思考帽等,这些都是不同领域的框架。框架的经典在于,短时间内指导新人如何去思考,它未必是最好的,但一定是性价比最优的。数据分析思维,是分析思维的引申应用。再优秀的思考方式,都需要佐证和证明,数据就是派这个用处的,「不是我觉得,而是数据证明」。
现代管理学之父彼得·德鲁克说过一句很经典的话:如果你不能衡量它,那么你就不能有效增长它。如果把它应用在数据领域,就是:如果你不能用指标描述业务,那么你就无法有效增长它。每一位数据分析师都要有指标体系的概念,报表也好,BI也好,即使机器学习,也是围绕指标体系建立的。
下图就是一个典型的指标体系,描述了用户从关注产品、下载、乃至最后离开的整个环节。每一个环节,都有数据及指标以查询监控。
不同业务背景需要的指标体系不同,但有几个建立指标的通用准则。这篇文章深入介绍了「如何建立数据分析的思维框架」。你将区分什么是好指标、什么是坏指标、比率和比例、指标的结构、指标设立的维度等概念。
数据分析不是一个结果,而是一个过程。几乎所有的分析,最终目的都是增长业务。所以比分析思维更重要的是驱动思维落地,把它转化为成果。
数据分析思维是常年累月养成的习惯,一周时间很难训练出来,但这里有一个缩短时间的日常习惯。以生活中的问题出发做练习。
这家商场的人流量是多少?怎么预估?
上海地区的共享单车投放量是多少?怎么预估?
街边口的水果店,每天的销量和利润是多少?怎么预估?
这些开放性问题起源于咨询公司的训练方法,通过不断地练习,肯定能有效提高分析思维。另外就是刷各种CaseBook。
优秀的数据分析师会拷问别人的数据,而他本身的分析也经得起拷问。
第四周:数据库
Excel很容易遇到瓶颈,随着业务的发展,分析师接触的数据会越来越多。对大部分人的电脑,超过十万条数据,已经会影响性能。何况大数据时代就是不缺数据,这时候就需要学习数据库了。
即使非数据岗位,也有越来越多的产品和运营被要求使用SQL。
很多数据分析师戏称自己是跑SQL的,这间接说明SQL在数据分析中有多核心。从Excel到SQL绝对是处理效率的一大进步。
教程内容以MySQL为主,这是互联网行业的通用标准。其实语法差异不大的。
新手首先应该了解表的概念,表和Excel中的sheet类似。「写给新人的数据库指南」是一篇入门基础文章,包括表、ID索引、以及数据库的安装,数据导入等简单知识。
SQL的应用场景,均是围绕select展开。增删改、约束、索引、数据库范式均可以跳过。新手在「SQL,从入门到熟练」教程会学习到最常见的几个语法,select、where、group by、if、count/sum、having、order by、子查询以及各种常用函数。
数据还是分析师薪资数据,它可以和Excel实战篇结合看,不少原理都是相通的。
想要快速掌握,无非是大量的练习。大家可以在leetcode上做SQL相关的练习题,难度从简单到困难都有。「SQL,从熟练到掌握」教程中将会带领大家去刷一遍。
join对新手是一个很绕的概念,教程会从图例讲解,逐步提高难度。从一开始的join关联,到条件关联、空值匹配关联、子查询关联等。最后完成leetcode中的hard模式。
如果想要更进一步,可以学习row_number,substr,convert,contact等函数。不同数据平台的函数会有差异,例如Presto和phpMyAdmin。再想提高,就去了解Explain优化,了解SQL的工作原理,了解数据类型,了解IO。知道为什么union比or的效率快,这已经和不少程序员并驾齐驱。
第五周:统计学
很多数据分析师并不注重统计学基础。
比如产品的AB测试,如果相关人员不清楚置信度的含义和概念,那么好的效果能意味着好么?如果看待显著性?
比如运营一次活动,若不了解描述统计相关的概念,那么如何判别活动在数据上的效果?可别用平均数。
不了解统计学的数据分析师,往往是一个粗糙的分析师。如果你想要往机器学习发展,那么统计学更是需要掌握的基础。
统计知识会教大家以另一个角度看待数据。如果大家了解过《统计数据会撒谎》,那么就知道很多数据分析的决策并不牢靠。
在第一篇教程「解锁数据分析的正确姿势:描述统计」,会教给大家描述统计中的诸多变量,比如平均数、中位数、众数、分位数、标准差、方差。这些统计标准会让新手分析师从平均数这个不靠谱的泥潭中出来。
箱线图就是描述统计的大成者,好的分析师一定是惯用箱线图的常客。
第二篇「解锁数据分析的正确姿势:描述统计(2)」将会结合可视化,对数据的分布进行一个直观的概念讲解。很多特定的模型都有自有的数据分布图,掌握这些分布图对分析的益处不可同日而语。
直方图和箱线图一样,将会是长久伴随分析师的利器。
统计学的一大主要分支是概率论,概率是度量一件事发生的可能性,它是介于0到1之间的数值。很多事情,都可以用概率论解释,「概率论的入门指南」和「读了本文,你就懂了概率分布」都是对其的讲解。
包括贝叶斯公式、二项概率、泊松概率、正态分布等理论。理论不应用现实,那是无根之木,教程中会以运营活动最常见的抽奖概率为讲解,告诉大家怎么玩。
其实数据分析中,概率应用最广泛和最全面的知识点,就是假设检验,大名鼎鼎的AB测试就是基于它的。俗话说得好,再优秀的产品经理也跑不过一半AB测试。
何为假设检验?假设检验是对预设条件的估计,通过样本数据对假设的真伪进行判断。
产品改版了,用户究竟喜不喜欢?调研的评分下降了,这是用户的评价降低了,还是正常的数据波动呢?这些都是可以做假设检验的。它可以说是两面两篇文章的回顾和应用。
「数据分析必须懂的假设检验」依旧以互联网场景讲解各种统计技巧的应用。假设检验并不难,通过Excel的几个函数就能完成。它的难点在于诸多知识点和业务的结合使用,实际公式不需要掌握的多透彻,了解背后的意义更重要。
统计学是一个很广阔的领域,包括方差分析,时间序列等,都有各自不同的应用。大家若感兴趣,可以去阅读各类教材,没错,教材是学习统计学最优的方式。我这类文章堪堪算入门罢了。
第六周:业务
对于数据分析师来说,业务的了解比数据方法论更重要。举个例子,一家O2O配送公司发现在重庆地区,外卖员的送货效率低于其他城市,导致用户的好评率降低。总部的数据分析师建立了各个指标去分析原因,都没有找出来问题。后来在访谈中发觉,因为重庆是山城,路面高低落差比较夸张,很多外卖人员的小电瓶上不了坡…所以导致送货效率慢。这个案例中,我们只知道送货员的送货水平距离,根本不知道垂直距离。这是数据的局限,也是只会看数据的分析师和接地气分析师的最大差异。业务形态千千万万,数据分析师往往难窥一二。我的公众号业务部分也涉及了不少,大家可以通过这几篇文章了解。
一篇文章读懂活跃数据;深入浅出,用户生命周期的运营;获取新增用户,运营都应该知道的事;运营的商业逻辑:CAC和CLV;从零开始,构建数据化运营体系;读懂用户运营体系:用户分层和分群,这些都是互联网运营相关的内容,或多或少涉及了不少业务方面的概念,数据分析人员可以选择性的挑选部分内容。了解业务的数据分析师在职场发展上会更加顺利。
而在「最用心的运营数据指标解读」中,我尝试总结了几个泛互联网领域的指标和业务模型,它们都是通用的框架。
产品运营模型:以移动端APP为主体,围绕AARRR准则搭建起数据框架。包括Acquisition用户获取、Activation用户活跃、Retention用户留存、Revenue营收、Refer传播,以及细分指标。
市场营销模型:以传统的市场营销方法论为基底,围绕用户的生命周期建立框架。包括用户生命周期,生命周期价值、用户忠诚指数、用户流失指数、用户RFM价值等。
流量模型:从早期的网站分析发展而来,以互联网的流量为核心。包括浏览量曝光率、病毒传播周期、用户分享率、停留时间、退出率跳出率等。
电商和消费模型:以商品的交易、零售、购买搭建而起。包括GMV、客单价、复购率、回购率、退货率、购物篮大小、进销存,也包含SKU、SPU等商品概念。
用户行为模型:通过用户在产品功能上的使用,获得精细的人群维度,以此作为分析模型。包括用户偏好、用户兴趣、用户响应率、用户画像、用户分层,还包含点赞评论浏览收藏等功能的相关指标。
除了上述的几个常见模型,数据分析还有其他分支。比如SEO/SEM,虽然可以归类到流量模型,但它并不简单。比如财务分析,商业的各种成本支出也需要专人负责。
在业务知识外,业务层面的沟通也很重要。业务线足够长的时候,沟通往往成为老大难的问题。
业务学习没有捷径,哪怕掌握了诸多模型,不同行业间的业务壁垒会是分析师们的门槛。金融的各类专有领域知识,电子商务不同产品的特性,这些都会影响到分析报告的质量。
在早期,新人最好选择一到两个领域深入了解其业务,然后以此拓展边界。
第七周:Python/R
第七周是最后的学习环节。
是否具备编程能力,是初级数据分析和高级数据分析的风水岭。数据挖掘、BI、爬虫、可视化报表都需要用到编程。掌握一门优秀的编程语言,可以让数据分析师升职加薪,迎娶白富美。数据分析领域最热门的两大语言是R和Python。R的优点是统计学家编写的,缺点也是统计学家编写。涉及各类统计函数和工具的调用,R无疑有优势。但是大数据量的处理力有不逮,学习曲线比较陡峭。
Python则是万能的胶水语言,适用性强,可以将分析的过程脚本化。Pandas、Numpy、SKLearn等包也是非常丰富。
这里的教程以Python为主。
「开始Python的新手教程」将会教大家搭建数据分析环境,Anaconda是功能强大的数据科学工具。Python建议安装Python3+版本,不要选择Python2了。
Python的语法相当简洁,大家print出第一个hello world顶多半小时。就像在Excel上进行运算一样方便。
「开始Python的数据结构」介绍给大家Python的三类数据结构,列表list,元组tuple,以及字典dict。万变不离其宗,掌握这三种数据结构以及相对应的函数,足够应付80%的分析场景。函数式编程为Python一大特色,Python自身就提供不少丰富的函数。很多都和Excel的函数相通,掌握起来非常迅速。另外还有控制流,for、while、if,通常配合函数组合使用。
「了解和掌握Python的函数」教大家如何自定义函数,丰富的函数虽然能偷懒,但是不少场景下,还是需要自己动手撸一个。
能够调第三方包解决,就使用第三方的函数。如果是一个频繁使用的场景,而第三方依靠不了,就自己编一个函数。如果是临时性的场景,写得粗糙点也无所谓。毕竟分析师的代码能力不要求工程师那么严格,所以Python的学习尽量以应用为主,不用像分析师那么严格。
包、模块和类的概念属于进阶知识,不学也不要紧。
「Python的数据分析: numpy和pandas入门」介绍了数据分析师赖以生存的两个包,numpy和pandas,其他Python知识可以不扎实,这两个最好认真掌握。它是往后很多技能树的前置要求。
array,series,dataframe是numpy和pandas的三个数据结构,掌握它们,便算是入门了。后续的两篇教程都是实战。
「用pandas进行数据分析实战」以分析师的薪资作为实战数据。Excel、BI、SQL,一路走来,大家想必对它无比熟悉,这也是最后一次使用它了。教程通过Pandas的各类功能,绘制出一副词云图。
想要找设计素材网站却找不到?下面就是为大家整理的各种素材网,实测的哦。
01
图片资源合集
我们大家在PPT中常用的图片格式有五种,然而它们各有优缺点,所以我们在选择图片的时候要根据自己的需求。当我们需要图片素材的时候一般都会直接用百度图片,但是里面的图片参差不齐。那么,还有哪些网站可以为我们提供应对不同需求的图片呢?
花瓣网
http://huaban.com/
景象图片
http://www.viewstock.com/
昵图网
http://www.nipic.com/
全景网
http://www.quanjing.com/
视觉中国
https://www.vcg.com/
素材天下
http://www.sucaitianxia.net/
影美晴
http://www.123rf.com.cn/
中国新闻
http://www.cnsphoto.com/
02
图标资源合集
在PPT中我们还会用到图标,但是一般我们也不知道在哪里找图标。
easyicon
https://www.easyicon.net/
findicons
https://findicons.com/
freeicons
http://www.freeiconsweb.com/
爱看图标网
http://www.iconpng.com/
03
图片美化资源合集
当我们好不容易找到适合我们用的图片时,但是那些图片某些地方我们还不是很满意,这时候我们或许会需要可以美化图片的工具。
美图秀秀
http://xiuxiu.web.meitu.com/
可牛影像
http://yx.keniu.com/
涂鸦鸦
http://www.tuyaya.com/
04
字体资源网址
小编有段时间修改PPT很是烦恼到底要用什么字体,毕竟单单office中自带的字体就有很多,让人眼花缭乱。
makepic
http://www.makepic.com/
方正字库
http://www.foundertype.com/
求字体网
http://www.qiuziti.com/
书法字典
http://www.shufazidian.com/
随便吧
http://www.388g.com/
我图网
http://weili.ooopic.com/home-479---.html
找字网
http://www.zhaozi.cn/
05
创意资源网站
有时候不想自己套模板,想自己制作一份模板但是又没有好创意的时候。
广告门
http://www.adquan.com/
红动中国
http://www.redocn.com/
谈艺录
http://www.logosky.net/list.php?cid=4&page=1
站酷网
https://www.zcool.com.cn/
网页制作的前端需要学习
1、html语言
首先要学这个,任何网页的显示都要靠html语言来表达,浏览器解释html语言显示在我们面前。
2、服务器架设
要制作网页就需要架设服务器来调试你做出来的网页,有iis等很多种,可以在网上搜索得到。
3、css语言
用网页制作三剑客做出来的东西,css大部分是自动生成的,很难理解,需要学习基本的css知识,是步入高手的必经之路。css控制着网页图片、表格、文字等等内容在我们面前的显示样式,比如颜色,边框,大小等。
4、divcss布局
这个东西是走向专业制作的必经之路,网页元素靠它来搭建基本框架,像百度空间,QQ空间的皮肤等就是利用这个来做的。
5、数据库
走向动态网页的基础,比如百度知道的提问回答这些,都涉及数据库的读、写、改、删。常见的数据库有mysql、mssql、access等。数据库是所有软件的基础,80%以上的应用程序都涉及数据库,而作为网页制作来说没有必要学得很深,够用就行。
6、动态语言,asp,php,jsp,.net(c#等)
要操作数据库,交互就需要动态语言,现在好多动态语言像php都有“框架”,用框架建站好比用活动板房的零件建房子,全部自己写好比一块一块砖砌房子。
7,java
网页里面的验证码,弹窗,特效等就靠它了,一个没有java的页面基本没有,这个也有好多的框架可用,这个语言是难的,也是强大的,网页木马,病毒大多用这个语言。
8、平面涉及软件
flash,photoshop等,页面美化还要靠图片等东西。
这些个东西你会一个,或者一个都不会,都能做出一定水平的网页(用三剑客,或者直接用word做好后另存为htm文件就行),要深入的学,这些知识基本的。
网页制作的后端需要学习1. 学习一门语言
语言的选择有很多种,为了方便您的选择,我将它们进行了分类。对于刚接触后端开发的新手,我强烈建议你们选择一门脚本语言,因为它们的需求很多且上手较快。最好的选择当然是Python,它的需求正在急速增长,有大量的职位可供选择。
2. 学以致用
最后的学习方法就是动手实践。一旦你选择了语言,然后对其有了基本的了解,开始使用它。运用它进行尽可能多的练习,写一些小程序练手,熟悉它。下面是一些小例子,可以帮助你开始。
* 实现一些bash中你常用的命令, 比如ls的功能
* 写一个从reddit的/r/programming频道抓取数据并将之保存为JSON格式的小程序
* 写一个程序将目录结构保存为JSON文件。
* 根据上面生成的JSON文件,生成目录结构。
* 想想日常工作中的任务,尝试将之自动化。
3. 学习包管理器
一旦你了解了语言的基础,同时用它写过些示例程序,接着学习该语言的包管理器。包管理器可以帮助你使用第三方库,同时你也可以通过它发布自己的库以供他人使用。
假设你选择的是Python,你应该已经学习了Pip。Node.js有NPM或Yarn、PHP有Composer,Ruby有RubyGems。无论你选择了什么,进一步去学习它的包管理。
4. 规范以及最佳实践
每一种语言有其规范以及最佳实践。你需要掌握这个东西。比如Python有PEP8跟Google Python代码规范。Node.js各社区有不同的规范。其他语言的状况也大同小异。
5. 安全
务必要掌握安全最佳实践。读读OWASP指南,了解不同的安全问题,同时要知道如果避免这类问题。(你选择的语言)
6. 实践
现在你已经掌握了语言基础,最佳实践,安全相关以及包管理,你可以去开发自己的库供他人使用了。如果你用Python,你需要发布在Pypi,如果是Node.js,你需要发布在Npm。
到此,你可以在Github上找一些项目,参与进去。
* 重构,实现你学到的最佳实践
* 修复已知的问题
* 添加新的功能
7. 测试
测试分很多种,要了解每一种测试的类型以及其目的。但是现在,首先学习单元测试以及综合测试,应用在你的程序中。此外,还要了解不同的测试术语,比如mocks,stubs等等。
8. 实践-测试
为你所写的所有程序编写单元测试,特别是在Github上参与的项目。
同时,学习覆盖率的概念,计算测试代码的覆盖率。
9. 关系型数据库
学习利用关系型数据库保存你的数据。在学习之前,首先掌握数据库相关的术语。比如:keys,indexes,normalization,tuples等。
可供选择的数据库很多,你只需要掌握一个,其他的也会变得很简单。流行的有MySQL,MariaDB(MySQL分支,与之非常相似),PostgreSQL。推荐选择MySQL开始。
10. 动手时间 - 实践
到了将所学融合的时候了。
创建一个简单的应用,运用你所学的一切。实现一个想法,可能是创建一个简单的博客站点,实现一下的特性:
* 账户系统——注册&登陆
* 注册用户可以创建blog
* 用户可以查看自己创建的所有的blog
* 用户可以删除自己发布的blog
* 保证用户只能看到自己发布的blog,不能看其他人的
* 为应用编写单元/综合测试
* 为查询创建索引。分析查询,确保索引生效
11. 学习一个框架
根据你的项目类型以及你的语言的不同,你可能会需要一个框架辅助开发。(也可能不需要)。每种语言都有不同的选择,选择一个合适的即可。
如果你选择了Python,建议你选择Django,对于微框架,建议Flask。
对于Node.js,最知名的框架是Express.js。
12. 实践-框架
利用选择的框架重构你的博客应用。不要忘记了集成测试代码进来。
13. 学习NoSQL(not only SQL)数据库
首先了解什么是NoSQL,以及它们与关系型数据库的差别,同时为什么需要它们。NoSQL数据库也有多种选择,了解并比较它们之间的特性以及不同之处。常用的有MongoDB,Cassandra,RethinkDB,Couchbase。建议选择MongoDB开始。
14. 缓存
学习如何在你的程序中实现应用级的缓存。了解如何利用Redis或Memcached实现缓存,同时在你的博客应用中实现缓存功能。
15. 创建RESTful APIs
了解REST,学习如何编写RESTful APIs,阅读关于REST的白皮书。(By Roy Fielding)。理解REST不仅仅是HTTP APIs。
16. 学习不同的认证方法
学习不同的认证以及认证方式。你需要明白它们是什么,它们的不同点,以及它们适用的场景。
* OAuth--Open Authentication
* Basic Authentication
* Token Authentication
* JWT--JSON Web Tokens
* OpenID
17. 消息代理
学习消息代码,了解什么时候以及为什么使用它们。有很多可供选择,最知名的是RabbitMQ & Kafka。建议从RabbitMQ开始学习。
18. 搜索引擎
随着应用程序规模的增长,简单的查询已经无法满足要求。这个时候,你需要用到搜索引擎。同样有多种选择,每一种有自己的特点。
19. 学习使用Docker(容器)
Docker可以为你的开发提供巨大的便利。它可以让你的开发环境与生产环境保持一致,可以让你的系统保持干净,可以加速你的编码,可以测试部署。Docker的好处,请自行google。从现在开始,学习Docker。
20. Web服务器的知识
到了这个时候,你可能已经处理过服务器相关的问题。这一步骤主要是了解不同的服务器之间的差异,局限,以及不同的调优方法。
21. 学习Web Sockets
虽然不是必须,但是具备Web Sockets的技能是有好处的。学习编写实时的web应用。可以在博客应用中,实现即时更新blog列表。
22. 学习GraphQL
学习GraphQl的APIs。了解它与REST的不同,然后为什么它被称之为REST 2.0。
23. 研究Graph数据库
Graph模型具备非常好的灵活性——在处理数据间的关系的时候。Graph数据库提供高速&高效的存取以及查询。学习了解Neo4j或者OrientDB。
24. 不停探索
在你的学习以及实践过程中,肯定会碰到路线图里没有提及的东西。你只需要保持开放以及饥渴去学习新的东西。
时刻谨记,学习的关键是实践。多动手!刚开始的时候,你可能会感觉不大好,随着你的坚持以及时间的推移,你会变得越来越好。
狗哥更新啦,快来点赞围观啊
不管是毕业时需要开始写论文的大四党,还是步入各种科学研究领域的科研汪们,都要渐渐面对大量的文献。精华文献的阅读量也决定了论文的高度。
既然要阅读很多的文献,那今天我们就来聊聊如何使用文献管理神器帮你轻松整理
除去一些收取高额费用和操作难度较高的软件,精选出从高端大气到低调贴心的三款文献管理神器推荐给大家。
1.NoteExpress
NoteExpress 是北京爱琴海软件公司开发的一款专业级别的文献检索与管理系统。是国产文献管理的一款精品。对管理中文文献有很大的帮助,是学术研究,知识管理的必备工具,发表论文的好帮手。
软件的下载和安装:
软件可以到NoteExpress官网上下载:http://www.inoteexpress.com/aegean/
软件分为两个版本:个人版和集团版。
大部分学校会购买集团版的版权,大家可以在集团版里输入自己学校的名字来查找,在校园网的环境下使用该软件。个人版只能免费试用30天,当然你也可以选择搜索其他的资源来使用更久。
NoteExpress核心功能
①拥有快速检索的能力,支持数以百计的图书馆数据库和网络电子库,可以随时随地找到你想要的文献
②以题录的方式管理文献,可以按重点对文献进行划分,方便查找
③强大的笔记功能,可以轻松把笔记导出到word,还会自动生成符合要求的参考文献索引
新建自己的数据库
安装完成后,需要先建立自己的数据库来存放你的文献
附件可以选择移动或复制
新建完成后,旁边就是简单快捷的导航栏
搜索文献
NoteExpress集成了绝大部分的数据库,可以很轻松地查找各种数据文献。点击左上角“在线检索”就会弹出选项。
以中国知网为例,你的检索内容可以很细致,这些对于NoteExpress的查找都很简单。
选择你想要保存的文献,并把他们批量加入自己的题录里。
导入文献
点击左上角“导入全文”,或者右键自己想要保存的文件夹,选择导入就可以把电脑里原来杂乱的文件导入NoteExpress中。
还可以通过文件夹的形式导入,NoteExpress会自动识别各类文献信息并标注分类,一目了然。
文献管理
保存的题录可以进行标记,标注已读未读
你还可以使用查重功能删除掉重复率高的文献,精简你的题录。查重完毕后右键删除即可。
对于每篇文献,你可以在导航栏中的综述一栏看到它的详细信息
当然现在保存下来的只是题录,可以看到该文献的详细信息。但是个人免费版暂时不提供全文下载。
写作引用
当你着手开始写论文时,NoteExpress依旧体现它的强大。点开想要编辑的word文档,在上方导航栏会出现NoteExpress选项。
先在NoteExpress中选择文章(可以ctrl键多选),再到word里选择插入引文或者插入注释笔记,都可以简单地把文献插入到文章里。
你也可以在格式化选项里选择你想要输出的索引格式。
NoteExpress的基本操作就是这些,当然它还有更多其他的功能,有兴趣的小伙伴可以到官网上学习一下:
http://www.inoteexpress.com/wiki/index.php/%E9%A6%96%E9%A1%B5
2.Mendeley
介绍了国产的文献管理软件,再介绍一款对于英文文献很友好的管理软件Mendeley。
Mendeley完全免费,除了界面使用需要一点英语能力外其他操作简单易懂,当然更难不到阅读英文文献的你。
它既是一款免费的跨平台文献管理软件,同时也是一个在线的学术社交网络平台。Mendeley 可一键抓取网页上的文献信息添加到个人的 library 中,插件可以完美和浏览器、word整合。
软件的下载和安装
直接登录Mendeley官网下载:https://www.mendeley.com/homepage5/?switchedFrom=
下载完成后,进行安装。完成后需要注册一个Mendeley账户。
然后进入主界面,就可以开始文献管理之旅了。
Mendeley核心功能
①多pdf同时批注,更好更快地切换内容
②高效管理已读文件资料,准确提取文章信息
③相关文献快速搜索功能
④云同步功能,可以同步到其他客户端
导入文献
在准备论文之前,你一定已经在谷歌上下载了大量的pdf。这些pdf可能连文件名都是乱七八糟的。
别担心,单击左上方的add按钮,把pdf添加进来。这里可以添加单个文件或者文件夹。Watch Folder是监视文件夹。将pdf放到这个文件夹中会自动添加至Mendeley。
Mendeley会自动提取关键词、作者、年份等等信息。在右侧的Detials框里还可以修改补充详细信息,方便以后的归纳总结。
浏览网页抓取文献
如果你想在浏览网页时把文献放入library,可以点击Tools里面的Install Web Importer,根据提示把save to Mendeley拖动至导航栏。根据不同的浏览器设置成功后,你就可以使用save按钮保存想要的文献。
搜索文献
Mendeley同样也有文献搜索功能,在左侧的工具栏里。右侧输入后便可保存相关文献。
文献管理
绿点表示未读文章,同时你也可以通过拖拽或点击将他们放到favourites文件夹或者其他自己建立的文件夹。
Mendeley自带pdf阅读器,双击某一篇文献可以开始编辑模式。可以高亮备注重点或是记笔记等。当然你的笔记是存在Mendeley账户中的,需要在file里新建pdf才可以生成带笔记的pdf。
写作引用
单击导航栏的Tools,选择Install MS word Plugin安装word插件来引用文章,还可以生成题录。
安装后打开word,在引用里会有Insert citation选项
根据不同的详细信息点击想引用的文献,按ok键就可以写入word了。你也可以选择引用的格式。
Mendeley还有很强大的共享和同步功能,但是其连接方面有一定速度慢的问题。有需要的话可以耐心研究一下。
3.Zotero
如果说上面两款软件是霸气测硫,那么这一款Zotero则是小众清新。
Zotero是一款免费、开源的个人知识管理软件。而它的功能不仅仅局限于文献,甚至对其他方面的知识的管理和网页的抓取能力都是相当出色的。
Zotero的核心功能
①对网页信息有着很强的抓取能力
②中英文兼顾,有着很好的汉化和对中文文献很好的读取能力
③使用浏览器插件+桌面客户端的模式轻松同步你的资料
软件的安装和下载
进入Zotero官网即可下载:
https://www.zotero.org/download/
原本的Zotero只可以使用火狐浏览器插件。现在推出了桌面版+chorme浏览器插件的工作模式。
分别安装浏览器插件和桌面应用就可以开始啦。
强大的网页抓取功能
当你打开文献网站,比如中国知网,这是Zotero插件就会变成文件夹的形状。
点击小文件夹图标,就会让你选择想要保存的文献,抓取到Zetero桌面软件中。(需要保持桌面应用开启的状态)
打开谷歌学术,Zotero一样可以进行抓取。
甚至打开豆瓣,Zotero依旧可以完美抓取。右上角的图标则会变成图书
Zotero还可以对维基百科等工具类网站进行抓取,而你的抓取结果则会收集到桌面软件内。
作为一款小清新的管理软件,Zotero的信息抓取能力极为出众。右侧信息栏可以看到各类详情。
软件汉化也很完善。你也可以通过文件的导入功能把下载好的pdf等交给Zotero管理。
软件虽小却扮演着文献管理“小暖男”的角色,你一定会爱不释手。
1.解决文件夹切换问题:clover
2.解决文件搜索问题:everything+filelocator pro
3.解决个人文件管理问题:xyplorer
3.解决个人文件标签和文件目录导出问题:taglyst
4.解决截图问题:专业截图王>Snipaste>Faststone capture
faststone capture太差,不再介绍。
5.解决思维导图问题:Xmind确实很好用,但缺点是正版太贵。
推荐一个替代方案:河蟹版或者迅捷思维导图
推荐一个思维导图的模板网站:
mindmaster也很用。
可以做出很漂亮的思维导图:
6.解决批量修改文件名问题:total commander
7.解决ppt模板问题:PPT之家(直接搜索全是广告,请输入52ppt)
还有一个全免费网站:叮当设计
最推荐的是下面这个:办公资源网
10大PPt模板网站:
8.解决办公软件切换问题:多个方案
方案1.excel+Office TAB=标签功能,适合不愿意用WPS的用户
方案2.直接用WPS替代office
方案3.可尝试使用永中office
9.办公日程问题:全球顶级日程管理essential PIM,惠普、三星、佳能等国际一流公司的选择
国产软件推荐:时光序或未来管家
最良心,且好用的时间管理国产软件,没有之一。
10.解决PDF有关的所有问题:迅捷PDF转换器+编辑器,或福昕PDF(土豪推荐)
11.解决会议记录问题,也就是文字转语音:笛云听写(免费)/录音宝(免费)/录音转文字助手(付费)/讯飞语记/讯飞听写/搜狗语音助手/百度/有道云笔记
12.解决手写文字转电子档以及图片转EXCEL电子表格:全能扫描君(注意不是全能扫描王)
13.解决办公文档批量处理:word批量处理大师
14.解决不会使用EXCEL的函数和公式:方方格子
15.解决写作难题:办公资源网文档模板下载+香当网
16.解决图片问题:isee(常用)+PS
其他请看下面的思维导图:
拉轰读书,持续更新优质软件+网站,记得收藏哦!!下次查看更方便。
以上就是关于php网站采集视频教程以及怎么自学数据分析的相关回答,有更多疑问可以加微。Copyright © 广州京杭网络科技有限公司 2005-2024 版权所有 粤ICP备16019765号
广州京杭网络科技有限公司 版权所有