python3 网络爬虫实战系列之一：网络爬虫基础知识点以及学习路径介绍。主要内容包括：

1.网络爬虫基础知识点

2.网络爬虫学习路径

一、网络爬虫基础知识点

为什么需要网络爬虫

目前我们正处于”大数据时代”，因此需要大量的数据来进行研究。数据获取的方式主要包括：

1. 企业生产的用户数据：大型互联网公司有海量用户，所以他们积累数据有天然的优势。有数据意识的中小型企业，也开始积累的数据。

2. 数据管理咨询公司：通常这样的公司有很庞大的数据采集团队，一般会通过市场调研、问卷调查、固定的样本检测，和各行各业的公司进行合作、专家对话（数据积累很多年了，最后得出科研结果）来采集数据。

3. 政府/机构提供的公开数据：政府通过各地政府统计上报的数据进行合并；机构都是权威的第三方网站。

4. 第三方数据平台购买数据：通过各个数据交易平台来购买各行各业需要的数据，根据获取难度不同，价格也会不同。

5. 爬虫爬取数据：如果市场上没有我们需要的数据，或者价格太高不愿意买，那么就可以招/做一个爬虫工程师，从互联网上定向采集数据。

什么是网络爬虫

大家在第一次听到爬虫这个词的时候肯定会不明觉厉。

但其实爬虫也就是一个抓取网页数据的程序。

既然是程序，那么就肯定是有编程语言进行开发的了。其实可以做爬虫的语言有很多。如 PHP、Java、C/C++、Python等等…

· PHP 虽然是世界上最好的语言，但是他天生不是干这个的，而且对多线程、异步支持不够好，并发处理能力很弱。爬虫是工具性程序，对速度和效率要求比较高。

· Java 的网络爬虫生态圈也很完善，是Python爬虫最大的对手。但是Java语言本身很笨重，代码量很大。重构成本比较高，任何修改都会导致代码的大量变动。爬虫经常需要修改部分采集代码。

· C/C++ 运行效率和性能几乎最强，但是学习成本很高，代码成型比较慢。能用C/C++做爬虫，只能说是能力的表现，但是不是正确的选择。

· Python 语法优美、代码简洁、开发效率高、支持的模块多，相关的 HTTP 请求模块和 HTML 解析模块非常丰富。还有强大的爬虫 模块 Scrapy，以及成熟高效的 scrapy-redis分布式策略。而且，调用其他借口也非常方便（胶水语言）

因此，我也就选择使用 python来开发网络爬虫。目前 python有分 python2 和python3之分。python3 肯定是今后的主流，因此做为学习来说我将直接选择 python3来进行网络爬虫的开发。

网络爬虫怎么抓取网页数据

网页三大特征：

1. 网页都有自己唯一的URL（统一资源定位符）来进行定位

2. 网页都使用HTML （超文本标记语言）来描述页面信息。

3. 网页都使用HTTP/HTTPS（超文本传输协议）协议来传输HTML数据。

爬虫的设计思路：

1. 首先确定需要爬取的网页URL地址。

2. 通过HTTP/HTTP协议来获取对应的HTML页面。

3. 提取HTML页面里有用的数据：如果是需要的数据，就保存起来；如果是页面里的其他URL，那就继续执行第二步。

网络爬虫分类

网络爬虫按照类别分可以分为：通用爬虫和 聚焦爬虫

通用爬虫

通用爬虫：搜索引擎使用的爬虫系统

通用爬虫 目标：就是尽可能把互联网上所有的网页下载下来，放到本地服务器里形成备份，再对这些网页做相关处理（提取关键字、去掉广告），最后提供一个用户检索接口。

通用爬虫抓取流程：

第一步：首选选取一部分已有的URL，把这些URL放到待爬取队列。

第二步：从队列里取出这些URL，然后解析DNS(就是把域名解析成IP的一种技术。)得到主机IP，然后去这个IP对应的服务器里下载HTML页面，保存到搜索引擎的本地服务器。之后把这个爬过的URL放入已爬取队列。

第三步：分析这些网页内容，找出网页里其他的URL链接，继续执行第二步，直到爬取条件结束。

搜索引擎使用通用爬虫之前首先得知道所要爬取的网页的链接，获取一个新网站的URL主要是通过以下几种方式：

1. 主动向搜索引擎提交网址

2. 在其他网站里设置网站的外链。

3. 搜索引擎会和DNS服务商进行合作，可以快速收录新的网站。

但是通用爬虫并不是万物皆可爬，它也需要遵守规则：

Robots协议：协议会指明通用爬虫可以爬取网页的权限。

集体是要在网站的根目录下放置一个Robots.txt文件。但是 Robots协议只是一个建议。并不是所有爬虫都遵守，一般只有大型的搜索引擎爬虫才会遵守。个人编写的爬虫就不需要遵守了。

通用爬虫工作流程：爬取网页 - 存储数据 - 内容处理 - 提供检索/排名服务

搜索引擎排名主要通过以下两种方式来进行：

1.PageRank值：根据网站的流量（点击量/浏览量/人气）统计，流量越高，网站也越值钱，排名越靠前。

2.竞价排名：谁给钱多，谁排名就高。

但是通用爬虫也有缺点：

1. 只能提供和文本相关的内容（HTML、Word、PDF）等等，但是不能提供多媒体文件（音乐、图片、视频）和二进制文件（程序、脚本）等等。

2. 提供的结果千篇一律，不能针对不同背景领域的人提供不同的搜索结果。

3. 不能理解人类语义上的检索。

为了解决这个问题，聚焦爬虫出现了

聚焦爬虫

聚焦爬虫：爬虫程序员写的针对某种内容的爬虫。

聚焦爬虫又称为面向主题爬虫，面向需求爬虫：会针对某种特定的内容去爬取信息，而且会保证信息和需求尽可能相关。

二、网络爬虫学习路径

1.Python的基本语法知识

需要先学习了 Python基础语法知识之后再进行爬虫知识的学习

2.抓取HTML页面

学习 HTTP请求的处理库：urllib、urllib2、requests

处理后的请求可以模拟浏览器发送请求，获取服务器响应的文件

3.解析服务器响应的内容

使用re、xpath、BeautifulSoup4（bs4）、jsonpath、pyquery等库来进行服务器响应的处理。

具体的处理就是使用某种描述性语言来给我们需要提取的数据定义一个匹配规则，符合这个规则的数据就会被匹配。

4.如何采集动态HTML以及验证码的处理

通用的动态页面采集：Selenium + PhantomJS(无界面)：模拟真实浏览器加载js、ajax等非静态页面数据

对于验证码的处理可以使用 Tesseract库，这是一个Google的机器学习库，基于机器图像识别系统，可以处理简单的验证码。但是复杂的验证码可以通过手动输入或者找专门的打码平台来处理。

5.学习Scrapy框架

scrapy框架具有高定制性高性能（异步网络框架twisted）的特点，所以数据下载速度非常快，并且提供了数据存储、数据下载、提取规则等组件。

6.学习分布式策略 scrapy-reids

scrapy-redis库是在 Scrapy的基础上添加了一套以 Redis 数据库为核心的组件。让Scrapy框架支持分布式的功能，主要在Redis里做 请求指纹去重、请求分配、数据临时存储。

7.爬虫 - 反爬虫 - 反反爬虫 之间的斗争

其实爬虫做到最后，最头疼的不是复杂的页面，也是晦涩的数据，而是网站另一边的反爬虫人员。

通用的反爬虫技术：User-Agent、代理、验证码、动态数据加载、加密数据。

但是要记住：

爬虫和反爬虫之间的斗争，最后一定是爬虫获胜！

为什么？只要是真实用户可以浏览的网页数据，爬虫就一定能爬下来！