爬虫代理服务器,搜索引擎爬虫蜘蛛是如何工作的?

爬虫代理服务器，搜索引擎爬虫蜘蛛是如何工作的？

搜索引擎用来爬行和访问页面的程序被称为蜘蛛（spider），也叫机器人（bot）。搜索引擎蜘蛛访问网站页面时类似于普通用户使用浏览器，蜘蛛程序发出页面访问请求后，服务器返回HTML代码，蜘蛛程序把收到的代码存入原始页面数据库，搜索引擎为了提高爬行和抓取的速度，都使用多个蜘蛛分布爬行。

蜘蛛访问网站时，首先会访问网站根目录下的robots.txt文件，如果robots.txt文件禁止搜索引擎抓取某些网页或者内容，再或者网站，蜘蛛将遵循协议，不对其进行抓取。

蜘蛛也是有自己的代理名称的，在站长日志中可以看出蜘蛛爬行的痕迹，这也就是为什么这么多站长解答问题的时候，都会说先查看网站日志（作为一个出色的SEO你必须具备不借助任何软件查看网站日志的能力，并且要非常熟悉其代码的意思）。

一、搜索引擎蜘蛛的基本原理

搜索引擎蜘蛛即Spider，是一个很形象的名字，把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。

网络蜘蛛是通过网页的链接地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。

如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。

搜索引擎蜘蛛的基本原理及工作流程

对于搜索引擎来说，要抓取互联网上所有的网页几乎是不可能的，从目前公布的数据来看，容量最大的搜索引擎也不过是抓取了整个网页数量的百分之四十左右。

这其中的原因一方面是抓取技术的瓶颈，100亿网页的容量是100×2000G字节，即使能够存储，下载也存在问题（按照一台机器每秒下载20K计算，需要340台机器不停的下载一年时间，才能把所有网页下载完毕），同时，由于数据量太大，在提供搜索时也会有效率方面的影响。

因此，许多搜索引擎的网络蜘蛛只是抓取那些重要的网页，而在抓取的时候评价重要性主要的依据是某个网页的链接深度。

由于不可能抓取所有的网页，有些网络蜘蛛对一些不太重要的网站，设置了访问的层数，例如，下图中所示：

搜索引擎蜘蛛的基本原理及工作流程

A为起始网页，属于0层，B、C、D、E、F属于第1层，G、H属于第2层，I属于第3层，如果网络蜘蛛设置的访问层数为2的话，网页I是不会被访问到的，这也让有些网站上一部分网页能够在搜索引擎上搜索到，另外一部分不能被搜索到。

对于网站设计者来说，扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。

网络蜘蛛在访问网站网页的时候，经常会遇到加密数据和网页权限的问题，有些网页是需要会员权限才能访问。

当然，网站的所有者可以通过协议让网络蜘蛛不去抓取，但对于一些出售报告的网站，他们希望搜索引擎能搜索到他们的报告，但又不能完全免费的让搜索者查看，这样就需要给网络蜘蛛提供相应的用户名和密码。

网络蜘蛛可以通过所给的权限对这些网页进行网页抓取，从而提供搜索，而当搜索者点击查看该网页的时候，同样需要搜索者提供相应的权限验证。

二、追踪链接

由于搜索引擎蜘蛛为了能够抓取网上尽量多的页面，它会追踪网页上的链接，从一个页面爬到下一个页面，就好像是蜘蛛在蜘蛛网上爬行那样，这就是搜索引擎蜘蛛这个名称的来因。

整个互联网网站都是相互链接组成的，也就是说，搜索引擎蜘蛛从任何一个页面出发最终都会爬完所有页面。

搜索引擎蜘蛛的基本原理及工作流程

当然网站和页面链接结构太过于复杂，所以蜘蛛只有采用一定的方法才能够爬完所有页面，据了解最简单的爬行策略有3种：

1、最佳优先

最佳优先搜索策略按照一定的网页分析算法，预测候选URL与目标网页的相似度，或与主题的相关性，并选取评价最好的一个或几个URL进行抓取，它只访问经过网页分析算法预测为“有用”的网页。

存在的一个问题是，在爬虫抓取路径上的很多相关网页可能被忽略，因为最佳优先策略是一种局部最优搜索算法，因此需要将最佳优先结合具体的应用进行改进，以跳出局部最优点，据研究发现，这样的闭环调整可以将无关网页数量降低30%~90%。

2、深度优先

深度优先是指蜘蛛沿着发现的链接一直向前爬行，直到前面再也没有其他链接，然后返回到第一个页面，沿着另一个链接再一直往前爬行。

3、广度优先

广度优先是指蜘蛛在一个页面发现多个链接时，不是顺着一个链接一直向前，而是把页面上所有链接都爬一遍，然后再进入第二层页面沿着第二层上发现的链接爬向第三层页面。

从理论上说，无论是深度优先还是广度优先，只要给蜘蛛足够的时间，都能爬完整个互联网。

在实际工作中，蜘蛛的带宽资源、时间都不是无限的，也不能爬完所有页面，实际上最大的搜索引擎也只是爬行和收录了互联网的一小部分，当然也并不是搜索引擎蜘蛛爬取的越多越好，这点

因此，为了尽量多的抓取用户信息，深度优先和广度优先通常是混合使用的，这样既可以照顾到尽量多的网站，也能照顾到一部分网站的内页。

三、搜索引擎蜘蛛工作中的信息收集

信息收集模块包括“蜘蛛控制”和“网络蜘蛛”两部分，“蜘蛛”这个称呼形象的描述出了信息收集模块在网络数据形成的“Web”上进行信息获取的功能。

总体而言，网络蜘蛛从种子网页出发，通过反复下载网页并从文档中寻找未曾见过的URL，达到访问其他网页得以遍历Web的目的。

而其工作策略一般则可以分为累积式抓取（cumulativecrawling）和增量式抓取（incrementalcrawling）两种。

1、累积式抓取

累积式抓取是指从某一个时间点开始，通过遍历的方式抓取系统所能允许存储和处理的所有网页。在理想的软硬件环境下，经过足够的运行时间，累积式抓取的策略可以保证抓取到相当规模的网页集合。

看来由于Web数据的动态特性，集合中网页的被抓取时间点是不同的，页面被更新的情况也不同，因此累积式抓取到的网页集合事实上并无法与真实环境中的网络数据保持一致。

2、增量式抓取

与累积式抓取不同，增量式抓取是指在具有一定量规模的网络页面集合的基础上，采用更新数据的方式选取已有集合中的过时网页进行抓取，以保证所抓取到的数据与真实网络数据足够接近。

进行增量式抓取的前提是，系统已经抓取了足够数量的网络页面，并具有这些页面被抓取的时间信息。面向实际应用环境的网络蜘蛛设计中，通常既包括累积式抓取，也包括增量式抓取的策略。

累积式抓取一般用于数据集合的整体建立或大规模更新阶段，而增量式抓取则主要针对数据集合的日常维护与即时更新。

在确定了抓取策略之后，如何从充分利用网络带宽，合理确定网页数据更新的时间点就成了网络蜘蛛运行策略中的核心问题。

总体而言，在合理利用软硬件资源进行针对网络数据的即时抓取方面，已经形成了相对比较成熟的技术和实用性解决方案，觉得在这方面目前所需解决的主要问题是如何更好的处理动态网络数据问题（如数量越来越庞大的Web2.0数据等），以及更好的根据网页质量修正抓取策略的问题。

四、数据库

为了避免重复爬行和抓取网址，搜索引擎会建立一个数据库，记录已被发现还没有抓取的页面和已经被抓取的页面，那么数据库中的URL是怎么来的呢？

1、人工录入种子网站

这个简单的来说，就是我们建好一个新站后，向百度、Google或360提交的网址收录。

2、蜘蛛抓取页面

如果搜索引擎蜘蛛在爬取的过程中，发现了新连接URL，数据库中没有，就会存入待访问数据库（网站观察期）。

蜘蛛按重要性从待访问数据库中提取URL，访问并抓取页面，然后把这个URL从待访问地址库中删除，放进已访问地址库中，所以建议各位站长在网站观察期的时候尽量有规律的更新网站是必要的。

3、站长提交网站

一般来说，提交网站只是把网站存入待访问数据库，如果网站持久不更新蜘蛛也不会光顾，搜索引擎收录的页面都是蜘蛛自己追踪链接得到的。

所以你提交给搜索引擎其实用处不大，还是要根据后期你网站更新程度来考虑，搜索引擎更喜欢自己沿着链接发现新页面，当然如果说你的SEO技术够老练，并且有这能力，可以试一下，说不定会有意想不到的效果，不过，对于一般在站长来说，还是建议让蜘蛛自然的爬行和抓取到新站页面。

五、吸引蜘蛛

虽然理论上说蜘蛛可以爬行和抓取所有页面，但实际上是不可能完成的，那么SEO人员想要收录更多的页面就只有想办法引诱蜘蛛抓取。

既然抓不了所有页面，那么我们就要让它抓取重要页面，因为重要页面在索引中起到重要决定，直接影响排名的因素，哪么那些页面算是比较重要的呢？对此，也特意整理了以下几个我认为比较重要页面，具体有这么几个特点：

1、网站和页面权重

质量高、年龄老的网站被给予很高的权重，这种网站上的页面蜘蛛爬行的深度比较高，所以会有更多的内页被收录。

2、页面更新度

蜘蛛每次爬行都会把页面数据储存起来，如果第二次爬行时发现此页面与第一次收录的内容完全一样，说明页面没有更新，蜘蛛也没必要经常再来爬行和抓取。

如果页面内容经常更新，蜘蛛就会频繁的爬行和抓取，那么，页面上的新链接自然的会被蜘蛛更快的追踪和抓取，这也就是为什么需要每天更新文章

3、导入链接

无论是外部链接还是同一个网站的内部链接，要被蜘蛛抓取，就必须有导入链接进入页面，否则蜘蛛根本不知道页面的存在。此时的URL链接起着非常重要的作用，内链的重要性发挥出来了。

另外，个人觉得高质量的导入链接也经常使页面上的导出链接被爬行的深度增加。

这也就是为什么大多数站长或SEO都要高质量友情链接，因为蜘蛛从对方网站爬行到你网站之次数多，深度也高。

4、与首页点击距离

一般来说网站首页权重最高，大部分外部链接都指向首页，蜘蛛访问最频繁的也是首页，离首页点击距离越近，页面权重越高，被蜘蛛爬行的机会也就越大。

这也就是为什么要求网站框架建设点击三次就能查看完整个网站的意思。

六、蜘蛛爬行时的复制内容检测

一般都知道在搜索引擎索引环节中中会进行去重处理，其实在蜘蛛爬行的时候已经在进行检测，当蜘蛛爬行和抓取文件时会进行一定程度的复制内容检测，遇到权重低的网站上大量转载或抄袭内容时，很可能不再继续爬行。

所以对于新站来说切莫采集和抄袭，这也就是为什么很多站长查看日志的时候发现了蜘蛛，但是页面从来没有被抓取的原因，因为爬行发现是重复内容那么它讲放弃抓取也就只停留在爬行过的阶段。

爬虫脚本使用方法？

1、基本抓取网页

get方法

post方法

2.使用代理服务器

这在某些情况下比较有用，

比如IP被封了，或者比如IP访问的次数受到限制等等。

34.伪装成浏览器访问

某些网站反感爬虫的到访，于是对爬虫一律拒绝请求。

这时候我们需要伪装成浏览器，

这可以通过修改http包中的header来实现：

5、页面解析

对于页面解析最强大的当然是正则表达式，

这个对于不同网站不同的使用者都不一样，就不用过多的说明。

Python好学吗？

Python被称为人工智能时代的黄金语言，但是仅仅掌握它还是不能够胜任人工智能方面的工作。Python语言是一门工具，而人工智能是一个非常广的方向，诸如宽度学习、深度学习、各类算法等等。

如果你具备了Python编程能力，那你可以用Python做点什么呢？

一、网络爬虫。采集网页的数据，为后期的数据挖掘或者数据库的建立提供数据支撑，网络爬虫数据还可以做浏览器等；

二、数据挖掘和分析、科学计算、机器学习。Python中的pandas、numpy、matplotlib等数据处理库，可以助力你进行科学计算和可视化；

三、日常任务。比如自动备份你的MP3、12306抢票等；

四、web开发。其实很多著名的网站像知乎、YouTube、豆瓣网就是Python写的，此外很多大公司，包括Google、Yahoo等，甚至NASA（美国航空航天局）都大量地使用Python；

五、网络游戏后台。很多在线游戏的后台都是Python开发的；

六、运维、应用开发、大数据、人工智能、自然语言处理等。

……还可以写很长很长…………还可以写很长很长……

如果你具备Python企业级开发与大数据运维能力，那么你不仅可以用Python做企业级开发，更可以做比“大数据开发”更高端的“大数据运维”，成为市场上稀缺的大数据运维工程师，年薪50w不在话下。

祝楼主好运，献上Python学习路上图给你，希望对你的学习有帮助。

下面分别是Python网络爬虫和web方向需要学习的知识点。

Python网络爬虫学习涉及的内容主要有：Python入门知识、web前端知识、爬虫基础知识、爬虫进阶知识等等，一步一步循序渐进。每一个阶段学习到的知识都特色丰富，从简单到复杂。

Python web方向涉及的内容主要有：搭建环境、面向对象编程（OOP）、HTML知识、Django、Tornado、项目思想、多进程等等，同样的，每个学习阶段，都有大量的知识点等着我们去挖掘。

学习过程是煎熬的，而且循序渐进。当你的基础部分学完了，之后你也肯定会忘记一部分，本自己以为掌握好的知识点，等到用时候发现自己还是不知道怎么用。不用慌，这个问题不大~~这是学习的必经之路，温故而知新，当你再回去复习基础知识，你会有更深入的认识（蓦然回首，那人却在灯火阑珊处）。我们都处于奋斗的时代，别因为小小困难而轻易放弃，学习更是要耐得住寂寞，不可急于求成。

特别是爬虫代码？

想写代码，还是比较容易的，前提是学校学过编程，最好通过计算机二级，一般都没有问题。写代码，需要先确定自己要学的语言，而做爬虫相关的，几乎所有的网络编程语言都支持吧，就我接触的几种编程语言中，使用比较多的有Java、PHP、Python、Go等，而做爬虫，我在Java和Python编程语言方面有所实践，下面主要说说这两种编程语言在爬虫中的表现吧。

要做爬虫，Web开发的一些必备技术是不可或缺的，如HTML、CSS以及一些JS等，如果不懂这些，写爬虫就是个笑话。这些也是做爬虫的先决条件，要做爬虫，这些必须要学，并且有自己的学习心得。写爬虫需要先读懂目标网站的相关html源码，针对所爬取的内容决策获取的方式，常见的有正则表达式提取、Document元素获取等。

网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：通用网络爬虫（General Purpose Web Crawler）聚焦网络爬虫（Focused Web Crawler）增量式网络爬虫（Incremental Web Crawler）深层网络爬虫（Deep Web Crawler）。实际的网络爬虫系统通常是几种爬虫技术相结合实现的。

有了Web开发的基础之后，我们再来看看爬虫的事。我们先聊聊Java做爬虫的技术点，使用Java做爬虫，主要是通过HttpClient来实现的。使用HttpClient发送请求、接收响应很简单，一般需要如下几步：

创建HttpClient对象。

创建请求方法的实例，并指定请求URL。如果需要发送GET请求，创建HttpGet对象；如果需要发送POST请求，创建HttpPost对象。如果需要发送请求参数，可调用HttpGet、HttpPost共同的setParams(HetpParams params)方法来添加请求参数；对于HttpPost对象而言，也可调用setEntity(HttpEntity entity)方法来设置请求参数。调用HttpClient对象的execute(HttpUriRequest request)发送请求，该方法返回一个HttpResponse。调用HttpResponse的getAllHeaders()、getHeaders(String name)等方法可获取服务器的响应头；调用HttpResponse的getEntity()方法可获取HttpEntity对象，该对象包装了服务器的响应内容。程序可通过该对象获取服务器的响应内容。释放连接。无论执行方法是否成功，都必须释放连接。

Java除了使用HttpClient做爬虫之外，还可以通过Jsoup，但是相对于HttpClient，在抓取上Jsoup比较弱，主要是使用扩展htmlparser的功能吧，解析html。相关的示例代码都可以在网上很容易找到，懂得一些Java基础和Web基础的读者都可以试试。

下面来聊聊Python在爬虫上的表现，Python标准库中，用于网页数据采集的有urllib库，同样，有很多优秀的开源库，像BeautifulSoup库、Requests库等。目前我学Python做爬虫也处于初始阶段，使用过的库有标准库中的urllib、re库，非标准库中的bs4、selenium。由于刚开始实践，各方面认识还不够，在我的爬虫代码中urllib做网页数据采集用的，re是正则验证的库，使用bs4解析Document，比较简单的获取数据，我使用selenium自动打开浏览器，获取懒加载的图片之类的数据。除此之外，在网上还找到一些库，这些都是以后Python学习的方法，也推荐给各位。

功能齐全的爬虫grab – 网络爬虫框架（基于pycurl/multicur）。scrapy – 网络爬虫框架（基于twisted），不支持Python3。pyspider – 一个强大的爬虫系统。cola – 一个分布式爬虫框架。portia – 基于Scrapy的可视化爬虫。restkit – Python的HTTP资源工具包。它可以让你轻松地访问HTTP资源，并围绕它建立的对象。demiurge – 基于PyQuery的爬虫微框架。

总体而言，写爬虫Python比较清爽，有优势，Java就比较笨重，用Java写爬虫，有大炮打蚊子之嫌。而关于PHP和GO写爬虫只是听说过，本人没有这方面的实践，暂不多说。

作者：夕阳雨晴，欢迎关注我的头条号：偶尔美文，主流Java，为你讲述不一样的码农生活。