盾眼ddos攻防态势网页,网络安全工程师都需学哪些啊?

盾眼ddos攻防态势网页，网络安全工程师都需学哪些啊？

网络安全工程师学习内容及从业要求：

1、计算机应用、计算机网络、通信、信息安全等相关专业本科学历，三年以上网络安全领域工作经验；

2、精通网络安全技术：包括端口、服务漏洞扫描、程序漏洞分析检测、权限管理、入侵和攻击分析追踪、网站渗透、病毒木马防范等。

3、熟悉tcp/ip协议，熟悉sql注入原理和手工检测、熟悉内存缓冲区溢出原理和防范措施、熟悉信息存储和传输安全、熟悉数据包结构、熟悉ddos攻击类型和原理有一定的ddos攻防经验，熟悉iis安全设置、熟悉ipsec、组策略等系统安全设置；

4、熟悉windows或linux系统，精通php/shell/perl/python/c/c++ 等至少一种语言；

5、了解主流网络安全产品{如fw（firewall）、ids（入侵检测系统）、scanner（扫描仪）、audit等}的配置及使用；

6、善于表达沟通，诚实守信，责任心强，讲求效率，具有良好的团队协作精神； 网络安全工程师：随着互联网发展和IT技术的普及，网络和IT已经日渐深入到日常生活和工作当中，社会信息化和信息网络化，突破了应用信息在时间和空间上的障碍，使信息的价值不断提高。但是与此同时，网页篡改、计算机病毒、系统非法入侵、数据泄密、网站欺骗、服务瘫痪、漏洞非法利用等信息安全事件时有发生。 工作内容： 1、分析网络现状。对网络系统进行安全评估和安全加固，设计安全的网络解决方案； 2、在出现网络攻击或安全事件时，提高服务，帮助用户恢复系统及调查取证； 3、针对客户网络架构，建议合理 的网络安全解决方案； 4、负责协调解决方案的客户化实施、部署与开发，推定解决方案上线； 5、负责协调公司网络安全项目的售前和售后支持。

安全生产顾问的职责？

1、技术交流、POC测试、方案设计、招投标等售前工作；

2、依据行业监管/合规要求，面向政企客户提供安全技术/管理咨询服务（政府、教育、医疗、企业）；3、参与区域市场活动演讲、客户专题培训 ；

4、渠道合作伙伴专职技术人员赋能任职资格。

任职资格:1、本科或以上学历，3年以上信息安全行业售前或售后工作经验；

2、熟悉售前技术支持的过程，具备相关经验与技能；

3、良好的表达能力、服务意识、方案撰写能力。 满足以下一个或多个条件的，优先考虑:了解网络安全法、CII、等保2.0、GDPR、ISO27000等行业合规性要求，具备风险评估服务、安全测评经验者优先；了解SaaS、CARTA、零信任、SOAR、政务云等框架或技术者优先；熟悉主流安全产品(FW/UTM/IPS/IDS/WAF/VPN/SCNNER)功能及原理，具备产品售前测试或交付经验者优先；熟悉TCP/IP协议，具备网络设备调试、网络架构设计、安全域划分经验者优先；对常见网络攻击及防范措施有一定见解，如 Injection、XSS、CSRF、DDOS，具有现场应急处置、漏洞分析、安全加固、日志分析等安全服务经验者优先；对网络攻防、安全大数据、云计算安全、物联网等安全领域感兴趣且有相关见解，有意愿长期在信息安全及网络安全领域发展 ；具备有CISSP、CISP、CISA、ISO27001LA等信息安全相关资质； 国内主流安全厂商/安全服务商工作经历

面对猖狂的ddos？

有的，下面我就给出几个解决方案。

DDoS攻击确实是目前最凶猛、最难防御的网络攻击之一。但采取适当的措施以降低攻击带来的影响、减少损失是可以实现的。

扩充带宽硬抗

网络带宽直接决定了承受攻击的能力，国内大部分网站带宽规模在10M到100M。但DDoS却不同，攻击者通过控制一些服务器、个人电脑等成为肉鸡，如果控制1000台机器，每台带宽为10M，那么攻击者就有了10G的流量。当它们同时向某个网站发动攻击，带宽瞬间就被占满了。增加带宽硬防护是理论最优解，只要带宽大于攻击流量就不怕了，但成本也是难以承受之痛，国内非一线城市机房带宽价格大约为100元/M*月，买10G带宽顶一下就是100万，因此许多人调侃拼带宽就是拼人民币，以至于很少有人愿意花高价买大带宽做防御。

2. 使用硬件防火墙

许多人会考虑使用硬件防火墙，针对DDoS攻击和黑客入侵而设计的专业级防火墙通过对异常流量的清洗过滤，可对抗SYN/ACK攻击、TCP全连接攻击、刷脚本攻击等等流量型DDoS攻击。如果网站饱受流量攻击的困扰，可以考虑将网站放到DDoS硬件防火墙机房。但如果网站流量攻击超出了硬防的防护范围（比如200G的硬防，但攻击流量有300G），洪水瞒过高墙同样抵挡不住。值得注意一下，部分硬件防火墙基于包过滤型防火墙修改为主，只在网络层检查数据包，若是DDoS攻击上升到应用层，防御能力就比较弱了。

3.高防CDN

高防CDN也称做云防御或者云安全，相当部分大攻击目前都是采用这种方式来进行防御，一方面可以通过云进行调度，另一方面操作也非常的简单。目前做云安全的厂商也特别的多，知道创宇（抗D保）、阿里云、腾讯云等等都有对应的服务附上链接方便大家去看。

知道创宇（抗D保）：

https://www.yunaq.com/kangdbao/?from=wk2515

阿里云：https://www.aliyun.com/?from=wk2515

腾讯云：https://cloud.tencent.com/?from=wk2515

高防CDN这种模式普遍价格比较高，因为这种模式就是为了抵御大攻击而存在的，而部分价格低廉的高防CDN则需要我们特别注意了，相当部分小厂家的高防CDN，其实就是高防服务器，并非真正意义上的高防CDN。

对抗DDoS攻击是一个涉及很多层面的问题，抗DDoS需要的不仅仅是一个防御方案，一个设备，更是一个能制动的团队，一个有效的机制。面对攻击大家需要具备安全意识，完善自身的安全防护体系才是正解。

我是网络安全屋，我会将最新的网络安全信息和一些知识与大家分享，欢迎关注！别忘了点个赞哟～

我是刚入行网络安全的学生？

我是泰瑞聊科技，很荣幸来回答此问题，希望我的回答能对你所有帮助！

观点：结合我自身的经验，我给您分享一下我的学习路线、学习的课程以及在工作中的成长路径。

1、给你入门学习路线：在入门学习时，建议由浅到深，而且是先学习基础课程，比如Web开发，框架设计等，然后再逐步学习Web代码规范与审计、Web渗透与审计等课程，最后结合实际案例进行代码层面的审视与演练。

2、给你推荐几门课程：这几门课程是我几年前经常学习的，建议你也仔细阅读和学习。包括《白帽子讲Web安全》、《Web前端黑客技术揭秘》、《企业级Web代码安全架构》、《Web安全深度剖析》、《黑客攻防技术宝典》、《白帽子浏览器安全》、《无线电安全攻防大揭秘》、《硬件安全攻防大揭秘》、《智能硬件安全》、《Android安全攻防权威指南》、《Android软件安全与逆向分析》。

3、给你未来成长路径：Web前端开发、Web前端架构、Web网络安全、Web渗透等。

随着移动互联网、大数据、人工智能、物联网等创新型技术驱动时代的发展，基于Web环境的互联网应用越来越繁多，广泛涉及人们的工作与生活，同时企业信息化建设的过程中各种应用都架设在Web平台上，Web业务的迅速发展也引起黑客们的强烈关注，接踵而至的就是Web安全威胁的凸显，黑客利用网站操作系统的漏洞和Web服务程序的SQL注入漏洞等得到Web服务器的控制权限，轻则篡改网页内容，重则窃取重要内部数据，更为严重的则是在网页中植入恶意代码，使得网站访问者受到侵害。

与此同时，安全问题的主体发生着复杂的变化，大家也越来越感觉到web安全问题带来的灾难，而传统的渗透测试的人员，已无法适应新型技术和应用的环境和要求。故而新时代下的安全问题集中爆发，于是乎，就有了Web安全等这类掌握技术较全面，应用场景见识广的新型渗透安全人员的需求。那对于刚入门Web安全的同学该如何学习和未来就业呢？

对Web服务器的攻击也可以说是形形色色、种类繁多，常见的有挂马、SQL注入、缓冲区溢出、嗅探、利用IIS等针对Webserver漏洞进行攻击。下面以其中三个典型且重要的做一下说明：

SQL注入：即通过把SQL命令插入到Web表单递交或输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的SQL命令，比如先前的很多影视网站泄露VIP会员密码大多就是通过WEB表单递交查询字符暴出的，这类表单特别容易受到SQL注入式攻击。

跨站脚本攻击(也称为XSS)：指利用网站漏洞从用户那里恶意盗取信息。用户在浏览网站、使用即时通讯软件、甚至在阅读电子邮件时，通常会点击其中的链接。攻击者通过在链接中插入恶意代码，就能够盗取用户信息。

网页挂马：把一个木马程序上传到一个网站里面然后用木马生成器生一个网马，再上到空间里面，再加代码使得木马在打开网页里运行。

当然除了这三个典型的，还有很多，在这里就不一一赘述了。

1、基础网络协议/网站架构

不管是C/S架构还是B/S架构都是基于网络通信，需要了解通信流程以及数据包走向等，才能使用相应手段跟工具去做渗透。Web网站常见的协议以及请求方式，这些在做渗透的时候必不可少的。甚至也是可以利用协议来做渗透测试。

2、基础的编程能力

一名Web渗透测试人员必须具有一定的基础编程能力的，如果不会写代码或者看不懂代码，这个是很难做好的。例如需要自己写一款适合此刻情景漏洞的工具，如果不会写会极大降低效率。再者就是关于后续进阶的代码审计问题，如果不会写代码，代码也看不懂那么就不知道怎么从源代码去审计漏洞去发现原因。对于只会利用工具的渗透人员跟会写代码的渗透测试人员来说，在遇到某种情况下，优势一下就能体现出来了。

3.、渗透测试工具

渗透测试工具网上开源的很多，作为渗透测试人员会使用渗透测试工具这是必不可少的。一些优秀的工具要学会利用，还有就是要学会自己写工具。例如在做渗透测试中，好比说大量的数据FUZZ，如果说人工操作将大大浪费时间跟效率。如若网上的工具不符合此漏洞的情景，这时候就需要自己手动写工具去调试。当然网上优秀的工具已不少，优先使用会极大提高我们的效率。

4.、了解网站的搭建构成

试着去了解一个网站的形成架构，语言，中间件容器等。如果不知道一个网站是如何搭建起来的，那么做渗透的时候根本就没有对应的渗透测试方案。例如一个网站采用了某种中间件，或者什么数据库，再或者是采用网上开源的CMS。如果对于这些不了解，那么就只能在网页上徘徊游走，甚至无从下手。了解一个网站的搭建与构成，对于自己前期做踩点与信息收集有着很大的帮助，才能事半功倍。

5、漏洞原理

渗透测试人员肯定是要对漏洞原理去深入探究，这样会从中发现更多有“趣”的东西。所有有“趣”的东西是可能你在原有的基础漏洞上配合其他漏洞，从而达到组合漏洞，这样效果有可能会更佳，如果不去了解漏洞原理，漏洞产生，不去从代码层出发，那就不知道漏洞起因，到后期的渗透利用以及修复方案，就会显得吃力，这时候有可能你就需要去查资料，从某种形式的降低了速度与效率，所以说，知识积累必不可少。

6、报告撰写能力

每次做完都需要撰写渗透测试报告，所以报告撰写能力也是不可或缺的。对于自己漏洞挖掘的梳理，网络结构印象加深，这是后期与客户沟通还有与开发对接提修复建议能起到很大的帮助，这些细小的细节决定着你服务的质量与你的责任感，所以这些都是需要不断的积累与提升的一个过程。

总之，建议你按照我开篇的给你的建议，按照既定路线进行学习、实践以及未来走向相应岗位做出贡献，并不断提升自己，成就梦想。

信息创造价值，学习使人进步。

我是泰瑞聊科技，为您打开科技生活，感谢您阅读与关注！

如何才能成为一名爬虫工程师？

一、爬虫工程师是干嘛的？

1.主要工作内容？

互联网是由一个一个的超链接组成的，从一个网页的链接可以跳到另一个网页，在新的网页里，又有很多链接。理论上讲，从任何一个网页开始，不断点开链接、链接的网页的链接，就可以走遍整个互联网！这个过程是不是像蜘蛛沿着网一样爬？这也是“爬虫”名字的由来。

作为爬虫工程师，就是要写出一些能够沿着网爬的”蜘蛛“程序，保存下来获得的信息。一般来说，需要爬出来的信息都是结构化的，如果不是结构化的，那么也就没什么意义了（百分之八十的数据是非结构化的）。爬虫的规模可达可小，小到可以爬取豆瓣的top 250电影，定时爬取一个星期的天气预报等。大到可以爬取整个互联网的网页（例如google）。下面这些，我认为都可以叫做爬虫：

1.爬知乎的作者和回答

2.爬百度网盘的资源，存到数据库中（当然，只是保存资源的链接和标题），然后制作一个网盘的搜索引擎

3.同上，种子网站的搜索引擎也是这样的

到这里，我们知道爬虫的任务是获取数据。现在比较流行大数据，从互联网方面讲，数据可以分成两种，一种是用户产生的（UGC），第二种就是通过一些手段获得的，通常就是爬虫。爬虫又不仅仅局限于从网页中获得数据，也可以从app抓包等。简而言之，就是聚合数据并让他们结构化。那么，哪些工作需要爬虫呢？

2.爬虫能做什么？

典型的数据聚合类的网站都需要爬虫。比如Google搜索引擎。Google能在几毫秒之内提供给你包含某些关键字的页面，肯定不是实时给你去找网页的，而是提前抓好，保存在他们自己的数据库里（那他们的数据库得多大呀）。所以种子搜索引擎，网盘搜索引擎，Resillio key引擎等都是用爬虫实现抓好数据放在数据库里的。

另外有一些提供信息对比的网站，比如比价类的网站，就是通过爬虫抓取不同购物网站商品的价格，然后将各个购物网站的价格展示在网站上。购物网站的价格时时都在变，但是比价网站抓到的数据不会删除，所以可以提供价格走势，这是购物网站不会提供的信息。

除此之外，个人还可以用爬虫做一些好玩的事情。比如我们想看大量的图片，可以写一个爬虫批量下载下来，不必一个一个点击保存，还要忍受网站的广告了；比如我们想备份自己的资料，例如保存下来我们在豆瓣发布过的所有的广播，可以使用爬虫将自己发布的内容全部抓下来，这样即使一些网站没有提供备份服务，我们也可以自己丰衣足食。

二、爬虫工程师需要掌握哪些技能？

我见过这样的说法：“爬虫是低级、重复性很多的工作，没有发展前途”。这是误解。首先，对于程序员来说基本上不存在重复性的工作，任何重复劳动都可以通过程序自动解决。例如博主之前要抓十几个相似度很高但是html结构不太一样的网站，我就写了一个简单的代码生成器，从爬虫代码到单元测试代码都可以自动生成，只要对应html结构稍微修改一下就行了。所以我认为，重复性的劳动在编程方面来说基本上是不存在的，如果你认为自己做的工作是重复性的，说明你比较勤快，不愿意去偷懒。而我还认为，勤快的程序员不是好程序员。下面我根据自己这段时间的工作经历，讲一讲爬虫需要哪些相关的技能。

1.基本的编码基础（至少一门编程语言）

这个对于任何编程工作来说都是必须的。基础的数据结构你得会吧。数据名字和值得对应（字典），对一些url进行处理（列表）等等。事实上，掌握的越牢固越好，爬虫并不是一个简单的工作，也并不比其他工作对编程语言的要求更高。熟悉你用的编程语言，熟悉相关的框架和库永远是百益无害。

我主要用Python，用Java写爬虫的也有，理论上讲任何语言都可以写爬虫的，不过最好选择一门相关的库多，开发迅速的语言。用C语言写肯定是自找苦吃了。

2.任务队列

当爬虫任务很大的时候，写一个程序跑下来是不合适的：

1.如果中间遇到错误停掉，重头再来？这不科学

2.我怎么知道程序在哪里失败了？任务和任务之间不应该相互影响

3.如果我有两台机器怎么分工？

所以我们需要一种任务队列，它的作用是：讲计划抓取的网页都放到任务队列里面去。然后worker从队列中拿出来一个一个执行，如果一个失败，记录一下，然后执行下一个。这样，worker就可以一个接一个地执行下去。也增加了扩展性，几亿个任务放在队列里也没问题，有需要可以增加worker，就像多一双亏筷子吃饭一样。

常用的任务队列有kafka，beanstalkd，celery等。

3.数据库

这个不用讲了，数据保存肯定要会数据库的。不过有时候一些小数据也可以保存成json或者csv等。我有时想抓一些图片就直接按照文件夹保存文件。

推荐使用NoSQL的数据库，比如mongodb，因为爬虫抓到的数据一般是都字段-值得对应，有些字段有的网站有有的网站没有，mongo在这方面比较灵活，况且爬虫爬到的数据关系非常非常弱，很少会用到表与表的关系。

4.HTTP知识

HTTP知识是必备技能。因为要爬的是网页，所以必须要了解网页啊。

首先html文档的解析方法要懂，比如子节点父节点，属性这些。我们看到的网页是五彩斑斓的，只不过是被浏览器处理了而已，原始的网页是由很多标签组成的。处理最好使用html的解析器，如果自己用正则匹配的话坑会很多。我个人非常喜欢xpath，跨语言，表达比价好，但是也有缺点，正则、逻辑判断有点别扭。

HTTP协议要理解。HTTP协议本身是无状态的，那么“登录”是怎么实现的？这就要求去了解一下session和cookies了。GET方法和POST方法的区别（事实上除了字面意思不一样没有任何区别）。

浏览器要熟练。爬虫的过程其实是模拟人类去浏览器数据的过程。所以浏览器是怎么访问一个网站的，你要学会去观察，怎么观察呢？Developer Tools！Chrome的Developer Tools提供了访问网站的一切信息。从traffic可以看到所有发出去的请求。copy as curl功能可以给你生成和浏览器请求完全一致的curl请求！我写一个爬虫的一般流程是这样的，先用浏览器访问，然后copy as curl看看有哪些header，cookies，然后用代码模拟出来这个请求，最后处理请求的结果保存下来。

5.运维

这个话题要说的有很多，实际工作中运维和开发的时间差不多甚至更多一些。维护已经在工作的爬虫是一个繁重的工作。随着工作时间增加，一般我们都会学着让写出来的爬虫更好维护一些。比如爬虫的日志系统，数据量的统计等。将爬虫工程师和运维分开也不太合理，因为如果一个爬虫不工作了，那原因可能是要抓的网页更新了结构，也有可能出现在系统上，也有可能是当初开发爬虫的时候没发现反扒策略，上线之后出问题了，也可能是对方网站发现了你是爬虫把你封杀了，所以一般来说开发爬虫要兼顾运维。

所以爬虫的运维我可以提供下面几个思路：

首先，从数据增量监控。定向爬虫（指的是只针对一个网站的爬虫）比较容易，一段时间之后对一些网站的数据增量会有一个大体的了解。经常看看这些数据的增加趋势是否是正常就可以了（Grafana）。非定向爬虫的数据增量不是很稳定，一般看机器的网络状况，网站的更新情况等（这方面我的经验不多）。

然后看爬虫执行的成功情况。在上面提到了用任务队列控制爬虫工作，这样解耦可以带来很多好处，其中一个就是可以就是可以对一次爬虫执行进行日志。可以在每次爬虫任务执行的时候，将执行的时间、状态、目标url、异常等放入一个日志系统（比如kibana），然后通过一个可视化的手段可以清晰地看到爬虫的失败率。

爬虫抛出的Exception。几乎所有的项目都会用到错误日志收集（Sentry），这里需要注意的一点是，忽略正常的异常（比如Connection错误，锁冲突等），否则的话你会被这些错误淹没。

三、爬虫与反爬

这同样是很深的一个话题，就像攻击武器与防御武器一样，双方总是在不断升级。常见的反爬措施（我遇到过的）有下面几种：

1.访问频率

很好理解，如果访问太频繁网站可能针对你的ip封锁一段时间，这和防DDoS的原理一样。对于爬虫来说，碰到这样的限制一下任务的频率就可以了，可以尽量让爬虫想人类一样访问网页（比如随机sleep一段时间，如果每隔3s访问一次网站很显然不是正常人的行为）。

2.登录限制

也比较常见。不过公开信息的网站一般不会有这个限制，这样让用户也麻烦了。其实反爬措施都或多或少的影响真实用户，反爬越严格，误杀用户的可能性也越高。对爬虫来说，登录同样可以通过模拟登录的方式解决，加个cookie就行了（话又说回来，网络的原理很重要）。

3.通过Header封杀

一般浏览器访问网站会有header，比如Safari或者Chrome等等，还有操作系统信息。如果使用程序访问并不会有这样的header。破解也很简单，访问的时候加上header就行。

4.JavaScript脚本动态获取网站数据

有一些网站（尤其是单页面网站）的内容并不是通过服务器直接返回的，而是服务器只返回一个客户端JavaScript程序，然后JavaScript获取内容。更高级的是，JavaScript在本地计算一个token，然后拿这个token来进行AJAX获取内容。而本地的JavaScript又是经过代码混淆和加密的，这样我们做爬虫的通过看源代码几乎不可能模拟出来这个请求（主要是token不可能破解），但是我们可以从另一个角度：headless的浏览器，也就是我们直接运行这个客户端程序，这可以100%地模拟真实用户！

5.验证码

这几乎是终极武器了，验证码是专门用来区分人和计算机的手段。对于反爬方来说，这种方式对真实用户和搜索引擎（其实可以通过记录搜索引擎爬虫的ip来区别对待，可以解决）的危害比较大，相信读者都有输入验证码的痛苦经历。但这种方法也并不是无敌的！通过现在很火的机器学习可以轻松的识别大部分的验证码！Google的reCAPTCHA是一种非常高级的验证码，但是听过通过模拟浏览器也是可以破解的。

6.ip限制

网站可能将识别的ip永久封杀，这种方式需要的人力比较大，而且误伤用户的代价也很高。但是破解办法却非常简单。目前代理池几乎是搞爬虫的标配了，甚至还有很多高匿代理等好用的东西。所以这基本上只能杀杀小爬虫。

7.网站内容反爬

有一些网站将网站内容用只有人类可以接收的形式来呈现（其实反爬就是区别对待人类和机器嘛）。比如将内容用图片的形式显示。但是近几年来人类和机器的差别越来越小，图片可以用OCR准确率非常高地去识别。

反爬总结

爬虫和反爬是典型的攻防双方的互相升级。但是我认为，这种升级不像军事，军事是无尽头的，但是爬虫和反爬是有尽头的。

爬虫的尽头就是浏览器，一旦使用浏览器，程序完全可以模拟真实用户发出请求，缺点是就是消耗资源，因为需要新开一个进程，解析DOM，运行客户端JavaScript代码。（chrome的node api在github开源仅仅两天，就拿到8k个star）

反爬的尽头就是像Google这种超级厉害的验证码，毕竟验证码的根本目的就是识别人类和机器的。

我正好有一个反爬做的非常好的例子。Google Arts Project项目是一个汇聚世界名画的艺术长廊，我比较喜欢里面的一些画，所以想下载一些（当然这是不对的），然后发现这个网站反爬做的相当好（因为版权属于收藏作品的博物馆，所以Google Arts Project肯定不会提供下载），要下载几乎是不可能的。我有点不服，开始用各种手段试图下载原图。尝试了一番，发现这个网站block掉了鼠标右键功能、审查元素发现图片并不是一个常规的图片、追踪网络包发现原图竟然不是一次网络请求拿到的，而是分成了好几次请求base64编码的字符流每次请求图片的一部分，然后在客户端组装起来图片！当然在客户端的代码也是经过加密和混淆的！这完全可以作为反爬的教科书了，既没有误伤用户，又让爬虫无法下手。

图片每次只请求部分

四、职业道德

成规模的爬虫一般都会使用集群，一般的小网站服务器规模可能不如爬虫集群的规模大。所以很多时候我们最好对要爬的网站限制一下频率。否则这些爬虫就相当于DoS攻击集群了！一般的网站都会有robots.txt可以参考。

好了，总结来说，写爬虫需要经验积累，需要灵活的思路。比如说我之前就遇到过网站，需要验证码验证拿到一个token，可是通过看网络请求发现这个token长得很像一个时间戳，然后本地自己生成一个时间戳发现也是能用的！于是就这样绕过了验证码。所以多多积累和尝试，可以偷不少懒，嘿嘿。

另外爬虫也不是和我之前想的那样是一个枯燥无味的工作，比如我就发现了不少很垃圾，很搞笑的网站，乐趣也蛮多的。学到的东西也不少。万变不离其宗嘛。