爬虫代理池，零基础学习java？
零基础，学习几个月能掌握，这需要看你怎么学？
自学？可能很考验的意志力，并且需要的时间会比较长！如果你的意志力和学习能力都不错，那自学肯定没有问题！
培训？培训时间一般为半年左右，非常的辛苦，你要做好一天都在上课的准备，就和高中上学一样，有晚自习，想要学好的同学有的需要学到十二点！曾经有在黑马程序员的学员给我说，他每天晚上学到十二点，但是他的付出有回报，最后拿到了oppo的offer！
因此，不管你怎么学，能不能掌握，结果都是靠自己的！我能分享给你的就是一些学习技巧，学习线路图！
java学习线路图
这个学习线路图我分为了几个阶段，每个阶段能学到什么，能做什么，具体知识点请往下看，每个阶段知识点我都整理出来了，更适合学习！
java语言入门
可掌握的核心能力：
掌握Java开发环境基本配置；
掌握运算符、表达式、流程控制语句、数组等的使用；
熟练使用Idea开发工具；
掌握Java基本面向对象知识；
掌握常用类String、ArrayList等的使用。
配套视频：
毕向东Java基础教程（适合初学者入门的Java基础视频）
java语言进阶
可掌握的核心能力：
深入理解Java面向对象相关知识点；
掌握开发中常用类如集合、IO流、时间日期等操作；
掌握Java异常处理机制，熟悉Java多线程开发；
掌握网络基础知识，了解Socket原理，TCP、UDP协议；
掌握java基本语法完成单机程序的编写；
熟悉Java新特性，如Lambda、Stream流等操作
配套视频：
Java快速入门教程（Java基础班全套教程）
Javaweb
可掌握的核心能力:
掌握Java JDBC、连接池操作，熟练操作mysql数据库；
熟悉web开发中常用知识如 HTML5、CSS3、JavaScript、BootStrap、jQuery等；
掌握JavaWeb开发核心技术 Servlet、Listener、Filter等；
熟悉Linux服务器，并安装开发常用软件tomcat、mysql、nginx等；
掌握同步及异步操作的JavaWeb开发，具备B/S结构软件开发能力，完成基本的JavaWeb项目；
熟悉基本的项目管理工具Maven的使用。
配套视频：
JavaWeb教程_JavaWeb入门教程
项目一
可掌握的核心能力：
掌握企业中最常用SSM框架开发，开发出结构清晰、可复用性好、维护方便的企业级应用程序；
掌握AngularJS框架；
掌握Spring security框架；
掌握dubbox分布式调用技术；
掌握zookeeper分布式应用协调服务；
掌握Freemarker模板引擎；
掌握全文检索解决方案；
掌握spring boot1.x框架的基本应用；
掌握CAS实现单点登录；
掌握CORS实现跨域；
掌握微信扫码支付；
掌握电商秒杀解决方案；
掌握SpringTask实现任务调度；
掌握MavenProfilel实现开发与生产环境切换；
了解电商开发中相关业务模块如商品、订单基本操作；
了解电商开发中相关术语SPU和SKU等；
积累互联网电商项目开发经验。
配套视频：
Java教程|Springmvc由浅入深教程
Java教程|Mybatis由浅入深教程
Maven教程_Maven视频教程
项目二
可掌握的核心能力：
熟悉基本的Java爬虫开发，掌握webmagic爬虫框架使用；
掌握httpClient的使用；
掌握spring data jpa框架；
掌握Spring boot2.x框架；
掌握Spring Cloud框架；
掌握MongoDB数据库使用；
掌握RabbitMQ消息中间件使用；
掌握Elasticsearch分布式搜索引擎；
掌握Rancher实现容器部署管理；
掌握Grafana实现服务的实时监控；
熟悉NodeJs环境，使用Npm和cnpm管理包资源；
熟悉ESlint进行前端语法校验；
熟悉axios的使用；
掌握vuejs框架的基本使用；
掌握瀑布流组件使用；
掌握前端页面分享功能的实现；
掌握企业级DevOps解决方案，熟悉Docker、Jenkins、git等；
了解spark mllib als 机器学习算法库实现智能分类；
了解DL4J深度学习框架实现智能推荐。
配套视频
2018年Vue.js深入浅出教程
深度掌握Springboot实践技术教程
微服务初级课程
配套视频
SpringBoot教程_SpringBoot视频教程
微服务高级课程
可掌握的核心能力：
ServiceComb改造十次方项目；
了解Kubernetes作用及为什么使用Kubernetes；
会使用K8S API完成基本操作；
理解微服务引擎CSE的功能；
能够实现ServiceComb项目接入CSE；
能够实现学成在线项目接入CSE；
理解云容器引擎CCE的功能；
能够使用容器镜像服务上传镜像；
能够将学成在线微服务部署到CCE；
能够测试微服务治理常用策略；
能够理解Mesher的作用；
能够完成学成在线使用Mesher接入CSE。
视频未更新，更新后上传
框架架构高级
可掌握的核心能力：
能够理解ORM框架；
使用Socket进行系统之间通信；
掌握在Java中开启多线程的三种方式；
掌握使用Netty实现通信；
掌握Netty常用的传输方式及ByteBuff的使用方法；
理解及时通信框架的架构；
掌握Protobuf数据格式及在Java中应用Protobuf；
掌握使用Netty实现服务端、客户端；
理解虚拟机client与Server的运行模式；
学习垃圾回收的算法；
掌握jps、jstat、jinfo、jstack、hprof等命令的使用；
掌握图形化监控工具JConsole工具的使用；
掌握Mission Control虚拟机诊断工具的使用；
掌握压力测试工具JMeter的使用；
掌握调整参数测试Tomcat的性能；
掌握“双亲模式”的原理以及解决方案。
好客租房项目
可掌握的核心能力：
能够实现房源信息更新的通知；
实现用户信息、房东、审核等功能；
能够实现API文档与模拟数据接口开发；
能够实现收藏、分享、举报、联系房东、预约看房、在线签约功能；
掌握微信小程序开发；
实现日志数据的清理以及推荐。
大数据转型Hadoop3
大数据hadoop教程入门
目前有几个阶段还未有视频更新，有视频了我会继续上传哦！如果有特别想要我放出的视频，也可以留言哒！后台回复：“微服务”有视频哦！
网络爬虫软件都有哪些比较知名的？
排名前20的网络爬虫工具，Mark!
网络爬虫在许多领域都有广泛的应用，它的目标是从网站获取新的数据，并加以存储以方便访问。 网络爬虫工具越来越为人们所熟知，因为它能简化并自动化整个爬虫过程，使每个人都可以轻松访问网络数据资源。1. OctoparseOctoparse是一个免费且功能强大的网站爬虫工具，用于从网站上提取需要的各种类型的数据。它有两种学习模式 - 向导模式和高级模式，所以非程序员也可以使用。可以下载几乎所有的网站内容，并保存为EXCEL，TXT，HTML或数据库等结构化格式。具有Scheduled Cloud Extraction功能，可以获取网站的最新信息。提供IP代理服务器，所以不用担心被侵略性网站检测到。
总之，Octoparse应该能够满足用户最基本或高端的抓取需求，而无需任何编码技能。
2. Cyotek WebCopyWebCopy是一款免费的网站爬虫工具，允许将部分或完整网站内容本地复制到硬盘以供离线阅读。它会在将网站内容下载到硬盘之前扫描指定的网站，并自动重新映射网站中图像和其他网页资源的链接，以匹配其本地路径。还有其他功能，例如下载包含在副本中的URL，但不能对其进行爬虫。还可以配置域名，用户代理字符串，默认文档等。
但是，WebCopy不包含虚拟DOM或JavaScript解析。
3. HTTrack作为网站爬虫免费软件，HTTrack提供的功能非常适合从互联网下载整个网站到你的PC。 它提供了适用于Windows，Linux，Sun Solaris和其他Unix系统的版本。 它可以镜像一个或多个站点（共享链接）。在“设置选项”下下载网页时决定要同时打开的连接数。 可以从整个目录中获取照片，文件，HTML代码，更新当前镜像的网站并恢复中断的下载。
另外，HTTTrack提供代理支持以最大限度地提高速度，并提供可选的身份验证。
4. GetleftGetleft是一款免费且易于使用的网站抓取工具。 启动Getleft后输入URL并选择应下载的文件，然后开始下载网站此外，它提供多语言支持，目前Getleft支持14种语言。但是，它只提供有限的Ftp支持，它可以下载文件但不递归。
总体而言，Getleft应该满足用户的基本爬虫需求而不需要更复杂的技能。
5. ScraperScraper是一款Chrome扩展工具，数据提取功能有限，但对于在线研究和导出数据到Google Spreadsheets非常有用。适用于初学者和专家，可以轻松地将数据复制到剪贴板或使用OAuth存储到电子表格。不提供全包式抓取服务，但对于新手也算友好。
6. OutWit HubOutWit Hub是一款Firefox插件，具有数十种数据提取功能，可简化网页搜索。浏览页面后会以适合的格式存储提取的信息。还能创建自动代理来提取数据并根据设置对其进行格式化。
它是最简单的网络爬虫工具之一，可以自由使用，提供方便的提取网页数据而无需编写代码。
7. ParseHubParsehub是一款出色的爬虫工具，支持使用AJAX技术，JavaScript，cookies等获取网页数据。它的机器学习技术可以读取、分析网页文档然后转换为相关数据。Parsehub的桌面应用程序支持Windows，Mac OS X和Linux等系统，或者你可以使用浏览器内置的Web应用程序。
8.Visual ScraperVisualScraper是另一个伟大的免费和非编码爬虫工具，只需简单的点击界面就可从网络上收集数据。 可以从多个网页获取实时数据，并将提取的数据导出为CSV，XML，JSON或SQL文件。 除了SaaS之外，VisualScraper还提供网络抓取服务，如数据传输服务和创建软件提取服务。
Visual Scraper使用户能够在特定时间运行他们的项目，还可以用它来获取新闻。
9. ScrapinghubScrapinghub是一款基于云计算的数据提取工具，可帮助数千名开发人员获取有价值的数据。 它的开源可视化抓取工具允许用户在没有任何编程知识的情况下抓取网站。
Scrapinghub使用Crawlera，这是一种智能代理旋转器，支持绕过bot机制，轻松地抓取大量受bot保护的网站。 它使用户能够通过简单的HTTP API从多个IP和位置进行爬网，而无需进行代理管理。
10. Dexi.io作为基于浏览器的爬虫工具，http://Dexi.io允许用户从任何网站抓取数据，并提供三种类型的机器人来创建抓取任务 - 提取器，爬行器和管道。 该免费软件提供匿名Web代理服务器，所提取的数据会在存档之前的两周内储存在http://Dexi.io的服务器上，或者直接将提取的数据导出为JSON或CSV文件。它提供付费服务以满足实时获取数据的需求。
11. Webhose.iohttp://Webhose.io使用户能够将来自世界各地的线上来源的实时数据转换为各种干净的格式。你可以使用覆盖各种来源的多个过滤器来抓取数据，并进一步提取不同语言的关键字。
抓取的数据可以保存为XML，JSON和RSS格式，还能从其存档访问历史数据。 此外，http://webhose.io支持最多80种语言及其爬行数据结果。用户可以轻松索引和搜索http://Webhose.io抓取的结构化数据。
12.Import. io用户只需从特定网页导入数据并将数据导出到CSV即可形成自己的数据集。
你可以在几分钟内轻松抓取数千个网页，而无需编写任何代码，并根据您的要求构建1000多个API。 公共API提供了强大而灵活的功能来以编程方式控制http://Import.io并获得对数据的自动访问，http://Import.io通过将Web数据集成到你自己的应用程序或网站中，只需点击几下就可以轻松实现爬虫。
为了更好地满足用户的抓取需求，它还为Windows，Mac OS X和Linux提供免费的应用程序，以构建数据提取器和抓取工具，下载数据并与在线帐户同步。另外，用户可以每周/每天/每小时安排爬虫任务。
13.80legs80legs是一款功能强大的网页抓取工具，可以根据客户要求进行配置。80legs提供高性能的Web爬虫，可以快速工作并在几秒钟内获取所需的数据。
14. Spinn3rSpinn3r允许你从博客、新闻和社交媒体网站以及RSS和ATOM中获取所有数据。Spinn3r发布了防火墙API，管理95％的索引工作。它提供了先进的垃圾邮件防护功能，可消除垃圾邮件和不适当的语言，从而提高数据安全性。
Spinn3r索引类似于Google的内容，并将提取的数据保存在JSON文件中。
15. Content GrabberContent Graber是一款针对企业的爬虫软件。它可以让你创建一个独立的网页爬虫代理。
它更适合具有高级编程技能的人，因为它为有需要的人提供了许多强大的脚本编辑和调试界面。允许用户使用C＃或http://VB.NET调试或编写脚本来编程控制爬网过程。 例如，Content Grabber可以与Visual Studio 2013集成，以便根据用户的特定需求提供功能最强大的脚本编辑、调试和单元测试。
16. Helium ScraperHelium Scraper是一款可视化网络数据爬行软件，当元素之间的关联很小时效果会更好。它非编码、非配置。用户可以根据各种爬行需求访问在线模板。
它基本上可以满足用户在初级阶段的爬行需求。
17. UiPathUiPath是一个免费自动化爬虫软件。它可以自动将Web和桌面数据从第三方应用程序中抓取出来。Uipath能够跨多个网页提取表格数据。
Uipath提供了用于进一步爬取的内置工具。 处理复杂的UI时，此方法非常有效。Screen Scraping Tool 可以处理单独的文本元素、文本组和文本块。
18. Scrape. itScrape.it是一个基于云的Web数据提取工具。它专为具有高级编程技能的人设计，因为它提供了公共和私有包，以便与全球数百万开发人员一起发现、使用、更新和共享代码。其强大的集成可以帮助用户根据自己的需求构建自定义爬虫。
19. WebHarvyWebHarvy是为非程序员设计的。它可以自动从网站上爬取文本、图像、URL和电子邮件，并以各种格式保存爬取的内容。它还提供了内置的调度程序和代理支持，可以匿名爬取并防止被Web服务器阻止，可以选择通过代理服务器或VPN访问目标网站。
WebHarvy Web Scraper的当前版本允许用户将抓取的数据导出为XML，CSV，JSON或TSV文件，也可以导出到SQL数据库。
20. ConnotateConnotate是一款自动化Web爬虫软件，专为企业级Web爬虫设计，需要企业级解决方案。业务用户可以在几分钟内轻松创建提取代理而无需任何编程。
它能够自动提取超过95％的网站，包括基于JavaScript的动态网站技术，如Ajax。
另外，Connotate还提供整合网页和数据库内容的功能，包括来自SQL数据库和MongoDB数据库提取的内容。
作为工作两年的PHPer？
选哪个语言合适，我觉得这个问题应该从你的工作情况出发：
什么语言工作机会最多目前，软件公司招聘的开发岗位，最多的就是Java工程师，不管是服务端开发还是移动端安卓开发，都是要求掌握Java语言，最近比较火爆的大数据开发工程师也是很多要求掌握Java语言，毕竟大数据平台的基础构件：Hadoop、HBbase等都是Java开发的。
什么语言对应的岗位薪酬最高Java语言可能不是最高的，但是绝对是最稳定的，以下数据来自看准网：
语言排名对比最新一期，TIOBE语言排行榜：
从上图可知，Java继续排名第一，Go排名第15，Python排名第3。
Java自从2001排名第一以来，已经持续10多年排名第1，位置近期内仍然不可撼动。
Python上升趋势明显，排名8.5%达到历史新高，如果保持这一增速，有可能在3,4年后取代Java或C语言的地位。
Go语言同比上升3位，仍然不温不火。
结论从现实出发，建议你选择更为稳定的Java语言作为PHP的替代者。
专业从事软件研发工作多年，在软件设计、开发、测试、研发管理等领域里经验丰富，感兴趣的朋友可以关注我的头条号，相信一定会有所收获。如果有软件研发方面的问题，可以咨询我。谢谢！但是如何入门Python并精通？
如果一点基础没有，那么肯定要先牢牢打好Python的基础。
1. int、string、float等各种基本类型处理，尤其是字符串的处理；
2. 元组列表字典等各种集合处理；
3. 类的定义和使用，继承和重载，尤其类函数静态函数成员函数的区别；
4. 匿名函数，线程，进程，多线程多进程，同步异步等等都需要掌握；
5. 熟悉各种常见的第三方的模块；
第三方模块多是Python最大的特点（小心不要踩版本的坑）。
接下来就是根据你的方向有选择去学习。
建议有一定基础后，直接撸爬虫，不仅能锻炼python知识，还能收获：
1. http协议的知识，比如http头和http状态码；
2. html、css、JavaScript前端知识；
3. 字符编码的知识；
4. 正则表达式、lxml、BeautifulSoup等提取数据的知识；
5. 多线程的知识；
6. 数据处理的知识，如文件读写，sql数据库和nosql数据库的知识；
7. 验证码、代理服务器等反爬虫知识；
8. scrapy等爬虫框架的知识；
9. bloomfilter去重算法、内存优化、数据库优化的知识；
10. phantomJS模拟浏览器的知识；
11. 调试、捕捉、修正错误的经验；
安利，请看近7000人收藏的《python资料汇总（建议收藏）》
安利，请看我的网络爬虫系列文章。干货多多
如果对您有帮助请点赞。谢谢支持。
