私有云平台有哪些,Hadoop还是选择OpenStack?
首先建议题主描述清楚应用场景,否则别人做的方案可能都不符合需求。
就Hadoop和OpenStack的纠结而言,支撑数据分析用前者,做资源管理用后者。
=================补充=============
题主的需求,实质是搭建一个IoT实时大数据平台,而不是一般意义的私有云。IoTa大数据平台除了数据采集和结果反馈,其余部分和一般的大数据平台相差不多。OpenStack长于管理VM资源管理,Hadoop长于批处理,不擅长实时处理,所以需要寻找一种更加完善的解决方案。这里推荐考虑Storm或者Apache Flink。
OpenStack是一个开源的IaaS实现,由Nova、Cinder、Neutron、Swift、Glance等一系列相互关联的子项目组成,可以理解为云计算领域的Linux。OpenStack架构松耦合,高可扩展,能适应不同企业的需求,已经成为IaaS私有云事实标准。国内外各大厂都在OpenStack上有很大的投入。当然项目成长的同时,也受到大厂博弈的一些影响,但项目本身就是大家求同存异的结果,我们相信OpenStack会在竞合中有更美好的未来。
大数据平台可以完全不鸟OpenStack,分布式文件系统有HDFS,资源调度和管理YARN就行。YARN都已经支持Docker,希望细粒度调度模式可以考虑Mesos,Mesos提供良好的API,支持很多成熟的框架,不过Mesos不在Hadoop生态中,这是一个缺憾。Apache Hadoop能够以低成本进行海量数据的多维统计分析,还是很有优势。
核心流式计算部分,有Storm、Spark、Flink可以选择。
Storm编程模型简单,毫秒级延迟,容错性、扩展性和可靠性都比较好,在国内有很多团队采用。不过Storm只是流计算框架,且不能直接利用YARN。
Apache Spark是和Hadoop一样流行的开源大数据框架,社区活跃,在流计算、图处理、机器学习方面都投入很大,支持对SQL的优化,很适合多种大数据平台的需求,不过Spark Streaming本质还是批处理,把数据流分解成一系列小的RDD,通过时间窗来控制数据块的大小,有测试说只能支持秒级计算。
Apache Flink是可扩展的批处理和流式数据处理的数据处理平台,能够基于同一个Flink运行时提供支持流处理和批处理两种类型应用的功能。不同于Spark,Flink把批处理当初特殊的流处理,并且支持增量迭代,这是非常赞的设计,可以快速地处理数据密集型和迭代任务,性能很有保证。不过目前Flink用户群和社区还没有Spark那么强大。但Flink的未来很值得期待,可能需要时间的沉淀。
Spark和Flink的对比,Apache Flink现在在大数据处理方面能够和Apache Spark分庭抗礼么这个问题的最佳答案质量很棒,转载自知乎,翻译的这篇文章:Introduction to Apache Flink for Spark Developers : Flink vs Spark
最后,上一张网易猛犸大数据平台架构图,供参考。
AC68U设置网盘步骤解析?
现在很多的网盘都阵亡了,让很多的用户没有自己的一个存储空间了,那么想要有着自己的一个私有的网盘的用户,应该要怎样才能够设置出属于自己的一个私有的网盘呢,在这里就来教导大家一个方法,能够利用自己的路由器来设置好自己的私有化的网盘,我们一起来看一下具体要怎样利用路由器来设置好自己的网盘吧。
网盘是这样炼成的
这款路由器配备了USB3.0接口,建议接驳同样是USB3.0的闪存盘或移动硬盘作为“网盘”的存储空间。如果使用的是USB2.0存储设备,在远程上传/下载文件时的速度会影响到体验。
插入USB存储设备后,我们需要在PC的浏览器输入192.168.1.1进入路由器后台设置界面,将登录账号和密码从默认的admin修改为更为复杂的字符,以后我们远程访问“路由器网盘”时需要这组账号密码才能登录,将其修改是防止被其他人恶意登录。
接下来,我们需要进入“Aiclud 2.0”设置界面,打开其中的“云端硬盘”和“智能访问”两项功能(图1)。
接下来,进入“USB相关应用”界面,点击“AiDisk”图标(图2),
根据向导提示设定需要账号密码才能访问的共享方式(图3),
开启DDNS服务并设定一个简化的访问地址。比如笔者就将DDNS服务的访问地址修改为了“cfan.asuscomm.com”(图4),
点击下一步按钮即可完成设置。此时,基于自家路由器的“云盘”就以准备就绪。
图1
图2
图3
图4
此时,当我们身处网吧或公司宿舍时,需要从家中路由器身上的USB存储设备中调取文件,或是想往里面备份文件时,无论是PC端还是手机端都能轻松实现。
如果使用的是PC,只需在浏览器中输入“http://cfan.asuscomm.com”(之前设置的DDNS服务访问地址)就会弹出Aiclud的登录界面,输入路由器账号密码后就能进入一个WEB页面,可以看到挂载到路由器上的USB存储设备(图5),并根据需要选择下载或上传功能(图6)。
图5
图6
如果使用的是手机,只需登录路由器官网下载AicloudAPP,运行后进入“装置”界面,点击右上角的更多图标选择“手动添加”(图7),
根据界面提升输入服务器地址、端口(默认即可)、路由器昵称和账号密码(图8),
然后点击启动按钮就能通过移动数据访问到远在家里的“网盘”,并从中读取或上传文件(图9)。
图7
图8
图9
以上设置的难点在于顺利开启DDNS服务,如果使用手机APP时没有出现上传选项,可以尝试在路由器网盘中新建一个文件夹,进入该文件夹后就能出现上传按钮了。
局域网共享更方便
上面的操作适合广域网环境。如果我们身处家里,每次想访问路由器网盘中的内容都需重登录就显得太过麻烦了。此时,路由器高级设置中与局域网相关的功能就派上用场了。
在PC端输入192.168.1.1进入路由器后台设置界面,进入“USB相关应用”界面,点击“服务器中心”图标,切换到“网络贡献/云端硬盘”选项卡并打开“启动网上邻居共享”和“允许访客接入”功能(图10)。
图10
接下来,进入Windows系统的“计算机”或“此电脑”界面,右键鼠标选择“添加一个网络位置”,输入路由器网盘对应的网络位置名称即可(图11)。今后,在资源管理中只需点击网络位置对应的图标就能直接进入网盘,可以直接播放里面的影音文件(图12),非常方便。
图11
图12
小提示
如今的智能路由器,和大多数中高端传统路由器都有类似的云存储功能,具体的设置方面大家可以根据品牌型号在网上搜索详细教程。
怎样DIY私有云?
DIY私有云,分场景来说,不同的使用场景、预算的高低都直接影响选择结果。
个人家庭影音图片分享如果有预算,推荐几千块买一台群晖,非常方便,即插即用。当然其他NAS品牌也可以,只是个人觉得群晖系统相对比较优秀。
如果没有预算,有非常多的私有云开源软件,owncloud,nextcloud……
企业私有云存储、共享搭建私有云企业网盘,私有云企业网盘市场价差异还是蛮大的,通常根据使用人数、功能需求以及部署方案来定价。也有不少的私有云企业网盘开放免费版,例如云盒子。这样就算是DIY了。
整合企业IT资源,业务全在私有云上运作这点难以DIY了,需要专业的私有云服务商,在企业内部搭建底层私有云,支撑其他业务系统在“云”上运作。
边缘云和私有云区别?
公有云和私有云的区别是:
区别划分:从云的建设地点划分;从云服务的协议开发程度划分;从服务对象划分。
区别就是1、公有云是互联网上发布的云计算服务,私有云是企业内部发布的云服务。
2、公有云搭建云的资源在提供商的场所内,私有云搭建云平台所需的资源由企业自给。
中国电信云属于公有云还是私有云?
电信云服务可以有两个大类型,根据业主需求提供公有云服务或者私有云服务。