服务器日志分析工具,实时监控的运维工具有没有推荐的?
很多开源的,推荐几个:
Zabbix
官方网站:https://www.zabbix.com/
Zabbix是一个基于WEB界面的提供分布式系统监控以及网络监控功能的企业级开源运维平台,也是目前国内互联网用户中使用最广的监控软件,云智慧遇到的85%以上用户在使用Zabbix做监控解决方案。
入门容易、上手简单、功能强大并且开源免费是云智慧对Zabbix的最直观评价。Zabbix易于管理和配置,能生成比较漂亮的数据图,其自动发 现功能大大减轻日常管理的工作量,丰富的数据采集方式和API接口可以让用户灵活进行数据采集,而分布式系统架构可以支持监控更多的设备。理论上,通过 Zabbix提供的插件式架构,可以满足企业的任何需求。
优点:
1. 支持多平台的企业级分布式开源监控软件
2. 安装部署简单,多种数据采集插件灵活集成
3. 功能强大,可实现复杂多条件告警,
4. 自带画图功能,得到的数据可以绘成图形
5. 提供多种API接口,支持调用脚本
6. 出现问题时可自动远程执行命令(需对agent设置执行权限)
缺点:
1. 项目批量修改不方便
2. 入门容易,能实现基础的监控,但是深层次需求需要非常熟悉Zabbix并进行大量的二次定制开发,难度较大;
3. 系统级别报警设置相对比较多,如果不筛选的话报警邮件会很多;并且自定义的项目报警需要自己设置,过程比较繁琐(但是网上的模板比较,也可以使用模板导入的方法);
4. 缺少数据汇总功能,如无法查看一组服务器平均值,需进行二次开发;
5. 数据报表需要特殊二次开发定义;
Prometheus
Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库(TSDB)。Prometheus使用Go语言开发,是Google BorgMon监控系统的开源版本。2016年由Google发起Linux基金会旗下的原生云基金会(Cloud Native Computing Foundation), 将Prometheus纳入其下第二大开源项目。Prometheus目前在开源社区相当活跃。Prometheus和Heapster(Heapster是K8S的一个子项目,用于获取集群的性能数据。)相比功能更完善、更全面。Prometheus性能也足够支撑上万台规模的集群。
Prometheus的特点
多维度数据模型。灵活的查询语言。不依赖分布式存储,单个服务器节点是自主的。通过基于HTTP的pull方式采集时序数据。可以通过中间网关进行时序列数据推送。通过服务发现或者静态配置来发现目标服务对象。支持多种多样的图表和界面展示,比如Grafana等。Nagios
官方网站:https://www.nagios.org/
Nagios是一款开源的企业级监控系统,能够实现对系统CPU、磁盘、网络等方面参数的基本系统监控,以及 SMTP,POP3,HTTP,NNTP等各种基本的服务类型。另外通过安装插件和编写监控脚本,用户可以实现应用监控,并针对大量的监控主机和多个对象 部署层次化监控架构。
Nagios最大的特点是其强大的管理中心,尽管其功能是监控服务和主机的,但Nagios自身并不包括这部分功能代码,所有的监控、告警功能都是由相关插件完成的。
用户群:适合复杂IT环境的企业
优点:
1. 出错的服务器、应用和设备会自动重启,自动日志滚动
2. 配置灵活,可以自定义shell脚本,通过分布式监控模式
3. 支持以冗余方式进行主机监控,报警设置多样
4. 命令重新加载配置文件无需打扰Nagios的运行
anglia
官方网站:http://ganglia.info/
Ganglia是加州大学伯克利分校发起的一个开源集群监控项目,设计之初是用于监控数以千计的网络节点。Ganglia是一个跨平台可扩展的,高性能计算系统下的分布式监控系统。它已被广泛移植到各种操作系统和处理器架构上。
优点:
1. 出错的服务器、应用和设备会自动重启,自动日志滚动
2. 配置灵活,可以自定义shell脚本,通过分布式监控模式
3. 支持以冗余方式进行主机监控,报警设置多样
4. 命令重新加载配置文件无需打扰Nagios的运行
缺点:
1. 事件控制台功能很弱,插件易用性差
2. 对性能、流量等指标的处理不给力
3. 看不到历史数据,只能看到报警事件,很难追查故障原因
4. 配置复杂,初学者投入的时间、精力和成本比较大
Zenoss
Zenoss Core是Zenoss的开源版本,其商用版本为ZenossEnterprise。作为企业级智能监控软件,Zenoss Core允许IT管理员依靠单一的WEB控制台来监控网络架构的状态和健康度。Zenoss Core的强大能力来自于深入的列表与配置管理数据库,以发现和管理公司IT环境的各类资产。Zenoss同时提供与CMDB关联的事件和错误管理系统, 以协助提高各类事件和提醒的管理效率。
优点:
1. Zenoss比较出色的地方在于它的Dashboard,可以配置很多portlet
2. 每个用户的界面都是分开管理的,自定义dashboard不会影响其他用户
3. 强大监控功能支持服务器、路由交换、防火墙、存储、数据库、中间件监控
4. 采用基于HBASE的opentsdb存储任意时间段的数据
5. 将状态监控,性能监控,资源管理,良好的报告机制进行有机的整合
缺点:
1. 对资源要求较高,即使只管理少数几台设备,也需要消耗大量硬件及内存等附加资源。
2. 针对windows系统,开源版只提供SNMP,通过WMI检测CPU,Disk,软硬件和性能只在收费版提供。
Open-falcon
Open-falcon是小米运维团队从互联网公司的需求出发,根据多年的运维经验,结合SRE、SA、DEVS的使用经验和反馈,开发的一套面向互联网的企业级开源监控产品。
优点:
1. 自动发现,支持falcon-agent、snmp、支持用户主动push、用户自定义插件支持
2. 支持每个周期上亿次的数据采集、告警判定、历史数据存储和查询
3. 高效的portal、支持策略模板、模板继承和覆盖、多种告警方式、支持callback调用
4. 单机支撑200万metric的上报、归档、存储
5. 采用rrdtool的数据归档策略,秒级返回上百个metric一年的历史数据
6. 多维度的数据展示,用户自定义Screen 7. 通过各种插件目前支持Linux、Windows、Mysql、Redis、Memache、RabbitMQ和交换机监控。
缺点:
由于发布时间较短,很多基础的服务监控插件(如Tomcat、apache等)还不支持,很多功能还在不断完善中,另外由于缺少专门的支持,虽然有开放社区,但是解决问题的效率相对较低。
数据分析是属于哪一领域?
这个属于数据分析领域,对数据进行潜在信息的挖掘,挖掘特征,数据清洗。
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,将它们加以汇总和理解并消化,以求最大化地开发数据的功能,发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。
数据分析的数学基础在20世纪早期就已确立,但直到计算机的出现才使得实际操作成为可能,并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。
到达网站的内容页面点击次数是什么?
网站分析(WebAnalytics)是种网站访客行为的研究。于商务应用背景来说,网站分析特别指的是来自某网站搜集来的资料之使用,以决定网站布局是否符合商业目标;例如,哪个登陆页面(landingpage)比较容易刺激顾客购买欲。这些搜集来的资料几乎总是包括网站流量报告,也可能包括电子邮件回应率、直接邮件活动资料、销售与客户资料、使用者效能资料如点击热点地图、或者其他自订需求资讯。这些资料通常与关键绩效指标比较以得效能资讯,并且可用来改善网站或者行销活动里观众的反映情况。
分析方法
从数据分析方法论的角度来看,对于网站流量分析,最合适的方法是通过用户行为分析。网站用户在网站的行为可分为认知、熟悉、试用、使用、 忠诚五个阶段,每一个阶段都对应相应的分析指标。通过对这些分析指标的数据采集和分析,企业能够很直观的了解某个阶段内访客用户行为的变化,从而为最终的KPI 计算提供事实依据。
改善设计
通过了解KPI 的变化,以及具体指标的变化原因,企业可以有针对性的对网站加以改善。例如,联系我们页面电话咨询转化率的下降有可能是网站改版后访客进入联系我们的页面 渠道数量增加了,或者是被其他页面内容干扰增加了进入该页面的复杂度。针对这种情况,应当适当的在相关页面增加联系电话的提示,或者是不影响 网页设计美观的情况下,增加在线即时通讯工具,以提升电话咨询转化率。
大家要是想把自己的网站优化做的很出色,排名很好,那么首先要懂得如何去分析准备进行优化的网站,就算网站做好了,我们还需要把网站根据搜索引擎的喜爱进行调整,要从各个方面下手去找出问题,对症下药,再去解决问题,把问题全部解决了,我们才可以开始优化工作。分析网站有点类似于过去中医就诊时候的“望、闻、问、切”。
望
第一步首先就是要分析网站检查网站的 安全性如何,根据优化网站的类型是做什么行业的,结合网站前台和后台严格测试检查的安全系数,因为如果网站的数据库没有得到有效性的保护,安全系数很低,万一遭到竞争对手的恶意攻击,网站立马就崩溃了,会导致给我们网站接下来后期优化工作带来很多不便,对自己的损失也是可想而知的。
闻
拿到网站后要看看网站上的URL是静态化还是伪静态态化的。如果这些排除都没有的话,那我们就需要找网站开发技术人员对其进行人工调整了。虽然后人说现在的静态URL和动态URL两者没有什么最大优势,但是动态URL是无法同时带动10个到30个参数的,这一点会大大影响到网站服务器的承受能力,当打开一个页面时就会浪费很长时间,降低了用户体验度。轻者会导致服务器缓慢,重者会导致服务器崩溃。动态URL在网站目录下是没有任何文件的,它是根据用户的请求,从数据库中条用返回用户请求的结果。如果当我们的网站流量很大的时候,那我们将使用其静态化了。其实静态URL还是比动态URL有优势的。
问
其实这一个“问”是在问自己。我网站在调试的时候是否存在404页面,robots.txt文件(这是一个很重要的文件),看似很简单的一个文本,虽然它只是一个提醒什么网站页面不存在或者是被删除,页面出错等;但是在用户体验度上起到了很大的作用,同时还可以帮助搜索引擎蜘蛛爬行工作;网站后台的各项功能是否可以正常使用,如:新闻添加,产品添加。并做好 SEO构架设计;有效策划目录层级;对每个页面的URL进行有效设计。
切
这一点其实就是帮助我们分析网站,从站内站外两点出发。一般来说,一个网站有很好的排名,那么必须有很多大量的外链导向我们的网站,我们还可以通过分析外链同时找出目标关键词的优化。这些工作都是以后需要长期努力去做的。随着市场搜索引擎优化行业竞争越来越大,外链工作虽然不是网站优化提高排名的唯一方式,但它是最重要的一项工作,搜索引擎首页没有一个网站部做 外链的,缺他不可。而内链,如果做好的话,可以大大提高用户粘度,降低跳出率,提高搜索引擎的爬行索引效率,从而还可以提高网站的收录和提升排名,提升网站的PR值。日志分析
网站日志分析也被称为网站服务器日志分析,市面上各家网页服务器自发展初随时都会纪录其所有的交易于一个日志档里头。 这种特性不久就被网管意识到可以透过软件读取它,以提供网页流行度的相关资料;从而造成网站日志分析软件的兴起。
90年代早期,网站统计资料仅是简单的 客户端对网站服务器请求 (或者 ) 的记数值。一开始这是挺合理的方法,因为每个网站通常只有单一个 HTML 档案。然而,随着图形进入 HTML标准,以及网站扩增至多重 HTML 档案,这种记数变得没什么帮助。最早真正的商用日志分析器于1994年由 IPRO 发行。
90年代中期,两种计量单位被引入以更准确的估计人类于网站服务器上的活动总数。它们是网页浏览量(Page Views) 以及 访问量(Visits,或者 Session)。一次的网页浏览量定义为客户端对服务器提出某单一网页读取请求,恰好为对某一图形请求的相反;而一次的访问量则定义为来自于某一唯一已识别的客户端对服务器一连串请求直到闲置一段时间──通常为30分钟──为止。网页点阅数与访问量仍旧在报告上十分常见,不过现今它们被当作是过于简单的量度。
90年代末期,随着网络蜘蛛与机器人问世,伴随着大型企业以及互联网服务提供商使用代理服务器与动态指定IP地址,鉴别某网站单一访客变得更困难。对此,日志分析器以指定Cookie作为追踪访问量的对策,并忽略已知的 蜘蛛机器人的读取请求。
网页快取的广泛使用也造成日志分析上的问题。如果某人再度造访某页,第二次的读取请求通常由网页浏览器快取达成,因此网站服务器端不会接受到此请求。这意味着该访问者浏览过该站的“足迹”丢失。快取与否可于设定网站服务器时克服,不过这可能导致降低该网站的效能。
原始日志文件记录了网站服务器上所有请求的详细访问历史,同时使用第三方开源分析软件,如 AWStats、 Webalizer,这些工具可以详细记录搜索引擎蜘蛛在网站上的活动,这种分析是非常有价值的。
网页标记
由于对日志档案分析于快取存在下准确性的关注,以及渴望能实现把网站分析当作是种外包的服务,从而出现了第二种资料收集方法:网页标记法,或称 网虫( Web bug) 。
90年代中期, 网页计数器已经普及──这些计数器以包含在网页中的图像出现,显示多少次该图像被读取过。而图像内容就是显示大约该页被拜访次数的数目。90年代晚期,这种做法延伸至包括一个微小不可见图像,而非可见的。并且透过 JavaScript,图像请求的某些关于网页和访客的讯息被传递到第三方服务器方。这些资料随后被网站分析公司处理并产生详细的统计资料。
网站分析服务也代管指定cookie到使用者的过程。这种方式可以鉴别各个唯一访客初次以及随后的拜访。
随着 Ajax为主解决方案普及,一种利用不可见图像的替代方案实现了从读取页面“回电”服务器的机制。在这个情况下,当某网页被网页浏览器读取,该页某部分Ajax 代码将致电回服务器并递送有关用户端的资讯,随后被送到网站分析公司做汇整。这在某些方面还是有漏洞,因为某些浏览器限定哪种 XmlHttpRequest物件可与服务器联系。
方法比较
网站日志分析与加网页标签的比较网站日志分析与加网页标签两者都已经很成熟可供有意公司进行网站分析。在许多情况下,同一家网站分析公司甚至同时提供这两种方法,那问题便回到公司该选用哪种方法。其实两种方法各有优缺:
网站日志分析较加网页标记法为优的主要有下列几点:
网页服务器一般已经产生日志档案,故原始资料已经存在。而透过网页标记法搜集资料网站得做些改变。 网页服务器依靠每次网页需求与回应的处理发生。网页标记法依靠访客网页浏览器帮助,而占某些比例的浏览器可能达不到(浏览器禁用 JavaScript 便是一例)。搜集来的资料位于公司自己的服务器,而且它是标准格式而不是某种私有格式。这使得该公司日后要更换其他分析软件,或者与其他程式整合,以便分析过去历史资料变得容易。网页标记法可能遭服务商封锁。网站日志档亦包括来自搜寻引擎蜘蛛的访问资讯。虽然无法被归为客户行为的一部分,这些资料对搜寻引擎最佳化来说很重要。 网站日志亦包括请求失败的资讯,网页标记法只纪录该网页成功被读取时的事件。
加网页标签较网站日志分析为优的主要有下列几点:
每当网页加载时 JavaScript 会自动执行。因此对快取顾虑较少。加入额外资讯到 JavsScript 比较容易。这些稍后可以被远端服务器搜集。举例来说,访客的屏幕大小,或者购买的商品单价。而网站日志分析,网站服务器无法正常的搜集到的资讯只可透过改变网址来搜集到。网页标记法可回报对网站服务器不发生请求的事件,例如与 Flash影片片段间的互动。网页标记法管理了指定cookie给访客的过程,至于网站日志分析,服务器得特别设定才能达成。网页标记法能帮助没有自己网站服务器的某些中小公司。
2008如何查看Windows日志?
查看windows server2008服务器的重启日志记录步骤如下:
1、点击菜单栏左下角“开始”按钮,在右侧的菜单栏中点击“管理工具”选项。
2、在弹出的右侧菜单栏中点击“事件查看器”选项。
3、弹出的“事件查看器”界面右侧,左侧有“Windows日志”选项,单击左侧“+”。
4、在展开的列表中选中“系统”这一选项可以看到系统产生的日志记录。
5、为了方便直接查找重启的日志,在右侧的菜单栏中点击“筛选当前日志…”。
6、在弹出的窗口中选择“筛选器”选项卡,并在“任务类别”这一选项框上方的框中输入“1074”的事件ID,接着点击下方的“确定”即可看到系统所有的重启日志记录。(注:“1074”为系统重启的事件ID)
7、若要查看详细信息,双击该条目即可。
以上为查看windows server2008服务器的重启日志记录步骤。
网站日志怎么查看?
1.登录虚拟主机自助管理平台,输入产品服务码和服务码口令,登陆。
2.进入自助管理平台,点击下载日志按钮,然后点击开始下载。
3.可以登录FTP工具,在根目录下找到"wwwlogs"文件,下载所需的压缩文件。(1)执行“开始下载”后,LOG文件夹内的日志文件会更新为的访问日志记录,如果您需保留全部日志记录,可将每次下载的日志文件保存到本地。(2)LOG文件夹为系统默认的日志文件夹,请勿放置其他文件。(3)日志文件数量较多时会耗费较长时间,请耐心等待。
4.网上有很多网站日志分析软件,以"光年seo日志分析系统"这款软件为例子,点击"新建分析任务"。
5.在"任务导向"中,按照实际要求改任务名以及日志类别。一般情况下可以不用修改。点击系下一步,6.接着上一步,在"任务导向"中添加所需要分析的网站日志(也是本经验第三步下载的文件),添加文件可以是一个或者多个。点击系下一步,7.接着上一步,在"任务导向"中选择报告保存目录。点击系下一步,8.完成之后,软件会生成一件文件夹,包含一个"报告"网页以及"files"文件,点击"报告"网页可以查看网站日志数据了。