-
Apache ServiceComb带您对话Apache大咖PMC沉睡了怎么办?首次发版项目不一定能够跑起来,甚至不一定能成功编译,一定要先把合规性问题解决!有人给项目提交Patch,我们从来不说“No“!我曾工作过的Cloudera,利用开源赚钱,至少赚到了买下Hortonworks公司的钱。。。开源微服务项目ServiceComb带您对话Apache大咖,领略Apache专家风采。2018年10月13日下午,开源微服务项目ServiceComb的团队邀请Apache基金会三位专家:Apache孵化器主席Justin Mclean,Apache董事会董事Roman Shaposhnik, Apache秘书长Craig Russell,与国内Apache项目开发者相聚于上海。针对开发者所关心的Apache精英管理模式、从孵化器毕业成为顶级项目以及开源软件的商业化等主题进行了深入的交流。本文对活动当日的交流进行了纪实和总结。(现场为英文分享,本文对其进行翻译整理和校正归纳)开场介绍[姜宁]今天咱们聚集了国内大部分的Apache相关项目的committer,这些项目包括Beam、ServiceComb、Dubbo、Gearpump、Griffin、Kerlin、Skywalking和Weex。这些Apache项目大部分都还在孵化器中孵化,同时还有一些准备进入Apache孵化的项目。我在2006年9月作为Apache CXF 项目 初始 committer与Apache软件基金会结缘,2011年1月正式成为 Apache基金会成员。我作为基金会项目导师(Mentor)参与了多个来自中国的Apache孵化器项目。2017年,我作为项目负责人推动ServiceComb进入Apache 孵化器进行孵化,现在 ServiceComb已经很快就要从Apache孵化器毕业了。虽然参与了许多Apache开源项目,坦白地说我对Apache的项目孵化流程并未有系统化全面的理解。直到ServiceComb这个项目,我经历了寻找Mentor,捐赠协议签署,迁移项目,孵化器发版,以及毕业准备这些流程之后,才对Apache孵化器孵化流程有了更加深刻的认识。就在刚刚的交流中,我发现大家最关心的问题就是如何从Apache孵化器毕业。 我们今天邀请到远道而来的Apache Member,Roman,Justin,Craig,和国内Apache项目开发者一起分享他们有关Apache孵化器孵化经验,以及开源相关的感悟。 如何从Apache软件基金会孵化器毕业成为顶级项目[Justin]从Apache孵化器毕业,首要为孵化项目构建一个社区,项目毕业意味着很多事情,比如要保持开发者的多样性,项目贡献者不能仅仅来自一个公司。此外,还应该尝试小版本发布(make micro releases)。[Roman]发布版本时,除了项目本身,还有许多合规性工作(mechanical stuff)要做,例如开源协议,发版签名,发版投票等等。项目进入孵化器后,要尽快尝试发布第一个版本。许多孵化项目(podling)都想在发布版本时中搞定这样或那样的功能,我总是跟他们说,没关系,项目不一定能够跑起来,甚至不一定能成功编译,一定要先把合规性问题解决,然后再专注于功能开发。[Justin]没错,要尽早发版、多做发版。[姜宁]发布版本尽管痛苦,但是要尽早去做。ServiceComb在发布第一个版本时,团队也非常痛苦,但是经历过这个阶段,后面会变得越来越顺利。总结:孵化器毕业要点解读• 构建社区ASF一直坚信好的软件是由强大的社区构建出来的。诚然,代码是一个软件社区的重中之重,但Apache之道”Community over code”同样强调社区的重要性。它意味着我们的行事方式,如何看待彼此,如何进行决策,甚至如何编写代码。健康、互相尊重的社区非常重要,这不仅让社区的开发者有被尊重的感觉,也会带来切实的好处。一个健康、多样、包容的社区,可以促进项目不断成长,可持续发展。甚至,有助于用开源技术提供服务的公司获得商业上的成功。• 保持贡献者多样性ASF非常强调多样性原则。 大部分开源软件项目都是创新型项目,多样性保证了开源项目的持续创新, 也保证了社区的健康发展。 开源项目鼓励所有个体或公司参与, 让他们感觉能对项目有所掌控,或者会对项目产生一定影响。这样可以保证意见的多样性、用户的多样性、系统的的多样性。Apache项目通常是要求有三个以上不同公司的人参与开发,以保证项目不会因为其中某个公司的退出而终止。• 尽早、尽量多的进行版本发布 对于构建持续增长的社区,有何建议?[郑士汉,Weex]:社区建设、多样性对于毕业非常重要,您能给出一些相关建议吗?[Justin]要让大家觉得自己是受欢迎的。当有人在邮件列表中提问时,我通常会分配PMC成员关注问题,并咨询提问者是否还需要其他帮助,或者有其他问题,我把这个作为日常工作。这样也有利于开发者从用户变成提交者甚至PMC成员。良好的文档可以让大家更容易使用你的项目。而文档的缺失则可能造成用户的流失,人们编译编译代码,就再也不使用这个项目了,因为项目上手太难了。[Roman]良好的文档确实非常重要。此外,我也有其他方面的建议。Apache软件基金会参与了一些项目,吸引了不少开贡献者。我们一直指导Google代码夏令营活动,夏令营由Google赞助,帮开发者更好的发展他们自己的项目。如果你可以让自己的社区参加类似的活动,对于社区建设无疑是有很大帮助的。因为大家来自中国的社区,我也建议一些中国的大公司,例如华为,也可以举办类似的学生项目,学生是一个项目最好的新鲜血液。[Justin]在会议中分享项目、建立技术博客也是不错的方式。[吴晟]Skywalking是中国开发者发起的一个Apache孵化项目,刚加入孵化时只有15个committer,而现在,代码层面的提交者已经达到了70人。我们提倡大家提交小的改动,这样很容易提交代码来做贡献,所以我们每次发布版本都会吸引一些开发者。当我们没有太多精力投入到测试时,我们会吸引开发者来提供测试,他们可以提交集成测试结果,可以提交测试模型,只要保持正确的编程风格,PMC的成员就可以进行审查,并合并代码。[Justin]这里我想多提一点,很多项目过于注重质量。有些Apache项目收到一些代码不太完美的提交,就直接丢弃了这些提交,然后自己从头搞起。其实这并没有关系,如果你收到了不太完美的PR,可以请社区成员帮忙改进质量。另外,在JIRA或Github上浏览issue时,如果发现一些比较简单的issue,你可以加个”easy to fix”标签,告诉大家这个issue比较容易解决,这样也可以吸引人来贡献。[吴晟]没错,我们也会跟踪一些讨论,有些时候我们可能会考虑过于理想的方案。但是好的项目有时候并不完全是完美的代码决定的,还要考虑不同的场景。这样项目才能不断壮大。[姜宁]我也谈谈自己的感受,我非常赞同Justin所说的“Low the bar”。我在参与Apache Camel项目开发时,它已经非常成熟了,但是我们还采用先提交后Review的方式进开发。 有很多人为Camel提交Patch,我们从来不说“No”。有些人提交的代码质量可能并不太好,我们还是会接受这些补丁,让贡献者觉得自己得到认可。这样,开发者就不会想“啊,我还不够优秀,还无法成为committer,我提交的补丁也不够好,那我还是不提交补丁了。” 在我们合入代码时候,我们也会顺道帮助修复一下补丁上面的问题。 顺便说一句,Apache Camel现在有200多个组件,目前项目只有大概4,5个人在维护,很大程度上是得益与这种降低社区门槛的方式。总结:构建社区的建议• 让大家觉得自己是受欢迎的。• 编写良好的文档,降低初学者入门难度。• 参与或组织类似Google代码夏令营的学生项目。• 在技术会议中分享项目经验,建立技术博客传播技术。• 提倡小的改动,乐于接受他人的贡献,乐于帮助改进质量,让开发者更容易参与社区贡献。 项目的提交者和PMC成员不够活跃,我应该怎么办?[史少锋,Kerlin]:有些开发者成为提交者后就消失了,有时候PMC成员也不能非常及时的审查提交,有没有什么规则推动大家活跃起来?[Justin]我觉得提交者或者PMC成员不活跃并不是问题,不是所有人都必须活跃。但是如果项目的导师不活跃就是问题了,因为导师要指导项目,告诉项目成员正确的做事方法。我们没办法为提交者和PMC成员制定“(及时反馈的)规则”,这样对他们要求太高了。我们应该降低门槛,让更多人参与进来。[Roman]通常,每个项目的PMC都有VP(Vice President),VP主要负责合规性相关的工作,向Apache董事会汇报,但是VP也要担当起项目的领导者角色。即便所有其他PMC成员都在沉睡,VP也是唯一要保持清醒的人。VP是默认的那个要回答问题的人,当然不是技术相关的问题,而是回答管理流程相关的问题。如果邮件列表无人响应,你要写信给VP,告诉他,“嘿,大家似乎都睡着了,我们应该怎么办呢?”。VP有权利做出改变,他可以组织大家开始审查提交,让大家醒过来。总结:PMC沉睡了怎么办• Apache基金会是个公益组织,不能通过强制要求来约束成员。• 可以通过降低门槛,让更多人可以参与进来,解决社区响应不及时的问题。• VP承担项目领导责任,要时刻保持活跃。遇到问题可以向VP寻求帮助在Apache软件基金会的组织结构中,Apache董事会根据基金会的管理原则,负责管理和监督对外合作的商业和事务,包括基金、知识资产、注册商标等。每个Apache项目都有一个PMC(项目管理委员会),负责项目的管理和监督,并定期向Apache董事会汇报项目情况。PMC有一位主席(Chairperson),也被称为该项目的Vice President,简称VP。VP由董事会指定,是董事会和项目之间的接口人,负责项目汇报、同时与PMC一同保证项目和代码遵从法规、管理商标事务、管理邮件列表等合规性问题,发展新的Committer和PMC成员。 发版投票过程漫长,如何保持正确的发版“姿势”?[张天伦,Gearpump]:发版投票需要经过至少72+72个小时,过程非常漫长,又担心犯错误导致投票过少进而导致发版失败。并且,有时候发起投票,响应的人比较少。[Justin]犯一次错误没关系,可以向导师寻求帮助以避免重复多次犯错误。在开始的一两次发版中,有一些错误很正常,但是后续的版本发布就会越来越顺利。如果发版时响应人数比较少,可以直接在邮件列表中提醒孵化器项目管理委员会(IPMC)成员,特别是导师,进行投票。[Roman]我想大家对敏捷开发都比较熟悉,敏捷开发提倡小幅度的改动,多进行更新。如果你的项目遵循敏捷开发方式,将对版本发布大有裨益。我指导项目孵化时,除了首次发版需要在合规性方面花费很多时间,后面的版本尽量在每个月或每两个月发布一次,新版本不一定要加入很多功能,每月发一次版本,更容易让IPMC的成员审查新版本的变动。因此,首次发版,解决合规性问题,然后尽快发版,多做发版。[Justin]另外,可以将新版本改动写入版本说明中,可以让审查工作变得轻松很多。[Roman]没错,小幅度迭代也可以帮你构建社区。社区贡献者提交的补丁越小,越容易进行审查。总结:Apache孵化器发布版本的要点:• 不要担心在发版时犯错误,大胆的向导师和IPMC成员寻求帮助,但要避免犯重复的错误• 借鉴敏捷开发模式,小版本迭代,频繁更新• 首次发版扫除一切合规性问题,后续版本专注功能和质量• 让版本更新更容易审查 如何使用开源软件进行商业化?[Roman]开源商业化的模式是多种多样的。红帽(RedHat)就是一个很成功的例子,他们用开源收益颇丰。也有一些新的公司,例如我曾工作过的Cloudera,利用开源赚钱,至少赚到了买下Hortonworks公司的钱(众人笑)。我大致可以列出3种开源商业化的模式。首先,几乎所有云服务厂商都使用开源产品,将其变成服务来进行营利,这就是一个很常见的商业化模式。例如,我很惊喜地看到华为云的流服务使用了Apache Flink,这就是华为使用开源盈利的方式。另外一种比较传统但应用广泛的商模式,以开源软件为核心构建产品,并提供额外的组件和技术。这些额外的部分不一定是开源的。例如你的产品可以用Apache项目作为核心,然后加入GPL协议的组件,再加上一些私有的组件,然后就可以像微软出售Windows系统,或者Adobe出售Adobe Creative Suite那样盈利了。第三种商业化模式,就是基于开源软件提供差异化的集成服务或者解决方案。将开源软件集成为一个更大的系统,提供给客户以进行营利。你可以运营一个专业的服务公司,用开源软件帮助用户简化业务。例如,你的公司服务于酒店或工厂,帮他们实现自动化运维。客户并不在乎你用什么软件或技术,他们只关心端到端的方案能够顺利实施。你的公司使用开源软件,可以按照自己的需求进行优化,也避免了收费的商业软件侵占你的利润。[Craig]在培训行业,经常有公司需要培训自己的员工来学习、使用Apache软件。我们曾短暂的考虑过和商业公司合作提供培训服务,然后与商业公司分享利润。但是这个念头只是一闪而过就被我们否决了,这样会与提供Apache软件培训服务的人形成竞争,这样有悖于Apache厂商中立的原则。所以,如果你想通过开源软件培训来盈利,大胆去做,这也是一个不错的开源商业化模式。 总结:开源商业化的几种方式• 用开源软件提供服务,例如那些云服务厂商• 基于开源软件提供额外的收费功能• 利用开源软件提供集成服务,并提供商业支持• 开展开源软件的培训服务 活动尾声经过一番深入的沟通和交流,现场的开发者对Apache基金会、基金会的精英管理模式、Apache孵化器的运作模式都有了进一步的了解。在meetup活动的最后,三位Apache专家带领现场所有开发者进行了“Apache问答”小游戏。问答题目由Justin编写,公布在网站https://rawgit.com/justinmclean/ApacheQuiz/master/compiled/index.html 上,问题有不同的难度等级,涉及Apache基金会的管理模式、Apache开源协议、版本发布注意事项、三方软件集成等。三位专家与开发者一起答题,并对题目进行了风趣幽默的解读。最终,活动在一片欢笑声中结束,三位专家与开发者进行合影留念。 关于Apache ServiceComb Apache ServiceComb是一个开源微服务框架,旨在使开发人员能够高效、方便的构建和管理微服务应用。该项目源于华为云微服务引擎CSE,借鉴和继承了华为诸多微服务实践经验,于2017年5月开源并在同年11月捐赠给Apache软件基金会。历经近一年的孵化,ServiceComb从微服务软件开发套件发展成为完整的微服务解决方案,用户数迅速增长,并获得了来自企业和社区开发者的广泛支持。2018年10月24日,ServiceComb从Apache孵化器顺利毕业成为顶级项目。关于Apache基金会Apache软件基金会是一个成立于1999年的非盈利慈善组织,英文名称 Apache Software Foundation,简称 ASF,最早源于开发Apache HTTP服务器的一个爱好者组织“Apache组织”。经过近20年的发展,Apache软件基金会已成为世界上最大的开源基金会,负责监管350多个免费的企业级项目和1.9亿多行的代码,它们作为主干支撑着全球广泛使用的应用程序。加入Apache开发者社区Apache软件基金会作为全球最大的开源软件基金会,其独特的精英治理模式和社区文化得到了全球无数开发者的青睐。如果读者有意加入Apache社区,参与Apache开源项目贡献,可以参考《如何成为commiter》,了解Apache基金会的管理模式,以及《从开源小白到Apache Commiter》,体会开发者成长为commiter的心路历程。期待在Apache社区见到更多中国开发者的身影,我们,社区见!活动组织人员:Apache ServiceComb社区的总负责人 姜宁,运营负责人Zen Lin,ServiceComb成员 巨震、王齐林、吴继敏、刘果等。参与活动的社区:Beam、ServiceComb、Dubbo、Gearpump、Griffin、Kerlin、Skywalking、Weex
-
云早报,(北京时间)10月26日,星期五【云头条】微软: Dynamics 365企业应用云平台计划于2019年落地中国36氪讯,10月25日,微软宣布,作为微软智能云中重要一环的 Dynamics 365企业应用云平台计划于2019年春季落地中国。为推动本地部署数据中心与时俱进,微软正式发布全面支持云计算技术创新的Windows Server 2019,同时宣布SQL Server 2019公开预览、Office 2019也已正式商用。【华为云新闻】业内首个Apache微服务顶级项目 | 华为开源的ServiceComb毕业 全球最大的开源软件基金会Apache软件基金会(以下简称Apache)于北京时间10月24日宣布 Apache ServiceComb 毕业成为Apache 顶级项目。ServiceComb由华为公司于2017年11月捐赠给Apache并启动孵化,之后在Apache导师的指导下由孵化器管理委员会成员进行经营孵化;9月25日,在Apache孵化器10票一次性通过毕业提案投票;10月17日,Apache 董事会通过ServiceComb 毕业决议,这也是业界首个微服务项目在Apache孵化并毕业成为顶级项目。(查看全文)【互联网新闻】1.雷军:小米相机部门要干翻华为才有年终奖昨天,雷军在Mix 3发布会上“公开挑衅”华为,余承东回应称:“其他任何厂家手机短期之内相机都不太可能超越华为P20 Pro,只有我们自己能超越。今年春天发布的P20普通版不是我们照相最强的,我们最强的是P20 Pro和Mate20系列。”除此之外,华为何刚疑回应雷军:手机摄影我们还将保持领先——网友评论:主要看气质!2.小米正式发布小米MIX3,雷军称相机最能体现手机公司实力 36氪讯,10月25日,小米董事长兼CEO雷军在故宫正式发布了MIX3,雷军在发布会上重点介绍的部分不是滑盖设计,而是小米的拍照。雷军说,现在手机“跑个分”已经没意义了,相机才是最能体现手机公司实力的地方。“有人说我们这次没有酷炫的东西了,我们确实没有,我们现在是夯实基础,修炼内功。”雷军的这句话,可以看做是小米对MIX 3的定位。网友评论:为何有种村头看电影的感觉……3.B站与腾讯宣布达成ACG内容生态领域战略合作36氪讯,昨日,B站与腾讯联合宣布达成战略级合作。腾讯将与B站在动画、游戏等方面广泛展开合作。主要包括:腾讯与B站在版权方条件许可的情况下互相开放动画片库;腾讯与B站在动画项目的采购、参投、自制方面,建立深度联合机制。合作形式包括分摊成本、同步首播、开放优先投资权等;腾讯与B站在ACG产业链上下游方面,同步新的行业投资机会,积极促成共同投资。网友评论:会员能共用吗?4.地平线推出边缘AI计算平台XForce 10月25日消息,在近日举办的北京安博会上,地平线首次展示基于旭日2.0处理器架构的XForce边缘AI计算平台,发布并系统解读了地平线未来城市解决方案。地平线创始人兼CEO余凯告诉智东西,地平线今年营收已经达到亿元级,旭日1.0处理器去年已量产,而旭日2.0芯片预计年底量产流片。余凯还透露,地平线今年新一轮融资金额在5-10亿美元之间。此外,在本届安博会上,地平线还与全志科技联合推出旭日X1600嵌入式人脸识别模组与基于该模组的万人无感人脸同行考勤方案。5.福布斯发布中国400富豪榜:马云重返榜首,许家印掉至第三 福布斯今日发布最新的2018福布斯中国400富豪榜,马云自2014年以来首次回归榜首,但财富比一年前缩水40亿美元。去年的首富、中国恒大董事局主席许家印的排名下降到第3位,财富净值为308亿美元,下降幅度为28%。去年登上福布斯中国富豪榜的400位富豪中,有超过四分之三经历了财富下跌,有近三分之一的富豪的财富降低了20%甚至更多。网友评论:马云也太有钱了吧,我的钱加上马化腾的还没有他的多。6.特朗普苹果手机被窃听?华春莹:可改用华为手机 外交部例行记者会上,有记者问,“《纽约时报》称,中国和俄罗斯情报部门一直在监听特朗普的苹果手机。”新闻发言人华春莹回应称,“感觉美方有些人真是在不遗余力地角逐奥斯卡最佳剧本奖”,“如果很担心苹果手机被窃听的话,可以改用华为手机”。网友评论:华为:感谢特朗普,叫我免费在全世界面前伟岸地走了一趟。7.菜鸟网络投入近700个机器人打造全自动化物流园菜鸟网络宣布,位于江苏无锡的中国首个IoT未来园区正式投入服务天猫双11。菜鸟方面表示,园区内的近700台机器人已经正式上线运行,这是中国目前最大的机器人智能仓库。据了解,往年天猫双11期间,物流园区人流和车流会大幅增加,导致安全风险、管理成本增加,物流效率也受影响。菜鸟用IoT物联网技术打造的未来园区,加上边缘计算、人工智能等核心技术,相当于构建了一个数字化物流园,把人工作业模式,变成了实时在线和自动化作业。物流园区的IoT智能设备可以自动识别人员进出,指引货车行驶和装卸,也能对周界安全、消防通道,甚至抽烟等细节行为进行识别和自动报警。网友评论:有没有跟我一样好奇到想参观...8.中兴前三季亏损72.6亿 同比降286%10月25日晚间消息,中兴通讯发布了第三季度财报。数据显示第三季度中兴通讯营收为193亿,净利润5.645亿,同比减少65%。前三季度实现营业收入587.66亿元,同比下降23.26%;亏损72.6亿,同比下降285.92%;预计全年亏损62亿元-72亿元,上年同期盈利45.68亿元。针对业绩大幅下滑,财报称主要由于2018年6月12日发布的《关于重大事项进展及复牌的公告》所述的10亿美元罚款;以及主要经营活动无法进行导致的经营损失、预提损失。网友评论:祝安好!9.贾跃亭香港紧急仲裁被驳回 FF获35亿临时融资许可恒大健康10月25日公告称,贾跃亭在香港申请的紧急仲裁申请被驳回。不过,作为临时补救措施,Faraday Future(下称FF)短期内将获得最多5亿美元(约合人民币34.74亿元)融资额度。此项结果并非贾跃亭与恒大争夺FF控制权的终章,但FF借此仲裁已达到取得短期资金救助的目的。网友评论:老贾的操作,不得不服~10.《王者荣耀》启动强制公安实名校验 不通过者禁止登录25日下午,腾讯发布公告称再次升级“《王者荣耀》健康系统”,以北京地区为起点,正式启动《王者荣耀》全部用户的强制公安实名校验,未通过校验的游戏账号将禁止登录。根据登录游戏时电信运营商的IP地址,凡归属为北京的《王者荣耀》用户,将从之前的“提醒”变为“强制”。同时,为杜绝未成年人“玩小号”的问题,一个未成年人实名信息仅允许用于微信和QQ平台各一个游戏账号的校验。继今年9月完成对新用户的公安实名校验后,《王者荣耀》从10月16日开始把存量用户陆续接入公安权威数据平台。其中经校验未通过的用户会接到“健康系统升级”的弹窗通知,提醒补全信息供再次校验。网友评论:一大波小学生马上离开战场终于周五了,周六可以加班啦~【本周新闻】阿里健康启动面向医疗AI的开放平台~(北京时间)10月22日,星期一腾讯云推出AI音频鉴黄 准确率超95%~(北京时间)10月23日,星期二甲骨文宣布收购企业数据库创企DataFox~(北京时间)10月24日,星期三苹果iCloud大面积瘫痪 多项服务故障~(北京时间)10月25日,星期四【更多内容,欢迎访问】http://forum.huaweicloud.com/forum.php?mod=forumdisplay&fid=569&filter=typeid&typeid=266(内容来源于互联网,如侵犯您的合法权益或有其他任何疑问,请联系:huaweicloud.bbs@huawei.com沟通处理。谢谢!)
-
一、概要近日研究人员发现apache jQuery-File-Upload <= v9.22.0中存在未经身份验证的任意文件上载漏洞(CVE-2018-9206)可以导致远程代码执行,该漏洞exp已被公布,建议涉及的用户尽快完成漏洞修复。jQuery-File-Upload是一个应用广泛的文件上传工具,该漏洞的主要原因为jQuery File Upload的安全限制被绕过,通过该漏洞攻击者可上传web shell进而造成远程命令执行,漏洞威胁等级为严重。参考链接:https://www.zdnet.com/article/zero-day-in-popular-jquery-plugin-actively-exploited-for-at-least-three-years/#ftag=RSSbaffb68二、漏洞级别漏洞级别:【严重】(说明:漏洞级别共四级:一般、重要、严重、紧急。)三、影响范围漏洞影响Apache jQuery-File-Upload 9.22.0及以下版本。四、安全建议官方已经在9.22.1更新中修复该漏洞,请及时更新。更新链接:https://github.com/blueimp/jQuery-File-Upload注意:修复漏洞前请将资料备份,并进行充分测试。
-
本帖最后由 ES_Siyu 于 2018-3-16 10:38 编辑这篇文章讲述了如何在Kibana上对ES中的数据进行BI(商业智能)分析。本文旨在梳理整个流程,专注于功能的演示,故不会详述细节,具体可参考官方文档。 在这里我们将以apache log作为数据源进行分析。典型数据格式为: 12449 1 在Kibana上设置index的映射 · 在这里我们新建一个index为apache,type为logs的索引。映射字段包含日期,用户名,状态码,字节数,请求,主机,邮件。这些一一对应apache日志信息。 12451 · 接着导入Apache日志数据。具体过程省略。 · 在Kibana添加index pattern信息。在左边栏点击“Management”,如图所示,在kibana中添加“apache”索引模式。 12452 2 在Visualize添加可视化 2.1 饼状图在这里我们将统计用户访问的http状态码分布,以检测服务器运行的稳定程度。· 在左边栏点击“Visualize”,接着点击“Create a visualization”12453 · 选择饼状图“Pie”12454 · 点击选择“apache”索引12455 · 配置信息这里我们采用上一年的数据,因此选择“Previousyear”,可以在右上角看到这个选项。在“SliceSize”,选择“Aggregation”为“Unique Count”,“Field”为“host”。这是让出现相同ip的状态码只算一次。在“SplitSlices”,选择“Aggregation”为“Terms”,“Field”为“status”。这是让饼状图按照状态码来统计。在这张图,我们饼状图采用环装设计,这可以在左边栏点击“Options”,勾选“Donut”。12456 · 保存可视化,点击右上角“Save”,并且命名。这里命名为“status_unique_ip” 2.2 填充趋势图在这里我们将统计月度访问流量走势。· 添加新的可视化,点击“+”12457· 选择“Area”12458 · 同样点击“apache” · 配置信息在“Y-Axis”,选择“Aggregation”为“Sum”,“Field”为“bytes”。这是让y轴计算流量之和。在“X-Axis”,选择“Aggregation”为“Date Histogram”,“Field”为“date”,“interval”为“monthly”。这是让流量统计按月度计算。 12459 · 保存可视化,点击右上角“Save”,并且命名。这里命名为“monthly_flow”。 2.3 横向柱状图在这里我们将统计访问频率最高的request。· 添加新的可视化,点击“+”12460· 选择“HorizontalBar”12461· 同样点击“apache”· 配置信息在“Y-Axis”,选择“Aggregation”为“Count”。这是让y轴统计某条目的出现次数在“X-Axis”,选择“Aggregation”为“Terms”,“Field”为“request”,“Order By”为“metric:Count”,“Order”为“Descending”。这是让x轴统计客户发起的请求,按照从大到小的顺序排序。 12462 · 保存可视化,点击右上角“Save”,并且命名。这里命名为“frequent_request”。 2.4 纵向柱状图在这里我们将统计访问频率最高的ip。· 添加新的可视化,点击“+”12463· 选择“VerticalBar”12464· 同样点击“apache”· 配置信息在“Y-Axis”,选择“Aggregation”为“Count”。这是让y轴统计某条目的出现次数在“X-Axis”,选择“Aggregation”为“Terms”,“Field”为“host”,“Order By”为“metric:Count”,“Order”为“Descending”。这是让x轴统计不同客户ip出现的次数,按照从大到小的顺序排序。 12465 · 保存可视化,点击右上角“Save”,并且命名。这里命名为“frequent_ip”。 3 在Dashboard拼装可视化的结果 · 在左边栏点击“Dashboard”后,进入界面点击“Add”,新建dashboard。12466· 在面板上可以选择之前保存的可视化结果。12467· 依次点击后,可以把之前的结果全加载在面板上,通过拖拽和调整大小,可以如下图所示。12468
-
12039 参与方式: 1 扫上图二维**名 ,并于周四晚 20:00 扫码观看 2 PC端通过网页报名和观看: http://www.itdks.com/liveevent/detail/10301 所有教程预告+材料汇总请移步:干货别错过!每周专家大咖直播+教程汇总
-
本帖最后由 李白云 于 2017-12-7 19:24 编辑著名开源社区Apache软件基金会孵化器项目管理委员会 ASF IPMC近期宣布“华为云开源的ServiceComb项目全票通过进入Apache孵化器”。这也是华为继CarbonData之后,第二个进入Apache孵化的开源项目。 什么是ServiceComb ServiceComb源自华为云企业级微服务引擎CSE,并应用在华为云微服务云应用管理平台ServiceStage上, 具备三十年电信行业高性能低时延应用经验积累,并历经华为消费者业务亿级用户海量请求场景的考验。 华为云PaaS服务产品部部长贾永利表示: [indent]“华为云PaaS致力于帮助企业应用上云更简单、运行更高效,此次开源的微服务开发与治理框架可以帮助企业快速构建Cloud Native的云应用;自开源以来,已帮助包括软通动力、中软国际、绿城盟拓等厂商完成应用微服务改造,加快其业务上云。该项目取名也希望借Comb(蜂巢)的寓意集合社区力量构建一个开放、高效的微服务框架。[/indent] ServiceComb项目Champion及导师,前Apache 孵化器副总裁-Roman Shaposhnik表示: [indent]“很荣幸作为Champion参与ServiceCombApache基金会孵化进程,ServiceComb是一个非常优秀的新型微服务框架,可以帮助企业高效的进行云原生应用开发,加速数字化转型过程。进入Apache孵化器,也意味着ServiceComb社区将遵循“Apache Way”,社区将更加开放、中立及多样化,也欢迎更多的厂商及个人开发者参与社区“。[/indent] 除ServiceComb外,华为已开源LiteOS、iSula、CarbonData、OpenSDS等多个项目,并积极参与Kubernetes、Openstack、Hadoop等多个主流开源社区贡献,其社区贡献名列中国公司之首。华为也是中国唯一Linux基金会白金会员,CNCF基金会初创及白金会员,以及OCI基金会初创成员。 作为开源领域的积极贡献者和推进者,华为开源CarbonData项目已成功完成Apache孵化并毕业成为Apache顶级项目,华为将和社区合作伙伴一起继续推动ServiceComb完成项目孵化毕业,为Apache开源生态贡献力量。
-
本帖最后由 订单王 于 2017-11-29 11:14 编辑Apache HTTP Server(httpd)是Apache软件基金会的一个开放源代码的网页服务器软件,可以在大多数电脑操作系统中运行,由于其跨平台和安全性。被广泛使用,是最流行的Web服务器软件之一。它快速、可靠并且可通过简单的API扩充,将Perl/Python等解释器编译到服务器中。 上一篇文章 我们讲过了如何通过修改squid和telescope的配置,将squid的日志通过telescope上传至云日志服务。其实httpd的配置跟squid很类似,只需要稍作修改,即可完成日志的上传。 第一步:修改httpd的日志格式修改配置文件:/etc/httpd/conf/httpd.conf中的日志格式,修改前后如下图,修改完后需要重启httpd服务(命令:servicehttpd restart) 5798修改内容:将日志中的时间字段放在日志最开始,并调整日志格式为:“年-月-日 时:分:秒” 第二步:修改telescope的配置修改配置文件:/usr/local/telescope/bin/conf_lts.json,增加httpd日志路径和LogTopicId的配置项,配置动态加载,无需重启telescoped服务:5799第三步:使用云日志服务搜索日志进入云日志服务console页面,可以进行 日志搜索:1. 搜索指定IP的访问请求: 58002. 搜索指定返回码的请求 5801 3. 搜索指定浏览器的请求 5802 注:以上内容为测试数据,不针对特定的网站或者企业。
上滑加载中
推荐直播
-
华为AI技术发展与挑战:集成需求分析的实战指南
2024/11/26 周二 18:20-20:20
Alex 华为云学堂技术讲师
本期直播将综合讨论华为AI技术的发展现状,技术挑战,并深入探讨华为AI应用开发过程中的需求分析过程,从理论到实践帮助开发者快速掌握华为AI应用集成需求的框架和方法。
去报名 -
华为云DataArts+DWS助力企业数据治理一站式解决方案及应用实践
2024/11/27 周三 16:30-18:00
Walter.chi 华为云数据治理DTSE技术布道师
想知道数据治理项目中,数据主题域如何合理划分?数据标准及主数据标准如何制定?数仓分层模型如何合理规划?华为云DataArts+DWS助力企业数据治理项目一站式解决方案和应用实践告诉您答案!本期将从数据趋势、数据治理方案、数据治理规划及落地,案例分享四个方面来助力企业数据治理项目合理咨询规划及顺利实施。
去报名
热门标签