本帖最后由 lixinlong 于 2018-5-14 16:26 编辑如何使用数据迁移服务从OBS加载数据到云搜索服务

https://bbs.huaweicloud.com/blogs/78fbd980543011e89fc57ca23e93a89f

本帖最后由 ES_Siyu 于 2018-5-3 20:09 编辑实际中，日志通常会记录系统、应用程序和安全等信息。通过分析日志，开发和运维人员可以了解服务器信息和定位问题，进而进行错误纠正。 但是日志通常分散存在不同设备，依次登录每台机器查看日志将会特别低效。因此，业界常用ELK将日志进行集中化管理，并用其强大的检索和聚合能力进行日志分析。 其中:· Elasticsearch是一个开源分布式搜索引擎，支持近乎实时搜索，具有强大的检索和聚合能力，RESTful接口等优势· Logtash是一个负责对日志进行收集，过滤，传输的开源工具· Kibana是一个对搜索和分析的可视化的开源工具 在这篇文章，我们将基于华为云云搜索（https://www.huaweicloud.com/product/es.html）进行ELK平台的搭建。 为简化方便，下图展示了ELK的基本架构。 14758 其中：· 被采集日志的服务器在华为云· Logstash部署在被采集日志的服务器上· Elasticsearch和Kibana都在云搜索集群上· 云搜索集群和服务都在同一VPC、子网和安全网下· Elasticsearch，Kibana和Logstash选用的版本都是5.5.1。· 服务器选用的是CENTOS系统 在这篇文章，我们分析的日志数据（Apache Log）格式如下： 14710 1 申请云搜索服务详细步骤请参照：https://static.huaweicloud.com/upload/files/pdf/20180115/20180115101401_17315.pdf申请的云搜索集群中，包含E（Elasticsearch）和K（Kibana），能够极大帮助用户减少部署等琐碎工作。创建成功后，能够看到集群列表，包含访问地址等信息。14711 2 在服务器上部署Logstash 2.1 安装JavaLogstash的运行依赖于Java环境，因此推荐使用最近版本的Java。在这里，我们使用Java1.8。具体步骤请自行搜索安装。 2.2 安装Logstash在这里我们需要下载Logstash：https://www.elastic.co/downloads/past-releases/logstash-5-5-1我们选用RPM包，通过服务器上EIP拷贝到各台服务器。执行下列命令，安装Logstash14712移动配置文件到logstash目录。本例中Logstash被安装到/usr/share/logstash/,而配置文件在/etc/logstash/。这里请根据用户的具体情况来操作。14713其中配置文件包含：14715 2.3 添加Logstash配置文件新建文件14717输入内容14718其中· input指明了数据的来源。此处设为文件。· filter对日志进行了提取和处理，将非结构化信息转换为结构化信息· output指明了数据的输出。此处设为Elasticsearch，ip地址能在云搜索的集群列表中查看。14757 2.4 启动Logstash14719 3 使用Kibana3.1 在云搜索集群页面点开Kibana 14721 3.2 查看导入数据 14722 我们看到原本的非结构化的信息被很好地解析成了不同字段，包括IP，时间，请求等信息。 3.3 添加索引模式 点击“Management”，添加index pattern。这里我们的索引名为“Logstash-*”，时间字段为“@timestamp”.14724 3.4 添加可视化 在这里我们将统计用户访问的http状态码分布，以检测服务器运行的稳定程度。点击“Visualize”，接着点击“Create a visualization” 14725 选择饼状图“Pie” 14726 点击选择“logstash-*”14727配置信息· 这里我们采用上一年的数据，因此选择“Previousyear”，可以在右上角看到这个选项。· 在“SliceSize”，选择“Aggregation”为“Unique Count”，“Field”为“host”。这是让出现相同ip的状态码只算一次。· 在“SplitSlices”，选择“Aggregation”为“Terms”，“Field”为“status”。这是让饼状图按照状态码来统计。· 在这张图，我们饼状图采用环装设计，这可以在左边栏点击“Options”，勾选“Donut”。 查看可视化结果14728

   小E最近一直在使用华为云的云搜索服务。让他很开心的是，华为云的云搜索服务，可以自定义自己的词库来做分词、停词。让他更意想不到的是，修改词库还可以热更新，不用重启即可生效。但是，词库中的词从哪里来，哪些才是有用的词，这真是让小E头疼的事情。小E每天苦读海量文章，才能从中找出几个自己认为还不错的词。突然，小E灵机一动：数据！词语不就是在数据中！小E不愧是混迹于大数据IT界的老手，三下五除二搞出来了一个词语提取小工具。下面，我们一起看看小E怎么使用他的小工具的。第一步，小E找到一篇最近大火的复仇者联盟的电影新闻，把它拷贝到小工具(文章很长也可以存储在txt文件后上传)。14332第二步，小E点击“Submit”，后台就开始通过各种大数据算法计算。不一会，结果就显示出来啦。14333恩~~~看来提词效果还不错，我们再来看看有没有其他一些有趣的结果呢14334我们发现像“迪士尼”，“漫威”这样的词也能被很好地发现。{:4_96:}这样，小E在使用华为云的云搜索服务的时候，可以把这些新发现的词语加入词库，方便分词，提高搜索结果了呢~进一步，小E发现，如果用这个工具分析下一篇文章，“迪士尼”或“漫威”可能会重复出现。为了更有效率，小E又添加了一个过滤功能14346这样，把已发现的词放在这里，下一次就不会出现，每次都能发现新词啦~~~我们看下结果14335“迪士尼”和“漫威”就真的没出现了哦{:9_90:}各位大佬看官，看到这里，是不是在想这样的工具要花多少钱才能用呢？我们的回答是：免费！免费！免费！没错，你没有看错~快戳下面链接，和小E一起感受新词发现的乐趣吧~词语提取工具    

14018