Kibana 是一个开源的数据分析与可视化平台，与Elasticsearch搜索引擎一起使用。您可以用Kibana搜索、查看、交互存放在Elasticsearch索引中的数据，也可以使用Kibana以图表、表格、地图等方式展示数据。一键访问Kibana云搜索服务的集群默认提供Kibana，无需安装部署，一键访问Kibana。登录云搜索服务管理控制台。在左侧导航栏，单击“集群管理”进入集群管理列表。在对应集群的“操作”列，单击“Kibana”，即可打开Kibana界面。Kibana功能完全兼容开源Kibana可视化展现和Elasticsearch统计分析能力。支持10余种数据呈现方式支持近20种数据统计方式支持时间、标签等各种维度分类

云搜索服务是公有云提供的搜索服务，其具备如下优势：高效易用TB级数据毫秒级返回检索结果，提供可视化平台方便数据展示和分析。弹性灵活按需申请，在线扩容，零业务中断，快速应对业务增长。自主词库支持用户自定义行业词库，词库修改，无需重启实例。无忧运维全托管服务，开箱即用，主要操作一键可达，专业团队贴身看护。高可靠性支持用户触发以及定时触发的快照备份，支持恢复到本集群以及其他集群的能力，通过快照恢复支持集群的数据迁移。自动备份（数据快照）云搜索服务提供备份功能，可以在控制台的备份恢复界面开启自动备份功能，并根据实际业务需要设置备份周期。自动备份是将集群的索引数据进行备份。索引的备份是通过创建集群快照实现，第一次备份时，建议将所有索引数据进行备份。云搜索服务支持将ES实例的快照数据保存到对象存储（OBS）服务中，借助OBS的跨region复制功能，可实现数据的跨region备份。详情请参见备份与恢复。恢复数据（恢复快照）当数据发生丢失或者想找回某一时间段数据时，可以在控制台的备份恢复界面上单击备份恢复功能，将已有的快照，通过恢复快照功能，将备份的索引数据恢复到指定的集群中，可以快速获得数据。详情请参见备份与恢复。规格变更业务不中断云搜索服务支持节点扩容、磁盘扩容、以及词库更新，并且变更过程中业务不中断。高安全性云搜索服务主要从以下几个方面保障数据和业务运行安全：网络隔离整个网络划分为2个平面，即业务平面和管理平面。两个平面采用物理隔离的方式进行部署，保证业务、管理各自网络的安全性。业务平面：主要是集群的网络平面，支持为用户提供业务通道，对外提供数据定义、索引、搜索能力。管理平面：主要是管理控制台，用于管理云搜索服务。通过VPC或安全组专有网络来确保主机的安全。访问控制通过网络访问控制列表（ACL），可以允许或拒绝进入和退出各个子网的网络流量。内部安全基础设施（包括网络防火墙、入侵检测和防护系统）可以监视通过IPsec VPN连接进入或退出VPC的所有网络流量。支持用户认证与索引级别鉴权，支持对接第三方管理用户系统。数据安全在云搜索服务中，通过多副本机制保证用户的数据安全。支持客户端与服务端通过SSL加密通信。操作审计通过云审计服务支持对关键日志与操作进行审计。

云搜索服务适用于日志分析、站内搜索等场景。日志分析对IT设备进行运维分析与故障定位、对业务指标分析运营效果。统计分析：20余种统计分析方法、近10种划分维度。实时高效：从入库到能够被检索到，时间差在数秒到数分钟之间。可视化：表格、折线图、热图、云图等多种图表呈现方式。站内搜索对网站内容进行关键字检索、对电商网站商品进行检索与推荐。实时检索：站内资料或商品信息更新数秒至数分钟内即可被检索。分类统计：检索同时可以将符合条件的商品进行分类统计。高亮提示：提供高亮能力，页面可自定义高亮显示方式。

     云搜索服务（Cloud Search Service，简称CSS），为您提供托管的分布式搜索引擎服务，完全兼容开源Elasticsearch搜索引擎，支持结构化、非结构化文本的多条件检索、统计、报表。云搜索服务的使用流程和数据库类似。云搜索服务会自动部署，快速创建Elasticsearch集群。免运维，内置搜索调优实践；拥有完善的监控体系，提供一系列系统、集群以及查询性能等关键指标，让用户更专注于业务逻辑的实现。云搜索服务中Elasticsearch搜索引擎目前支持Elasticsearch 5.5.1、6.2.3、6.5.4和7.1.1版本，Kibana目前支持5.5.1、6.2.3、6.5.4和7.1.1版本。

使用NAT网关实现云搜索服务公网访问获取云搜索服务信息获取云搜索服务内网访问地址 集群创建后，获取集群访问的内网访问地址 192.168.8.224:9200对应的三个IP为：192.168.8.224获取VPC和子网信息选中需要公网的集群，点击进入详情页。可以看到集群的VPC ：vpc_subenet_same  子网： subnet-da71 (192.168.0.0/16)   NAT网关服务NAT网关服务位于网络大类下面创建NAT网关这里的虚拟私有云  和子网选择 跟创建云搜索服务一样的添加DNAT规则规格可以根据本身业务选择。购买后，在网关列表中点击网关服务进入配置界面后，选择DNAT规则暴露公网需要弹性ip，可以根据自己业务在弹性公网ip页面创建，公网端口可以自定义私网IP选择192.168.8.224，云搜索服务的内网访问ip，私网端口写9200点击确定。这样DNAT就设置好了。目前还不能访问，因为云搜索服务的安全组规格默认是不会开往公网的权限的修改云搜索服务安全组规则，放开公网地址点击进入云搜索服务详情界面 点击安全组，添加9200方向的入方向。公网访问访问https://公网ip:9200输入用户名密码即可使用http还是https 取决于创建的集群是安全还是非安全的，目前云搜索服务提供了6.5.4安全集群。对于623 直接使用 http://ip:9200 优势点：单个可用区的任何故障都不会影响NAT网关的业务连续性。NAT网关的规格、公网IP，均可以随时调整。 关于NAT网关的使用，您需要注意以下几点：·         同一个NAT网关下的多条规则可以复用同一个弹性公网IP，不同网关下的规则必须使用不同的弹性公网IP。·         每个VPC支持的NAT网关数为1。·         用户不能在VPC下手动添加默认路由。·         VPC内的每个子网只能添加一条SNAT规则。·         SNAT和DNAT不能共用同一个弹性公网IP。·         DNAT规则不支持将弹性公网IP绑定到虚拟IP。·         当云主机同时配置弹性公网IP服务和NAT网关服务时，数据均通过弹性公网IP转发。·         SNAT规则中添加的自定义网段，对于虚拟私有云的配置，必须是虚拟私有云子网网段的子集，不能相等。·         SNAT规则中添加的自定义网段，对于云专线的配置，必须是云专线侧网段，且不能与虚拟私有云侧的网段冲突。 

kettle使用transport client与elasticsearch通讯，配置时有下面几个关注点1、（推荐做，不做也不一定不能工作），使用transport client时，建议客户端和服务端的jar包版本一致可以在云搜索服务集群列表页面，查看搜索引擎版本列，确认服务端版本，kettle中elasticsearch相关的jar包路径为data-integration\plugins\elasticsearch-bulk-insert-plugin\lib2、增加transport client相关配置在elasticsearch bulk insert配置对话框的settings tab中，增加下面两个配置client.transport.ignore_cluster_name true client.transport.sniff false配置好后如下图3、配置elasticsearch地址在elasticsearch bulk insert配置对话框的servers tab中，配置elasticsearch服务端地址（可以在云搜索服务集群列表页面，查看内网访问地址列），端口号为9300配置好后，如下图使用test connection测试连接

前提：先购买一台跟ES集群相同VPC的ECS，并申请弹性ip。也可以使用已有的机器。在这台机器上面安装nginx1       安装nginxyum install  nginx如果报找不到镜像 增加一个再运行vi /etc/yum.repos.d/nginx.repo[nginx]name=nginx repobaseurl=http://nginx.org/packages/centos/$releasever/$basearch/gpgcheck=0enabled=1 2       配置nginx.conf文件编辑nginx.conf文件，将红框框处的listen后面的80改为ECS放通的一个端口（可以与华为云提供的保持一致），将server_name 改为localhost；将location中的proxy_pass 的http://后面的ip改为ES服务的endpoint192.168.0.167 为ES集群中的内网访问地址改完之后如下所示效果3       启动nginx/usr/sbin/nginx改了配置后重新加载/usr/sbin/nginx –s reload4       访问在本地的浏览器中输入如上，这个红色框框中为申请的公网IP 注意访问不通，需要排查ES集群的或者跳转ECS的安全组是否开放，ES集群的安全组需要放开9200 

本帖最后由 ES_Siyu 于 2018-6-27 18:08 编辑小刘最近在做搜索相关的事，但一直很苦恼。他之前在用数据库，如MySQL，来做搜索的业务，如知识库管理、问答和文档搜索等。在这过程中，他发现数据库并不能很好的满足他的需求。 我们来一起看看他遇到的问题吧~~~ —————————————————————————————————————————————————————— 1 响应时间MySQL背景：小刘在做测试时，发现当数据库中的文档数仅仅上万条时，关键词查询就比较慢了。如果一旦到企业级的数据，响应速度就会更加不可接受。 原因：在数据库做模糊查询时，如LIKE语句，它会遍历整张表，同时进行字符串匹配。 例如，当小刘在数据库查询“市场”时，数据库会在每一条记录去匹配“市场”这两字是否出现。实际上，并不是所有记录都包含“市场”，所以做了很多无用功。 这两个步骤都不高效，而且随着数据量的增大，消耗的资源和时间都会线性的增长。 Elasticsearch提升：小刘使用了云搜索服务后，发现这个问题被很好解决，TB级数据在毫秒级就能返回检索结果，很好地解决了痛点。 原因：华为云云搜索是基于Elasticsearch。而Elasticsearch是基于倒排索引的，例子如下。 18190 当小刘搜索“手机”时，Elasticsearch就会立即返回文档F，G，H。这样就不用花多余的时间在其他文档上了，因此检索速度得到了数量级的提升—————————————————————————————————————————————————————— 2 分词MySQL背景：在做中文搜索时，小刘发现组合词检索在数据库是很难完成的。 例如，当用户在搜索框输入“四川火锅”时，数据库通常只能把这四个字去进行全部匹配。可是在文本中，可能会出现“推荐四川好吃的火锅”，这时候就没有结果了。 原因：数据库并不支持分词。如果人工去开发分词功能，费时费精力。 Elasticsearch提升：小刘使用云搜索服务后，就不用太过于关注分词了，因为Elasticsearch支持中文分词插件，很好地解决了问题。 原因：当用户使用Elasticsearch时进行搜索时，Elasticsearch就自动帮他分好词了。 例如当小刘输入“四川火锅”时，Elasticsearch会自动做下面两件事（1） 将“四川火锅”分词成“四川”和“火锅”（2） 查找包含这两个词的文档—————————————————————————————————————————————————————— 3 相关性MySQL背景：在用数据库做搜索时，结果经常会出现一系列文档。小刘不禁思考：· 到底什么文档是用户真正想要的呢？· 怎么才能把用户想看的文档放在搜索列表最前面呢？ 原因：数据库并不支持相关性搜索。 例如，当用户搜索“咖啡厅”的时候，他很可能更想知道附近哪里可以喝咖啡，而不是怎么开咖啡厅。 Elasticsearch提升：小刘使用了云搜索服务后，发现Elasticsearch能很好地支持相关性评分。通过合理的优化，云搜索服务能够返回精准的结果，满足用户的需求。 原因：Elasticsearch支持全文搜索和相关度评分。这样在返回结果就会根据分数由高到低排列。分数越高，意味着和查询语句越相关。 例如，当用户搜索“星巴克咖啡”，带有“星巴克咖啡”的信息就要比只包含“咖啡”的信息靠前。——————————————————————————————————————————————————————4 可视化界面MySQL背景：在使用数据库进行查询数据时，很多时候都是通过工程代码或者命令端完成。小刘发现很多时候分析结果并不太方便，缺少一个可视化界面来提高效率。 原因：数据库自身通常不带可视化界面。而在完成搜索相关的任务时，常常需要根据搜索结果来进行分析。 Elasticsearch提升：小刘使用了云搜索服务后，发现可视化Kibana界面提升了研发的速度。 原因：Kibana可视化界面完美支持Elasticsearch。研发人员能够在上面快速地进行概念验证，分析结果，提高开发效率。18191 —————————————————————————————————————————————————————— 全球第一的搜索引擎Elasticsearch已经登录华为云，快戳下面链接来体验，助您提升效率~~~ https://www.huaweicloud.com/product/es.html

本帖最后由 ES_Siyu 于 2018-6-20 16:43 编辑在大数据浪潮下，你离数据运营和智能运维只差一个云搜索服务，快戳下面链接来体验~~~云搜索服务 —————————————————————————————————————————————————————— 在整体行业趋于数字化的今天，各种业务软件每时每刻都在产生日志数据。因为大数据的爆发，大家开始重视如何利用这些日志，去解决业务上的难题。不可否认的是，随着对数据资产的观念兴起，越来越多的运营人员和运维人员开始使用这些日志构建应用场景。 17813—————————————————————————————————————————————————————— 站在运营和运维的角度，如何有效进行日志分析成为一个难题。总体而言，包括以下四个方面：日志分散，分析困难，容量有限和速度受制。 17820 —————————————————————————————————————————————————————— 继续细化，从运维的业务层面看，在云搜索服务上，日志分析能完成监控告警、故障处理、性能优化和安全审计等事项，最终达到智能运维的目标。基本思路是收集相关日志数据，导入到云搜索服务中，使用搜索语句获得结果，最终在可视化界面呈现。而云搜索服务是基于Elasticsearch，具有高效检索和灵活弹性的优势，拥有可视化工具，能帮助运维人员集中化管理日志数据，高效完成运维任务。 17810 —————————————————————————————————————————————————————— 而在运营业务层面，云搜索服务能帮助运营人员进行数字化运营，包括但不仅限于流量运营，用户运营，产品运营和内容运营。基本流程与运维相似，收集重要指标，导入到云搜索服务，建立图表，进行后续业务分析。 17814 —————————————————————————————————————————————————————— 从技术上，整体云上架构如下，包括日志产生，日志采集，日志分析和日志场景。 17812 在大数据浪潮下，你离数据运营和智能运维只差一个云搜索服务，快戳下面链接来体验~~~云搜索服务

本帖最后由 ES_Siyu 于 2018-6-13 15:25 编辑使用云搜索请戳下面链接~~~ 云搜索服务 —————————————————————————————————————————————————————— 搜索无处不在，尤其是在移动互联的今天。无论是社交，电商，还是视频等APP中，搜索都已经在其中扮演了重要的角色。作为信息的入口，搜索能帮用户从海量信息中找到想要的信息。在APP搜索的典型场景如下： 17164 —————————————————————————————————————————————————————— 事实上，尽管搜索的概念深入人心，但做好一个体验绝佳的搜索服务并不是一件容易的事。在性能和搜索精度等细节上，都存在不可忽略的难点，而这些往往又是提升搜索体验的关键。 17233 —————————————————————————————————————————————————————— 对于想要搭建APP搜索的客户来讲，从技术层面出发，实现方案如下。云搜索服务是基于Elasticsearch，能够在毫秒级完成TB级检索任务并返回结果，能够很好解决传统数据库的性能问题。 17166 —————————————————————————————————————————————————————— 在云搜索服务中，我们针对客户的搜索痛点，做了如下优化，帮助客户增强用户体验，提升效率，快速实现业务增长。 17234 —————————————————————————————————————————————————————— 在云搜索服务中，我们额外提供关于分词和词库的解决方案，帮助客户解决搜索精准度等问题。 17169 —————————————————————————————————————————————————————— 总体而言，云搜索服务在互联网APP的搜索场景有如下的优势： 17171 使用云搜索请戳下面链接~~~ 云搜索服务

本帖最后由 ES_Siyu 于 2018-6-7 10:20 编辑华为云云搜索 背景某运维部门一直在使用华为云云搜索服务提供的ELK做业务系统的运维监控分析。一天，一位兄弟想统计当前各个集群的磁盘使用总量，并在Kibana上可视化分析，以此来决定是否采取扩容等措施。怎么获得集群磁盘使用总量呢？这很简单！只要获取集群中每一个节点最新上报的磁盘使用量，然后对它们求和，就搞定啦~~~ 那具体怎么实现呢？这自然而然会想到TopHit和Sum Bucket。Top hit能够根据某个字段对数据进行排序，然后返回排序后的Top N条数据中所指定字段的值。数据格式如下： 16491 设想步骤如下： （1）根据cluster字段将数据分成若干个buckets （2）在每个buckets，根据host字段继续将数据分成若干buckets （3）通过Top Hit对每个bucket的数据根据时间进行倒排 （4）返回top 1那条数据的disk_used_gb值（最新值） （5）利用Sum Bucket对返回的disk_used_gb值进行求和 问题注意：为了方便演示，我们在只包含一个集群的节点数据的索引中进行演示，来获取集群磁盘使用总量。 这位兄弟在Kibana的visualize界面中选择Sum Bucket聚合，并通过字段host进行分组后，但是在metric的aggregation中发现没有Top Hit选项，如下图所示 16492 如果通过http请求强行将Top_Hit与Sum_Bucket组合使用，则报如下所示的错误。根据ES相关资料，Sum_Bucket的确不支持Top_Hit。 16493 Last Hit --- 云搜索服务对Elasticsearch的功能增强为了解决这个问题，云搜索服务新增了一个Last Hit的插件。与Top Hit不同的是，它能够完美和SumBucket配合。这样我们就能通过Last Hit和Sum Bucket来实现这位兄弟的需求。 执行语句如下 16494 返回结果如下 16495 Kibana界面支持为了各位用户拥有更好的体验，图形化肯定是必不可少的。云搜索服务也做了相应的工作，使Kibana支持Last Hit。 回到最初场景，最终步骤如下： （1）根据cluster字段将数据分成若干个buckets （2）在每个buckets，根据host字段继续将数据分成若干buckets （3）通过Last Hit对每个bucket的数据根据时间进行倒排 （4）返回top 1那条数据的disk_used_gb值（最新值） （5）利用Sum Bucket对返回的disk_used_gb值进行求和 16496 总结 lasthit主要帮你解决当前时刻多组最新数据的统计问题，如果您有类似的场景诉求，lasthit都能帮您轻松实现 各位同学是不是觉得方便了很多~~~戳下面链接有更多惊喜~~~华为云云搜索

在互联网的开放和快速传播的背景下，民众越来越喜欢在网上表达意见。在这种背景下，舆情分析解决方案应运而生，帮助政府和企业对其所关心的业务产生洞察。细节请戳下面链接~~~https://forum.huaweicloud.com/thread-8993-1-1.html

在互联网的开放和快速传播的背景下，民众越来越喜欢在网上表达意见。在这种背景下，舆情分析解决方案应运而生，帮助政府和企业对其所关心的业务产生洞察。细节请戳下面链接~~~https://forum.huaweicloud.com/thread-8993-1-1.html

在互联网的开放和快速传播的背景下，民众越来越喜欢在网上表达意见。在这种背景下，舆情分析解决方案应运而生，帮助政府和企业对其所关心的业务产生洞察。细节请戳下面链接~~~https://forum.huaweicloud.com/thread-8993-1-1.html

在互联网的开放和快速传播的背景下，民众越来越喜欢在网上表达意见。在这种背景下，舆情分析解决方案应运而生，帮助政府和企业对其所关心的业务产生洞察。细节请戳下面链接~~~https://forum.huaweicloud.com/thread-8993-1-1.html