使用NAT网关实现云搜索服务公网访问获取云搜索服务信息获取云搜索服务内网访问地址 集群创建后，获取集群访问的内网访问地址 192.168.8.224:9200对应的三个IP为：192.168.8.224获取VPC和子网信息选中需要公网的集群，点击进入详情页。可以看到集群的VPC ：vpc_subenet_same  子网： subnet-da71 (192.168.0.0/16)   NAT网关服务NAT网关服务位于网络大类下面创建NAT网关这里的虚拟私有云  和子网选择 跟创建云搜索服务一样的添加DNAT规则规格可以根据本身业务选择。购买后，在网关列表中点击网关服务进入配置界面后，选择DNAT规则暴露公网需要弹性ip，可以根据自己业务在弹性公网ip页面创建，公网端口可以自定义私网IP选择192.168.8.224，云搜索服务的内网访问ip，私网端口写9200点击确定。这样DNAT就设置好了。目前还不能访问，因为云搜索服务的安全组规格默认是不会开往公网的权限的修改云搜索服务安全组规则，放开公网地址点击进入云搜索服务详情界面 点击安全组，添加9200方向的入方向。公网访问访问https://公网ip:9200输入用户名密码即可使用http还是https 取决于创建的集群是安全还是非安全的，目前云搜索服务提供了6.5.4安全集群。对于623 直接使用 http://ip:9200 优势点：单个可用区的任何故障都不会影响NAT网关的业务连续性。NAT网关的规格、公网IP，均可以随时调整。 关于NAT网关的使用，您需要注意以下几点：·         同一个NAT网关下的多条规则可以复用同一个弹性公网IP，不同网关下的规则必须使用不同的弹性公网IP。·         每个VPC支持的NAT网关数为1。·         用户不能在VPC下手动添加默认路由。·         VPC内的每个子网只能添加一条SNAT规则。·         SNAT和DNAT不能共用同一个弹性公网IP。·         DNAT规则不支持将弹性公网IP绑定到虚拟IP。·         当云主机同时配置弹性公网IP服务和NAT网关服务时，数据均通过弹性公网IP转发。·         SNAT规则中添加的自定义网段，对于虚拟私有云的配置，必须是虚拟私有云子网网段的子集，不能相等。·         SNAT规则中添加的自定义网段，对于云专线的配置，必须是云专线侧网段，且不能与虚拟私有云侧的网段冲突。 

kettle使用transport client与elasticsearch通讯，配置时有下面几个关注点1、（推荐做，不做也不一定不能工作），使用transport client时，建议客户端和服务端的jar包版本一致可以在云搜索服务集群列表页面，查看搜索引擎版本列，确认服务端版本，kettle中elasticsearch相关的jar包路径为data-integration\plugins\elasticsearch-bulk-insert-plugin\lib2、增加transport client相关配置在elasticsearch bulk insert配置对话框的settings tab中，增加下面两个配置client.transport.ignore_cluster_name true client.transport.sniff false配置好后如下图3、配置elasticsearch地址在elasticsearch bulk insert配置对话框的servers tab中，配置elasticsearch服务端地址（可以在云搜索服务集群列表页面，查看内网访问地址列），端口号为9300配置好后，如下图使用test connection测试连接

前提：先购买一台跟ES集群相同VPC的ECS，并申请弹性ip。也可以使用已有的机器。在这台机器上面安装nginx1       安装nginxyum install  nginx如果报找不到镜像 增加一个再运行vi /etc/yum.repos.d/nginx.repo[nginx]name=nginx repobaseurl=http://nginx.org/packages/centos/$releasever/$basearch/gpgcheck=0enabled=1 2       配置nginx.conf文件编辑nginx.conf文件，将红框框处的listen后面的80改为ECS放通的一个端口（可以与华为云提供的保持一致），将server_name 改为localhost；将location中的proxy_pass 的http://后面的ip改为ES服务的endpoint192.168.0.167 为ES集群中的内网访问地址改完之后如下所示效果3       启动nginx/usr/sbin/nginx改了配置后重新加载/usr/sbin/nginx –s reload4       访问在本地的浏览器中输入如上，这个红色框框中为申请的公网IP 注意访问不通，需要排查ES集群的或者跳转ECS的安全组是否开放，ES集群的安全组需要放开9200 

本帖最后由 ES_Siyu 于 2018-6-27 18:08 编辑小刘最近在做搜索相关的事，但一直很苦恼。他之前在用数据库，如MySQL，来做搜索的业务，如知识库管理、问答和文档搜索等。在这过程中，他发现数据库并不能很好的满足他的需求。 我们来一起看看他遇到的问题吧~~~ —————————————————————————————————————————————————————— 1 响应时间MySQL背景：小刘在做测试时，发现当数据库中的文档数仅仅上万条时，关键词查询就比较慢了。如果一旦到企业级的数据，响应速度就会更加不可接受。 原因：在数据库做模糊查询时，如LIKE语句，它会遍历整张表，同时进行字符串匹配。 例如，当小刘在数据库查询“市场”时，数据库会在每一条记录去匹配“市场”这两字是否出现。实际上，并不是所有记录都包含“市场”，所以做了很多无用功。 这两个步骤都不高效，而且随着数据量的增大，消耗的资源和时间都会线性的增长。 Elasticsearch提升：小刘使用了云搜索服务后，发现这个问题被很好解决，TB级数据在毫秒级就能返回检索结果，很好地解决了痛点。 原因：华为云云搜索是基于Elasticsearch。而Elasticsearch是基于倒排索引的，例子如下。 18190 当小刘搜索“手机”时，Elasticsearch就会立即返回文档F，G，H。这样就不用花多余的时间在其他文档上了，因此检索速度得到了数量级的提升—————————————————————————————————————————————————————— 2 分词MySQL背景：在做中文搜索时，小刘发现组合词检索在数据库是很难完成的。 例如，当用户在搜索框输入“四川火锅”时，数据库通常只能把这四个字去进行全部匹配。可是在文本中，可能会出现“推荐四川好吃的火锅”，这时候就没有结果了。 原因：数据库并不支持分词。如果人工去开发分词功能，费时费精力。 Elasticsearch提升：小刘使用云搜索服务后，就不用太过于关注分词了，因为Elasticsearch支持中文分词插件，很好地解决了问题。 原因：当用户使用Elasticsearch时进行搜索时，Elasticsearch就自动帮他分好词了。 例如当小刘输入“四川火锅”时，Elasticsearch会自动做下面两件事（1） 将“四川火锅”分词成“四川”和“火锅”（2） 查找包含这两个词的文档—————————————————————————————————————————————————————— 3 相关性MySQL背景：在用数据库做搜索时，结果经常会出现一系列文档。小刘不禁思考：· 到底什么文档是用户真正想要的呢？· 怎么才能把用户想看的文档放在搜索列表最前面呢？ 原因：数据库并不支持相关性搜索。 例如，当用户搜索“咖啡厅”的时候，他很可能更想知道附近哪里可以喝咖啡，而不是怎么开咖啡厅。 Elasticsearch提升：小刘使用了云搜索服务后，发现Elasticsearch能很好地支持相关性评分。通过合理的优化，云搜索服务能够返回精准的结果，满足用户的需求。 原因：Elasticsearch支持全文搜索和相关度评分。这样在返回结果就会根据分数由高到低排列。分数越高，意味着和查询语句越相关。 例如，当用户搜索“星巴克咖啡”，带有“星巴克咖啡”的信息就要比只包含“咖啡”的信息靠前。——————————————————————————————————————————————————————4 可视化界面MySQL背景：在使用数据库进行查询数据时，很多时候都是通过工程代码或者命令端完成。小刘发现很多时候分析结果并不太方便，缺少一个可视化界面来提高效率。 原因：数据库自身通常不带可视化界面。而在完成搜索相关的任务时，常常需要根据搜索结果来进行分析。 Elasticsearch提升：小刘使用了云搜索服务后，发现可视化Kibana界面提升了研发的速度。 原因：Kibana可视化界面完美支持Elasticsearch。研发人员能够在上面快速地进行概念验证，分析结果，提高开发效率。18191 —————————————————————————————————————————————————————— 全球第一的搜索引擎Elasticsearch已经登录华为云，快戳下面链接来体验，助您提升效率~~~ https://www.huaweicloud.com/product/es.html

本帖最后由 ES_Siyu 于 2018-6-20 16:43 编辑在大数据浪潮下，你离数据运营和智能运维只差一个云搜索服务，快戳下面链接来体验~~~云搜索服务 —————————————————————————————————————————————————————— 在整体行业趋于数字化的今天，各种业务软件每时每刻都在产生日志数据。因为大数据的爆发，大家开始重视如何利用这些日志，去解决业务上的难题。不可否认的是，随着对数据资产的观念兴起，越来越多的运营人员和运维人员开始使用这些日志构建应用场景。 17813—————————————————————————————————————————————————————— 站在运营和运维的角度，如何有效进行日志分析成为一个难题。总体而言，包括以下四个方面：日志分散，分析困难，容量有限和速度受制。 17820 —————————————————————————————————————————————————————— 继续细化，从运维的业务层面看，在云搜索服务上，日志分析能完成监控告警、故障处理、性能优化和安全审计等事项，最终达到智能运维的目标。基本思路是收集相关日志数据，导入到云搜索服务中，使用搜索语句获得结果，最终在可视化界面呈现。而云搜索服务是基于Elasticsearch，具有高效检索和灵活弹性的优势，拥有可视化工具，能帮助运维人员集中化管理日志数据，高效完成运维任务。 17810 —————————————————————————————————————————————————————— 而在运营业务层面，云搜索服务能帮助运营人员进行数字化运营，包括但不仅限于流量运营，用户运营，产品运营和内容运营。基本流程与运维相似，收集重要指标，导入到云搜索服务，建立图表，进行后续业务分析。 17814 —————————————————————————————————————————————————————— 从技术上，整体云上架构如下，包括日志产生，日志采集，日志分析和日志场景。 17812 在大数据浪潮下，你离数据运营和智能运维只差一个云搜索服务，快戳下面链接来体验~~~云搜索服务

本帖最后由 ES_Siyu 于 2018-6-13 15:25 编辑使用云搜索请戳下面链接~~~ 云搜索服务 —————————————————————————————————————————————————————— 搜索无处不在，尤其是在移动互联的今天。无论是社交，电商，还是视频等APP中，搜索都已经在其中扮演了重要的角色。作为信息的入口，搜索能帮用户从海量信息中找到想要的信息。在APP搜索的典型场景如下： 17164 —————————————————————————————————————————————————————— 事实上，尽管搜索的概念深入人心，但做好一个体验绝佳的搜索服务并不是一件容易的事。在性能和搜索精度等细节上，都存在不可忽略的难点，而这些往往又是提升搜索体验的关键。 17233 —————————————————————————————————————————————————————— 对于想要搭建APP搜索的客户来讲，从技术层面出发，实现方案如下。云搜索服务是基于Elasticsearch，能够在毫秒级完成TB级检索任务并返回结果，能够很好解决传统数据库的性能问题。 17166 —————————————————————————————————————————————————————— 在云搜索服务中，我们针对客户的搜索痛点，做了如下优化，帮助客户增强用户体验，提升效率，快速实现业务增长。 17234 —————————————————————————————————————————————————————— 在云搜索服务中，我们额外提供关于分词和词库的解决方案，帮助客户解决搜索精准度等问题。 17169 —————————————————————————————————————————————————————— 总体而言，云搜索服务在互联网APP的搜索场景有如下的优势： 17171 使用云搜索请戳下面链接~~~ 云搜索服务

本帖最后由 ES_Siyu 于 2018-6-7 10:20 编辑华为云云搜索 背景某运维部门一直在使用华为云云搜索服务提供的ELK做业务系统的运维监控分析。一天，一位兄弟想统计当前各个集群的磁盘使用总量，并在Kibana上可视化分析，以此来决定是否采取扩容等措施。怎么获得集群磁盘使用总量呢？这很简单！只要获取集群中每一个节点最新上报的磁盘使用量，然后对它们求和，就搞定啦~~~ 那具体怎么实现呢？这自然而然会想到TopHit和Sum Bucket。Top hit能够根据某个字段对数据进行排序，然后返回排序后的Top N条数据中所指定字段的值。数据格式如下： 16491 设想步骤如下： （1）根据cluster字段将数据分成若干个buckets （2）在每个buckets，根据host字段继续将数据分成若干buckets （3）通过Top Hit对每个bucket的数据根据时间进行倒排 （4）返回top 1那条数据的disk_used_gb值（最新值） （5）利用Sum Bucket对返回的disk_used_gb值进行求和 问题注意：为了方便演示，我们在只包含一个集群的节点数据的索引中进行演示，来获取集群磁盘使用总量。 这位兄弟在Kibana的visualize界面中选择Sum Bucket聚合，并通过字段host进行分组后，但是在metric的aggregation中发现没有Top Hit选项，如下图所示 16492 如果通过http请求强行将Top_Hit与Sum_Bucket组合使用，则报如下所示的错误。根据ES相关资料，Sum_Bucket的确不支持Top_Hit。 16493 Last Hit --- 云搜索服务对Elasticsearch的功能增强为了解决这个问题，云搜索服务新增了一个Last Hit的插件。与Top Hit不同的是，它能够完美和SumBucket配合。这样我们就能通过Last Hit和Sum Bucket来实现这位兄弟的需求。 执行语句如下 16494 返回结果如下 16495 Kibana界面支持为了各位用户拥有更好的体验，图形化肯定是必不可少的。云搜索服务也做了相应的工作，使Kibana支持Last Hit。 回到最初场景，最终步骤如下： （1）根据cluster字段将数据分成若干个buckets （2）在每个buckets，根据host字段继续将数据分成若干buckets （3）通过Last Hit对每个bucket的数据根据时间进行倒排 （4）返回top 1那条数据的disk_used_gb值（最新值） （5）利用Sum Bucket对返回的disk_used_gb值进行求和 16496 总结 lasthit主要帮你解决当前时刻多组最新数据的统计问题，如果您有类似的场景诉求，lasthit都能帮您轻松实现 各位同学是不是觉得方便了很多~~~戳下面链接有更多惊喜~~~华为云云搜索

在互联网的开放和快速传播的背景下，民众越来越喜欢在网上表达意见。在这种背景下，舆情分析解决方案应运而生，帮助政府和企业对其所关心的业务产生洞察。细节请戳下面链接~~~https://forum.huaweicloud.com/thread-8993-1-1.html

在互联网的开放和快速传播的背景下，民众越来越喜欢在网上表达意见。在这种背景下，舆情分析解决方案应运而生，帮助政府和企业对其所关心的业务产生洞察。细节请戳下面链接~~~https://forum.huaweicloud.com/thread-8993-1-1.html

在互联网的开放和快速传播的背景下，民众越来越喜欢在网上表达意见。在这种背景下，舆情分析解决方案应运而生，帮助政府和企业对其所关心的业务产生洞察。细节请戳下面链接~~~https://forum.huaweicloud.com/thread-8993-1-1.html

在互联网的开放和快速传播的背景下，民众越来越喜欢在网上表达意见。在这种背景下，舆情分析解决方案应运而生，帮助政府和企业对其所关心的业务产生洞察。细节请戳下面链接~~~https://forum.huaweicloud.com/thread-8993-1-1.html

在互联网的开放和快速传播的背景下，民众越来越喜欢在网上表达意见。在这种背景下，舆情分析解决方案应运而生，帮助政府和企业对其所关心的业务产生洞察。细节请戳下面链接~~~https://forum.huaweicloud.com/thread-8993-1-1.html

在互联网的开放和快速传播的背景下，民众越来越喜欢在网上表达意见。在这种背景下，舆情分析解决方案应运而生，帮助政府和企业对其所关心的业务产生洞察。细节请戳下面链接~~~https://forum.huaweicloud.com/thread-8993-1-1.html

本帖最后由 ES_Siyu 于 2018-6-13 10:29 编辑在互联网的开放和快速传播的背景下，民众越来越喜欢在网上表达意见。因此在以下四个层面上，舆情产品逐渐兴起，为各类行业提供相关分析服务。 16354 舆情解决方案的业务流程大致如下。如果为政府机关等提供服务，则涉及到舆论监控，广播宣传等；如果为互联网企业，则会有竞品分析，口碑检测等业务，帮助客户对市场，用户和产品产生洞察等。 16355 技术上，云搜索服务在整个舆情分析解决方案所处的位置如下 16356 而华为云 云搜索服务能胜任舆情分析中的关键一环的原因如下： 16357 如果各位小伙伴们想快速体验，享受舆情分析后带来的洞察，欢迎戳下面链接~~~ https://www.huaweicloud.com/product/es.html

一些小伙伴在使用云服务时，经常会碰到价格算不清，计费方式搞不明白的情况。云搜索服务创建集群时将实例与存储分开提示，清晰明了，帮您了解每一分钱的真实去处~~ 这篇文章将用一个例子给大家展示，并教你省钱秘笈。 假设我们要创建一个云搜索集群，规格如下： 15740 1 创建集群收费提示 15741 在云搜索计费中，对于计算和存储采取不同的收费。 15759 可以看到： 集群价格/小时 = 计算价格/小时 + 存储价格/小时 在这种计费模式下，用户使用多少就付多少。消费明细可以在创建集群页面的底部显示。用户先使用，后付钱，系统每小时出一个账单。 在这种模式，每月和每年的消费是： 15743 也就是说，使用云搜索服务一年总共需要花费67977.6元，其中计算为61495.2元，存储为6482.4。 2 省钱秘笈 --- 折扣套餐云搜索服务针对长时间使用的用户，还有套餐优惠活动，对计算资源具有非常大的优惠，但不面向存储资源。 基本规则：在对应的节点计算规格下，将以一个优惠的价格提供每月750小时的使用时长。可以购买多个数量，并且如果包年，套餐将免费送两个月使用。 解释：750小时足够涵盖一个节点一个月的用量（750/24=31.25天） 15744 在这种模式，每月和每年的消费是：15745 也就是说，使用云搜索服务，在套餐优惠下，一年仅需要花费37734.6元，其中计算为31252.2元，存储为6482.4元。 可以看到，使用一年的套餐后，计算资源比之前便宜了近50%！ 3 总结 最后，我们将对比“按需计费”和“套餐计费”。15746 可以看到，购买套餐，一年收费总价将便宜44%！ 4 存储说明 许多小伙伴都发消息问存储打折情况。云搜索目前不提供存储包周期折扣，主要原因如下： （1） 存储包月优惠力度有限 （2） 云搜索支持单独磁盘扩容（不会中断业务），按需的灵活性更能满足客户的需求，帮助用户减少没必要的资源浪费 下面，我们将以具体的数字的来说明。 （1） 存储包月优惠力度 假设用户硬盘使用高I/O，使用量为1000GB。此时如果按需一个月需要352.8，而包月价位350。因此如果用户采取存储包月，也仅仅优惠了7.9%。所以可以看到，包月并不能带来太多优惠。 18155 （2） 避免没必要的资源浪费 在通常的业务场景中，用户的数据都是随时间增多。假设用户预计一年存储需求量为4000GB，那么简单分为以下两种场景： • 用户一开始就购买了4000GB包年 • 用户一开始只购买了1000GB按需，然后以后每个季度扩容1000GB，最终年底达到4000GB 此时花费明细如下： 18156 从表格可以看出，按需扩容一年下来反而比包年便宜14000-10584=3416元！归根结底，是按需收费和扩容避免了用户的资源浪费，最终反而能帮助客户减少开支，节约费用。