-
【功能模块】ES云搜索服务【操作步骤&问题现象】索引记录数频繁变为0,每次出现问题的时候把索引删掉再重新同步就可以了【截图信息】【日志信息】(可选,上传日志内容或者附件)
-
最近有个活动是服务零元购的,弄了一个云搜索服务免费试用。下面是试用的过程。可以看到是用的节点类型是鲲鹏规格。4u8g的。然后到控制台去创建集群,使用默认3个节点,不开启安全模式最终是这个样子:提交之后就开始申请了,感觉有一点慢,大概要十分钟左右可以创建好。点击这个kibana,进入到下面的页面,因为只是试用,还没有正式数据,所以我们弄一点测试数据。
-
【背景介绍】云搜索服务(Cloud Search Service,简称CSS)实例可以提供可用区(AZ)级高可用服务。在业务稳定性要求较高的场景中可以提供跨局点(region)级的实例复制和恢复能力。CSS跨region恢复场景一般在业务需要进行大量数据分析,并对数据要求有容灾的场景,针对region级的故障进行快速恢复。CSS跨region灾备场景对业务和数据能提供较高的可靠性,对提升业务的RPO和RTO均有改善。本文着重介绍如何使用CSS集群快照的方式对索引实例进行跨region实现恢复的方案和实现方法。【指导方案】1.1 CSS跨region迁移流程1) RegionA源集群中需要复制的索引实例设置集群快照,源数据通过快照保存至regionA的OBS中。2) RegionA对象存储OBS中配置OBS对象跨region复制,将数据同步到目标regionB的OBS的桶中。3) RegionB云搜索实例配置OBS中源数据对应的访问路径,在CSS实例的集群快照中恢复regionA源数据的索引实例。1.2 迁移环境部署1) CSS源数据集群的节点规格、节点数量、CSS版本需要低于或相同于目的数据集群。最低需要保证源集群和目的集群节点规格、节点数量、CSS版本一致。本次数据迁移源CSS数据集群配置如下:Region:上海二节点数量:1个,节点规格2U8G,存储40GCSS版本:7.9.3目的CSS集群配置如下:Region:北京四节点数量:1个,节点规格4U16G,存储40GCSS版本:7.9.32) OBS需要使用版本号为3.0的OBS实例。源数据OBS实例为dli-demo9,版本号3.0.目的数据OBS实例为cre-obs,版本号3.0.3) 索引实例准备源数据需要迁移的索引实例状态为green。上海二region迁移的索引实例为my_store,状态显示green。状态为yellow或red无法进行迁移,请先处理完后进行迁移。使用kibana的dev tools可以查看索引实例的状态:源实例中的数据如下:目的数据集群(北京四的集群)在迁移前只有系统默认的索引。无需要迁移的my_store实例存在。 1.3 CSS集群索引实例迁移步骤1) RegionA源数据CSS集群设置快照并生成快照文件。集群快照在基础配置内设置OBS桶为 dli-demo9,备份路径为自定义目录可修改为特定日期或者文件名称,IAM委托选择css_obs_agency。若无OBS桶可根据提示在regionA创建一个OBS实例。具体参考:https://support.huaweicloud.com/ugobs-obs/obs_41_0009.html2) 在regionA的OBS桶中确认是否有快照文件,查找路径为CSS实例中集群快照设置的路径。文件修改时间为创建快照的时间。3) 在regionA的OBS实例中设置跨区域复制,配置目的端regionB中OBS的相关信息。OBS实例管理界面中选择跨区域复制,创建规则。规则创建需要设置复制文件的前缀,无前缀默认全部复制。本次需要复制CSS相关文档。目标桶为regionB的OBS实例名称,本次选择北京四的cre-obs实例。IAM委托权限需要选择授权可进行跨region复制的权限。4) 文件复制完成,文件复制视复制数据的大小决定。在regionB的桶对象中查找文件。本次在北京四的OBS实例cre-obs中找到已经传输完成的文件,时间为regionA(上海二)CSS进行集群快照创建的时间。文件确认存在后复制快照所在文件的目录,点击复制路径选择文件目录备用。5) 在regionB的CSS集群实例中设置集群快照的基本配置,在OBS实例选择准备好的实例,本地为北京四cre-obs。文件路径为复制路径的地址,粘贴到文件路径框。IAM委托选择 css_obs_agency。进群快照界面选择刷新按钮,出现快照文件,检查是否为regionA中定义的文件名称。6) 点击恢复按钮,按照提示输入索引名称选择本次需要恢复的实例my_store,恢复实例选择regionB内的实例。7) 查看恢复进度和状态,恢复成功会显示相应成功提示。恢复失败会提示失败信息,根据失败信息处理完成后会提示成功。8) 在CSS集群自带的kibana管理界面查看索引实例是否已经恢复成功。本次恢复的实例my_store已在北京四region可查询到,文件大小一致。CSS集群跨region迁移完成。9)Kibana的dev tools工具中可以查看到在北京四的集群中已恢复的索引my_store状态为green。北京四集群查询索引my_store中的数据:上文中上海二集群中的索引my_store的源数据和北京四对比为同一数据:
-
【11.11上云嘉年华,云搜索服务限时5折钜惠】云搜索服务CSS 5折火热抢购中!热门应用场景 站内搜索打造企业内部搜索引擎助力企业搜得快、搜得准!!!火热抢购中→点此直达云搜索服务能够帮助网站和APP搭建搜索框,提升用户寻找资料和视频的体验;还可以搭建日志分析平台;在运维上进行业务日志分析和监控;在运营上进行流量分析。其中:高性能向量检索引擎可以使直播平台视频去重效率提升100%,同时提升系统的可扩展性;存算分离方案与预聚合能力,帮助手机厂商日志运维业务成本降低50%,报表性能提升50倍;高性能空间检索能力,让地图服务商地理编码与逆地理编码效率提升300%,精度达到1cm。现在,华为云云搜索服务开启5.0折优惠,最低933.00/3个月起。
-
请问php如何接入华为云搜索css,求告知。在网上也没用搜到相关案例
-
大家好,这里是云搜索服务论坛答疑专区,有相关问题都可以在这里询问~
-
1、云搜索服务支持哪个Elasticsearch版本云搜索服务中Elasticsearch搜索引擎目前支持Elasticsearch 5.5.1、6.2.3、6.5.4和7.1.1版本,Kibana目前支持5.5.1、6.2.3、6.5.4和7.1.1版本。2、云搜索服务支持哪些访问方式云搜索服务支持以下两种访问方式:Restful APITransport Client使用Transport Client访问云服务时,需要确保客户端与服务端的版本一致,否则可能出现无法访问的情况。
-
管理云搜索服务,或使用其搜索引擎的API,提供了如下三种方式。可以基于已构建好的请求消息发起请求。curlcurl是一个命令行工具,用来执行各种URL操作和信息传输。curl充当的是HTTP客户端,可以发送HTTP请求给服务端,并接收响应消息。curl适用于接口调试。关于curl详细信息请参见https://curl.haxx.se/。编码通过编码调用接口,组装请求消息,并发送处理请求消息。REST客户端Mozilla Firefox、Google Chrome都为REST提供了图形化的浏览器插件,发送处理请求消息。– 针对Firefox,请参见Firefox REST Client。– 针对Chrome,请参见Postman。
-
创建集群过程中,最少可创建1个节点,最多可创建200个节点,其中每个节点(对应一个ECS)可挂载一定数量的EVS。可参考不同ECS挂载EVS卷大小的不同,计算出云搜索服务存储容量的总大小,EVS卷大小限制详情请参见下方中的使用限制。集群和节点限制下表显示了云搜索服务的集群和节点的限制。表1 集群和节点限制集群和节点限制每个集群的最大节点数(节点数量)默认值32,最大支持200个节点,如果需要更改默认值,请联系华为云支持。每个集群的最小节点数(节点数量)1EVS卷大小限制下表为云搜索服务支持的每个节点类型所对应的EVS卷的最小容量和最大容量。表2 EVS卷大小限制(X86计算)节点类型最小EVS容量(GB)最大EVS容量(GB)ess.spec-2u16g401280ess.spec-4u8g40800ess.spec-4u16g401600ess.spec-4u32g402560ess.spec-8u16g801600ess.spec-8u32g803200ess.spec-8u64g805120ess.spec-16u32g1003200ess.spec-16u64g1006400ess.spec-16u128g16010240ess.spec-32u64g32010240ess.spec-32u128g16010240ess.spec-32u256g32020480表3 EVS卷大小限制(鲲鹏计算)节点类型最小EVS容量(GB)最大EVS容量(GB)ess.spec-kc1.xlarge.2401280ess.spec-kc1.xlarge.4402560ess.spec-kc1.2xlarge.2402560ess.spec-kc1.2xlarge.41005120ess.spec-kc1.4xlarge.21005120ess.spec-kc1.4xlarge.410010240ess.spec-kc1.8xlarge.210010240ess.spec-kc1.8xlarge.410010240ess.spec-kc1.12xlarge.210010240ess.spec-kc1.15xlarge.210010240浏览器限制访问云搜索服务管理控制台,建议使用如下版本浏览器Google Chrome:36.0及更高版本Mozilla FireFox:35.0及更高版本Internet Explorer:9.0及更高版本当使用Internet Explorer 9.0时可能无法登录云搜索服务管理控制台,原因是某些Windows系统例如Win7旗舰版,默认禁止Administrator用户,Internet Explorer在安装时自动选择其他用户如System用户安装,从而导致Internet Explorer无法打开登录页面。请使用管理员身份重新安装Internet Explorer 9.0或更高版本(建议),或尝试使用管理员身份运行Internet Explorer 9.0。访问云搜索服务中Kibana,建议使用如下版本浏览器Google Chrome:36.0及更高版本Mozilla FireFox:35.0及更高版本Internet Explorer:11.0及更高版本,不支持IE9
-
云搜索服务采用EVS和本地磁盘存储用户的索引。在集群创建过程中,用户可指定EVS的类型及规格(即卷大小)。支持EVS类型有普通I/O(SATA存储提供资源的磁盘类型)、高I/O(SAS存储提供资源的磁盘类型)、超高I/O(SSD存储提供资源的磁盘类型)。针对不同的ECS,其对应的EVS卷大小限制请参见《云搜索服务产品介绍》中的使用限制章节。
-
用户需要关注的监控指标为磁盘使用率和集群健康状态。用户可以登录到云监控服务,根据实际应用场景配置告警提示,当收到告警,可采取相应措施消除告警。告警配置方法,请参见《云搜索服务用户指南》中的创建告警规则。配置示例:如果在某段时间内(如5min),磁盘使用率出现多次(如5次)不低于某特定值(如85%)的情况,则发出相应告警。如果在某段时间内(如5min),集群健康状态出现多次(如5次)大于0的情况,则发出相应告警。采取措施:收到与磁盘使用率有关的告警时,可以调查磁盘空间消耗,查看是否可以从集群节点中删除数据或是将数据存档到其他系统以释放空间,或者扩容磁盘。收到与集群健康状态有关的告警时,可以查看集群的分片分配是否正常以及Shard是否已丢失,在Cerebro上查看进场是否发生重启。
-
云搜索服务主要从以下几个方面保障数据和业务运行安全:网络隔离整个网络划分为2个平面,即业务平面和管理平面。两个平面采用物理隔离的方式进行部署,保证业务、管理各自网络的安全性。业务平面:主要是集群的网络平面,支持为用户提供业务通道,对外提供数据定义、索引、搜索能力。管理平面:主要是管理控制台,用于管理云搜索服务。主机安全云搜索服务提供如下安全措施:通过VPC安全组来确保VPC内主机的安全。通过网络访问控制列表(ACL),可以允许或拒绝进入和退出各个子网的网络流量。内部安全基础设施(包括网络防火墙、入侵检测和防护系统)可以监视通过IPsec VPN连接进入或退出VPC的所有网络流量。数据安全在云搜索服务中,通过多副本、集群跨az部署、索引数据第三方(OBS)备份功能保证用户的数据安全。
-
云搜索服务适用于日志搜索和分析、时空检索、时序检索和报表、智能搜索等场景。
-
云搜索服务(Cloud Search Service,简称CSS),为您提供托管的分布式搜索引擎服务,支持Elasticsearch搜索引擎,支持结构化、非结构化文本的多条件检索、统计、报表。云搜索服务会自动部署,快速创建Elasticsearch集群。免运维,内置搜索调优实践;拥有完善的监控体系,提供一系列系统、集群以及查询性能等关键指标,让用户更专注于业务逻辑的实现。
-
如果用户已购买云搜索服务折扣套餐,为了在到期之后还可以继续使用该折扣套餐,用户可以提前续费。如果没有及时续费,则该折扣套餐到期之后将不能继续使用。如需继续使用折扣套餐,请重新购买。续费包括如下2种方式:手动续费自动续费背景信息如果已开通自动续费,系统将于折扣套餐到期前7天开始尝试扣款,直到折扣套餐到期时间,请保持余额充足。如果已手动续费后,又开通了自动续费,则系统会先完成手动续费,再按照设置的自动续费周期进行续费。开通自动续费的折扣套餐可随时进行手动续费。手动续费成功后自动续费依然有效,系统将在折扣套餐新的到期时间前7天开始尝试扣款。前提条件只有通过实名认证的用户,才可以执行续费操作。自动续费登录云搜索服务管理控制台。单击页面右上角的“费用”进入“费用中心”页面。在左侧导航栏中选择“续费管理”。在“续费管理”页面上设置查询条件,找到待续费的云搜索服务。为待续费的云搜索服务开通自动续费。单个开通自动续费:单击待续费的云搜索服务对应“操作”列的“开通自动续费”。批量开通自动续费:在资源列表中选中待续费的云搜索服务前面的复选框,单击列表左上角的“设置自动续费”。确认需要续费的云搜索服务信息,并设置“自动续费周期”。单击“开通”。开通自动续费后,系统会按照设定的续费周期自动完成续费的操作。
上滑加载中
推荐直播
-
全面解析华为云EI-API服务:理论基础与实践应用指南
2024/11/29 周五 18:20-20:20
Alex 华为云学堂技术讲师
本期直播给大家带来的是理论与实践结合的华为云EI-API的服务介绍。从“主要功能,应用场景,实践案例,调用流程”四个维度来深入解析“语音交互API,文字识别API,自然语言处理API,图像识别API及图像搜索API”五大场景下API服务,同时结合实验,来加深开发者对API服务理解。
回顾中 -
企业员工、应届毕业生、在读研究生共探项目实践
2024/12/02 周一 19:00-21:00
姚圣伟 在职软件工程师 昇腾社区优秀开发者 华为云云享专家 HCDG天津地区发起人
大神带你一键了解和掌握LeakyReLU自定义算子在ONNX网络中应用和优化技巧,在线分享如何入门,以及在工作中如何结合实际项目进行学习
即将直播 -
昇腾云服务ModelArts深度解析:理论基础与实践应用指南
2024/12/03 周二 14:30-16:30
Alex 华为云学堂技术讲师
如何快速创建和部署模型,管理全周期AI工作流呢?本期直播聚焦华为昇腾云服务ModelArts一站式AI开发平台功能介绍,同时结合基于ModelArts 的实践性实验,帮助开发者从理论到实验更好地理解和使用ModelArts。
去报名
热门标签