【功能模块】1.es功能【操作步骤&问题现象】1、编辑云搜索，添加Device_syncAllDeviceToES，Organization_syncAllOrgToES脚本2、执行这两个脚本时，报错，希望帮忙解决对象'Connector'中不存在记录'esConnector', 或者用户无权操作该记录【截图信息】【日志信息】（可选，上传日志内容或者附件）顾庆耀/18068848554/guqingyao@chinasoftinc.com

业务使用过程中，经常需要将大量数据批量导入到Elasticsearch中，总结在MRS ES中能够快速实现数据导入的方式，可以学习使用。方式一：通过Logstash导入数据Logstash 是Elasticsearch官方提供的数据采集工具，能够动态地采集、转换和传输数据，不受格式或复杂度的影响。Logstash 支持各种输入选择，可以同时从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。MRS ES对接Logstash指南详见MRS产品文档的《Elasticsearch对接Logstash》章节，该章节指导用户快速对接安全/普通模式的MRS ES。方式二：使用ES2ES工具迁移/导入数据使用该工具客户已将开源ES/其他MRS ES集群的数据导入到本地集群中。支持两种迁移方式：Scroll和reindex。Scroll跨集群数据拷贝工具包的原理是通过利用滚动遍历策略和bulkAPI，每次完成一个index的数据迁移。主要用于完全兼容的两个ES版本之间数据迁移/拷贝Reindex跨集群数据拷贝工具包的原理是通过利用reindex API，完成多个index的数据迁移。支持ES跨大版本之间的数据迁移和拷贝。工具详细使用方法见MRS产品文档的《使用ES2ES工具迁移Elasticsearch数据》方式三：使用HBase2ES工具导入数据该工具支持使用TableScanMR并发或HBase直接扫描方式从HBase中获取数据并导入到Elasticsearch集群中。在ES替换Solr的场景中，若源数据保存在HBase时，可以使用该工具快速完成数据迁移。工具详细使用方法见MRS产品文档的《使用HBase2ES工具迁移HBase数据》方式四：HDFS2ES工具导入数据若源数存储在HDFS上，可以通过该工具运行Mapreduce方式将HDFS中格式化的数据导入到Elasticsearch中。工具详细使用方法见MRS产品文档的《使用HDFS2ES工具迁移HDFS数据》 不推荐使用：Hive on ES，性能较差，且导入过程中不稳定。

【功能模块】MRS8.0.3-Elasticsearch7.10【操作步骤&问题现象】1、使用用户相同，elasticsearch给索引创建别名，出现一个索引无权限创建别名，索引创建命令使用的是一样的，无权限是因为用户信息没有写入zk2、单独测试创建索引log4x_topo_app_stats_0成功，添加别名失败，报无权限。创建索引log4x_topo_app_stat_0成功，添加别名成功同一个用户，log4x_topo_app_stats_0目前这个索引创建用户信息不能写入zk，其他索引可以【截图信息】

按照官方指导：https://www.elastic.co/guide/en/elasticsearch/reference/7.6/docs-reindex.html，在做reindex时可以指定路由字段，通过该字段进行路由。一定要注意，指定路由字段官方只给了一种方式，这种方式路由值是固定的，如下：curl -X POST "localhost:9200/_reindex?pretty" -H 'Content-Type: application/json' -d' { "source": { "index": "source", "size": 100 }, "dest": { "index": "dest", "routing": "=cat" } } '这种方式会导致routing值一直为“cat”，如果目标索引设置了routing_partition_size，比如为8，那么新的数据会只分布在这8个分片上，其他分片没有数据。如果想按照某个字段的值进行routing的话，请使用以下方式，这样会根据rounting_field字段的具体值进行路由：curl -X POST "localhost:9200/_reindex?pretty" -H 'Content-Type: application/json' -d' { "source": { "index": "source", "size": 100 }, "dest": { "index": "dest" }, "script": { "inline": "ctx._routing = ctx._source.routing_field", "lang": "painless" } } '

执行esTransportClient.sh 卡住但是同一个客户端上，同一个用户使用RestClient客户端执行esRestClient.sh正常按照MRS3.0.3用户指南上操作， 而且使用java  也是无法创建TransportClient,和上面情况类似也是一直卡住（信息如下），请问这个情况是哪里出问题。

【功能模块】可靠性【操作步骤&问题现象】1、ElasticSearch如何保证数据可靠性？2、【截图信息】【日志信息】（可选，上传日志内容或者附件）

微服务分布式情况如何实现统一认证写在网关服务中还是？

1，现在要做业务迁移  把之前自己的es业务逻辑 全部都放到华为云的es上2，现有业务使用得是spring data 封装的ElasticsearchRepository工具类操作es3，如果切换为华为的es，需要修改逻辑代码吗  所有ElasticsearchRepository操作变成PreBuiltHWTransportClient这种操作方式吗?4，如果不改代码  华为的 认证模块 应该如何添加

正排索引，从Key（文档编号）找value，效率很低。倒排索引，通过value找key,有很高的效率。理解的很糊涂。这里的人名、喜欢啊等词就是value，数量虽然有限，但也可以有很多啊通过kibana执行restful api，比如get 看集群健康状况；put 创建一个没有分片的小索引post 添加文档对象（自动生成文档id); delete删除多个索引其实，用CURL也很方便，多指定GET等方法，IP和端口等就可以查找文档的2种路由算法，就是怎么将文档放到分片，又怎么到分片上去找文档。因为默认的路由算法中，主分片的个数是一个重要的因子。所以不能随便修改索引的主分片个数。不同的ES版本，对于扩容的支持的程度是不一样的。如不支持、成倍、自由等。还有一种就是指定写到哪个分片的路由算法。自动分片的平衡算法。算法内容就不深入了。扩容一般建议水平扩容，当单实例索引的数目达到10亿条或大小到了1T；减容，可以通过华为CSS的管理台去操作。使用ES索引Hbase数据，2者之间协同的方式，可以有实时和批量索引的方式（用Hbase2ES组件）当一个节点上部署了多个ES实例，有可能存在同一个节点上既有主分片又有从分片。这样会产生单点故障。有一个跨节点分配的配置可以解决。而不仅是跨实例分配。 cluster.routing.allocation.same_shard.host:true

分布式架构概念Cluster中包含EsNode 和EsMastershards是索引的分片，放到多个节点上。replicas是索引的副本，也就是分片的副本。好处除了，提供容错性，还有一个你想到了吗就是提高查询效率。recovery是数据恢复或重新分布，当加入、退出节点时有这些工作要做，我猜想可能非常耗时耗力gateway，索引快照的存储方式transport 内部节点或集群与客户端交互方式，默认TCP

ES是主从结构。主节点由选举机制选出。分片和备份。Shard 和Replica主节点挂了之后，在从节点中选取主节点。数据一般放在内存里，满了刷到磁盘持久化。从下到上的架构：  gateway(索引存储) > distribute lucene dir > Index & Search & Mapping & River> Discovery（节点管理、选举） 支持的脚本语言 插件 > 和客户端的通讯方式 > Restful style API （封装了索引和搜索功能）基本概念是要理解的：Index相当于关系型数据库中的数据库实例，这个很不一样哦Type在es7中已被删除，因为会导致数据稀疏，所以以后是1个Index就1个TypeDocument被索引的基本单位Mapping约束字段的类型，以及如何索引

最近弄了一个云搜索的服务，简称CSS，那就先要理解一下其中的服务，第一个就是ES，就是elasticSearchES是基于Lucene的全文检索，但对其进行了扩展。它是分布式的，也可以是单台的。它支持结构化和非结构化的数据。特点有什么呢？高性能（BKD，检索快）、扩展性、相关性（排序）、可靠性它的应用场景，除了日志检索，还有：时空检索、智能搜索等。它的生态圈，最下层是数据接入层：logstach中间是ES上层是用户接入层：kibana,具有可视化能力另外还有插件扩展。

这个jar包如何获取？

按照上述方式做了样例代码测试，跑通之后遇到几个问题  望详解1，部署项目上线的时候 conf 文件放到哪里(是否所有涉及到es的微服务项目都需要安全认证----这里应该是要单独在创建一个项目来做权限认证把)2，现有es使用的是ElasticsearchRepository 1.ElasticsearchRepository 使用的是com.springframework下的包，而样例代码使用的是华为封装的包com.huawei是不是要把所有业务代码移植成华为的这种写法？小白一枚 望详解

功能模块】fusioninsight.elasticsearch 【操作步骤&问题现象】1、样例代码跑通了2、现在要做业务迁移  把之前自己的es业务逻辑 全部都放到华为云的es上3，以前的添加方式， 通过ElasticsearchRepository工具类 直接保存list 4，看了文档没有操作list的方式 ，使用华为的这个工具 应该怎么操作list