Q1：es 9200和9300端口；A1：9200端口为外部访问es集群端口，9300为节点之间通讯端口，要在同VPC子网内访问；Q2：套餐包在余额不足,续费后还是提示报警。A2：充值后只是续费时长，没有扩充容量，所以会有提示，请客户新购买套餐即可；Q3：索引资源释放A3：a、在kibana界面的devTools窗口中执行：DELETE /my_index，手动清理；    b、自动化定期清理，可以写定时任务调用清理索引的请求，定期执行。Q4：是否支持自定义安装插件A4 : 目前不支持客户侧自助安装插件；有需求可咨询相关技术人员；Q5：css目前安装了那些分词器；A5：ik分词、泊松分词（只对6.2.3版本）、拼音分词，ICU分词，dynamic synonym分词，stconvert 分词Q6：云搜索服务Kibana监控板加载慢或加载不出；A6：出现的原因：客户侧浏览器缓存问题，非故障问题。解决方案：短期：建议客户清理浏览器缓存，kibana恢复访问长期：CPU负载过高，建议客户扩容节点Q7：在kibana里面执行从一个索引重新索引到另一个索引  "statusCode": 504；A7：客户单节点集群，请求体不合理；双副本的index有shard未分配，集群状态yellow。先扩容一个节点，集群状态恢复green，然后提供合理的请求体：参考如：POST _reindex{"conflicts": "proceed","source": {"index": "cls_1508212"},"dest": {"index": "cls_1508_v112""version_type": "external"}}Q8:云搜索服务，查询默认最大队列是多少，查询队列最大值与CPU的有没有线性关系A8:查询队列大小默认是1000;  如果只是段时间的高峰，是由于数据量突然增大导致的队列慢，可以通过增加队列长度来解决。 如果是常态，则表明ES处理能力不够，增加队列也没用，需要考虑扩容及调优。 查询队列最大值与CPU没有关系Q9:CSS是否支持自建kibana连接访问A9:CSS内已集成了kibana,不支持自建kibana；Q10：购买折扣套餐后，看不到集群信息数据；A10: 购买套餐后，还需要自行购买相应规格的集群；Q11：购买一个月的套餐，为什么才半个月提示套餐即将使用完；A11：月套餐的提前使用完，主要与三个因素有关系：集群节点中途扩容，集群使用数量，时间；集群中途扩容：如：购买折扣套餐为1节点的套餐*1；创建集群1节点，正常可以使用一个月；月中扩容到2节点，后半个月，两个节点同时消耗该套餐，使得套餐提前使用完毕；集群的数量：如：购买了1节点折扣月套餐*1；正常可以满足一个1节点的集群使用一个月；现创建两个都是1节点的集群；是的只能使用半个月的时间；建议购买多个同规格套餐数量；时间：购买的套餐，只限在当前时间段使用，剩余即作废，提前使用完转为按需收费；Q12：CSS支持的filebeats版本A12：CSS目前仅支持OSS filebeats版本对接；Q13：忘记安全访问密码，需要找回来；A13：用户自行找回密码功能在开发中；如有需要请联系技术人员支持；Q14：当前磁盘空间不足，需要扩容；A14：在console集群列表界面， 列表最右边，”更多“-->”更改规格“执行操作；Q15：自定义localtimestamp，由于无法获取UTC格式，因此上报格式改为为：%Y-%m-%d %H:%M:%S.%f。目前上报内容无法在ES上搜索查看A15：自定义字段类型需遵循既定规范；或者自定义字段当做普通的字符串使用text字段类型；Q16：用自定义主词词库，按照文档创建了utf8 bom编码的txt,然后分行创建了两个词汇：RS485和ABUS。将一个包含“RS485ABUS“文本的字段同步到css中，但是在kibana 中RS485搜索，无法查询出来；只能通过RS485ABUS 搜索才能查询出结果，A16：输入的是一个单词，不是句子，es不会再进行分词，所以搜索的时候必须输入完整的单词才能搜索到；Q17: es在kibana上查看硬盘占用显示磁盘足够,可有空间超过90G,但是日志里面显示磁盘不够,disk threshold would have less than the required threshold of 0b,导致索引无法分配A17:用户根据磁盘空间85%定时清理索引数据，然后新建indx，新建index的时候磁盘没有及时释放，导致创建index时磁盘空间超过阈值，shard无法分配。解决方案：临时方案：触发重新分配，index自动分配到节点。长期：客户优化定时任务，提前释放磁盘空间Q18：CSS是否有限制http连接数；A18：不做限制Q19：CSS集群公网访问方法A19:  6.5.4以上版本开启安全模式后支持绑定弹性IP，具体参考：https://support.huaweicloud.com/usermanual-css/css_01_0076.html5.5.1和6.2.3版本的集群可以参考https://bbs.huaweicloud.com/forum/thread-12072-1-1.html 或者 https://bbs.huaweicloud.com/forum/thread-21639-1-1.htmlQ20：跨region拷贝数据A20：需要把两个region的vpc联通；Q21:ES大数据量下分页的问题A21:大数据量ES查询不建议采用from+size随机分页，在数据量非常大的情况下，from+size分页会把全部记录加载到内存中，这样做不但运行速递特别慢，而且容易让es出现内存不足而挂掉。可以采用scroll滚动分页，但是不支持随机，需要用户进行取舍。Q22：客户的云搜索服务已经新购买套餐包了，但是续费管理那还是显示着即将到期A22：直接新购的套餐包就是按需套餐包，如果买的续费套餐包，它生效时间是必须在之前套餐包有效期之后；Q23：RDS数据如何导入ESA23：1、云上有CDM云迁移服务，支持RDS单表导入CSS服务的ES集群；2、客户可以自己写应用先从RDS读出数据，再调用ES的接口将数据写入ESQ24：es自动创建时间戳方法A24：_timestamp在es5.0之后的版本被废除了，可以通过管道的方式设置：创建pipeline：PUT _ingest/pipeline/timestamp{"processors" : [ {"set" : {"field": "timestamp","value": "{{_ingest.timestamp}}"}} ]}创建索引：PUT newindex/type/3?pipeline=timestamp{"example": "data3"}Q25：集群如何开启安全模式，和下载安全证书A25：集群6.5.4版本及以上版本在创建集群的时候，可开启安全模式并设定密码，安全证书可在集群基本信息中下载；Q26：云搜索服务能否屏蔽只读用户对kibana的访问入口A26：当前还不支持屏蔽只读用户对kibana的访问入口，可以通过开通6.5.4版本集群安全认证来实现对让用户访问的控制。Q27:es集群是否支持绑定弹性IP；A27：es集群暂时不支持绑定弹性IP；Q28：ES是否能够提供接口导数据到客户自建的granafaA28：es提供有读数据接口，需要客户应用从es读数据后再写入granafa，参考https://www.elastic.co/guide/en/elasticsearch/reference/current/docs.html

1、简介ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官方链接：https://www.elastic.co/cn/products/elasticsearch类别：搜索引擎2、基础环境类别子项版本获取地址(方法)华为云虚拟机KC1（920）--OSCentOS7.5Kernel4.14软件包elasticsearch6.3.0https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.0.tar.gzjdk1.8.0yum安装3、依赖安装 安装JDKyum install -y java-1.8.0-openjdk 查看java版本java -version 4、组件编译安装从官网下载elasticsearch并解压wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.0.tar.gztar -xzf elasticsearch-6.3.0.tar.gz5、系统配置   Elasticsearch默认是不允许root用户运行的,添加非root用户。useradd esgroupadd es     修改ES安装目录的权限。chown -R es:es elasticsearch-6.3.0修改/etc/security/limits.conf文件，添加或修改如下行。*        hard    nofile          65536*        soft    nofile           65536修改 /etc/sysctl.conf 文件，添加或修改如下行vm.max_map_count=655360#如果该文件不存在，则应安装initscripts使当前环境设置vm.max_map_count生效sysctl -w vm.max_map_count=655360   修改ES配置禁用xpack.mlecho 'xpack.ml.enabled: false' >> elasticsearch-6.3.0/config/elasticsearch.yml   切换es账号su - es启动ES服务sh elasticsearch-6.3.0/bin/elasticsearch说明：后台启动需要添加-d参数。检查ES端口状态netstat -antlp|grep 9200 6、测试  测试内容：elasticsearch服务是否正常启动  测试结果：启动正常 7、参考信息官方文档：https://www.elastic.co/cn 8、FAQ无

1、简介ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎。官网：https://artifacts.elastic.co2、基础环境类别子项版本获取地址(方法)华为云虚拟机KC1（920）--OSCentOS7.7Kernel4.14软件包ElasticSearch5.6.3https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.3.tar.gz 3、依赖安装 yum install -y java-1.8.0-openjdk4、组件编译安装   获取源码包cd /vdb/langwget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.3.tar.gztar xf elasticsearch-5.6.3.tar.gz5、系统配置   修改单进程最多可用于内存映射区大小为262145（ElasticSearch要求最小为262144）。vim /etc/sysctl.conf增加vm.max_map_count=262145sysctl –p 使配置生效#如果该文件不存在，则应安装initscripts   修改系统支持的文件句柄为65536。   系统默认文件句柄为65535，您可用ulimit -n查询，ElasticSearch要求最低为65536。   执行以下命令，编辑ElasticSearch-nofile.conf文件，添加如下内容。vi /etc/security/limits.d/ElasticSearch-nofile.conf    *  soft nofile 65536        *  hard  nofile 655336reboot重启生效   配置ElasticSearch启动文件cd /vdb/lang/elasticsearch-5.6.3vim config/elasticsearch.ymlnetwork.host修改为本地地址，http.port端口改为9301   创建账户并配备权限（ElasticSearch不支持root直接运行）。useradd elasticsearchgroupadd elasticsearchchown elasticsearch:elasticsearch ../elasticsearch-5.6.3 -R切换到“elasticsearch”账号下，运行ElasticSearch。su  elasticsearch./bin/elasticsearch   #启动6、测试curl localhost:9301      7、参考信息  无8、FAQ  无

1 ElasticSearch简介ElasticSearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用ElasticSearch的水平伸缩性，能使数据在生产环境变得更有价值。ElasticSearch 的实现原理主要分为以下几个步骤，首先用户将数据提交到Elastic Search 数据库中，再通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据，当用户搜索数据时候，再根据权重将结果排名，打分，再将返回结果呈现给用户。2 环境信息2.1 环境信息类别子项版本获取地址OSCentOS7.5 Aarch64href="https://www.centos.org/download/" https://www.centos.org/download/服务器配置16U16GB50GB软件ElasticSearch5.6.3https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.3.tar.gz3 软件移植3.1 环境准备：OS安装类型：CentOS-7.5-aarch64-1804。 注：操作系统安装使用最小简化版安装(如上图)，其余步骤安装一般安装操作系统步骤即可。 3.1.1 相关软件下载上传：1、 上传CentOS 7.5系统ISO镜像文件至服务器2、 上传elasticsearch-5.6.3.tar压缩包至服务器目录下,如/opt下载地址：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.3.tar.gz 3.2 安装ElasticSearch 1、 提前修改内核参数，并使之生效。a. 修改单进程最多映射大小（ElasticSearch最小要求262144）b. vi /etc/sysctl.conf c. 使上面的命令生效sysctl -p d. 修改参数，保存后重启云服务器生效。（ecs服务器不可以用reboot重启，需要去云平台上让管理员重启，否则可能不生效） 2、 使用脚本安装ElasticSearch。a. 上传以下脚本至要安装ElasticSearch的服务器上的任意目录，如/opt。    （elasticsearch_install.sh）b. 执行如下命令添加执行权限：        chmod u+x /opt/elasticsearch_install.shc. 执行脚本安装        sh /opt/ elasticsearch_install.sh3.3 验证执行1.启动切换elasticsearch用户，进入bin目录启动elasticsearch。su – elasticsearch/opt/install/elasticsearch-5.6.3/bin/elasticsearch 2.客户端访问 4 参考信息5 FAQ

如题

1、简介      ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。      官方链接：https://www.elastic.co/cn/products/elasticsearch      类别：搜索引擎2、基础环境类别子项版本获取地址(方法)华为云虚拟机RC3（916）--OSCentOS7.5 Kernel4.14 软件包GCC4.8.5 elasticsearch6.2.2 Jdk1.8.0 ncurses5.9.14 zlib1.2.7 perl5.16.3 cmake2.8.12.2 openssl1.0.2k libaio0.3.109 3、依赖安装清除yumyum clean all下载服务器包到本地缓存yum makecache更新yum 包yum -y update   安装操作系统自带依赖软件版本yum install gcc gcc-c++ cmake ncurses-devel bison libaio-devel libncurses-devel libopenssl-devel zlib-devel autoconf perl per-devel4、组件编译安装   下文以此配置为例安装目录：${INSTALL_DIR}解压后的ES源码目录：${PATH_TO_ES}解压后的JDK源码目录：${PATH_TO_JDK}   从官网下载JDK源码并解压wget https://download.oracle.com/otn/java/jdk/8u211-b12/478a62b7d4e34b78b671c754eaaf38ab/jdk-8u211-linux-arm64-vfp-hflt.tar.gztar -xzvf  jdk-8u211-linux-arm64-vfp-hflt.tar.gz   配置JAVA环境变量，编辑/etc/profile文件，在文件末尾添加JAVA的环境变量export JAVA_HOME=${PATH_TO_JDK}export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATHexport JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/binexport PATH=$PATH:${JAVA_PATH}   使环境变量生效source /etc/profile   验证JDK安装，出现java版本信息，即安装成功。java -version从官网下载elasticsearch源码并解压wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.2.tar.gztar -xzvf  elasticsearch-6.2.2.tar.gz5、系统配置 Elasticsearch默认是不允许root用户运行的,添加非root用户。useradd es修改ES安装目录的权限。chown -R es:es ${PATH_TO_ES}修改/etc/security/limits.conf文件，添加或修改如下行。*        hard    nofile           65536*        soft    nofile           65536修改 /etc/sysctl.conf 文件，添加或修改如下行vm.max_map_count=655360切换es账号su - es启动ES服务sh  ${PATH_TO_ES}/bin/elasticsearch检查ES端口状态。netstat -antlp|grep 9200访问ES服务。curl localhost:92006、测试 测试内容：elasticsearch服务是否正常启动 测试结果：7、参考信息官方文档：https://www.elastic.co/cn8、FAQ无

软件/服务说明华为云RDS服务Mysql v5.7.23华为云云搜索CSS服务ElasticSearch v6.2.3canal.adapter-1.1.3.tar.gzcanal.deployer-1.1.3.tar.gzGithub开源ETL软件canal华为云ECS用来部署canalDeployer和canalAdapter，Windows或Linux都行，本文档使用Windows演示。Postman在华为云ECS中调用canal的Restful接口手动触发历史存量数据导出；Linux下用curl命令。 备注：华为云RDS服务、云搜索CSS服务、ECS三者必须网络相同，即vpc、子网、安全组一致。  一、配置并拉起canal deployer服务1.       在RDS服务界面获取数据库访问地址，如下图                                               2.       下载并解压canal最新release的deployer包3.       编辑conf/example/instance.properties，配置mysql访问地址和账号密码，如下图4.       启动Deployer进程，命令如下.\bin\ startup 二、配置并拉起canal adapter-es服务1.       华为云CSS服务conle界面，获取ES集群访问地址，如下图 2.       下载并解压canal最新release的adapter包3.       编辑conf/application.yml，配置canalDeployer访问地址、mysql访问地址和账号密码、ES访问地址和集群名称，如下图备注：端口请使用9300，不要使用9200          mytest是mysql数据库名称 4.       配置conf/es/*.yml文件，定义mysql数据到ES数据的映射字段，如下 数据库mytest中user表的字段如下 华为云CSS集群中定义的mytest_user索引的mapping如下     "mappings": {            "_doc": {                "properties": {                    "name": {                        "type": "text"                    },                    "role_id": {                        "type": "long"                    },                    "c_time": {                        "type": "date"                    }                }            }        } 更多配置样例参考Sync-ES wiki 5.       启动canal-adapter启动器bin/startup 备注：该进程会自动同步增量数据到华为云CSS(ES)集群 三、手动导出历史存量数据1.       从canal adapter的配置文件application.yml中查看http的启动端口默认是80812.       安装postman，使用postman下发restful接口导出历史存量数据到ES，如下ps：数据量特别大的时候，可以where条件分批导出，即通过http://127.0.0.1:8081/etl/es/mytest_user.yml -X POST -d "params=2018-10-21 00:00:00"的params参数和\conf\es\*.yml配置中的etlCondition指定扫描范围。 3.       在华为云CSS的console界面上打开kibana，查询数据成功。 四、验证canal自动导出增量数据1.       使用mysql客户端（mysql shell，heidisql等），新增/修改/删除mysql数据库中mytest.user表的数据，将会自动同步到ES的mytest_user索引下面2.       在华为云CSS的console界面上打开kibana，查询数据成功  如有其它问题，可以阅读Github canal的wiki解疑。 

Elasticsearch 2.x版本往5.x版本迁移数据迁移前准备1. String类型： 2.x版本跟 5.x版本有一个比较大的改动就是ES的基本类型string字段。5.x版本中使用text/keyword字段替代了2.x版本的string类型。text表示使用分词的string（即之前默认的string），keyword为不使用分词的string(即not_analyzed)，keyword类型的数据只能完全匹配，适合那些不需要分词的数据，对过滤、聚合非常友好。 如下2.x版本中的mappin**段： "content" : { "properties" : { "status" : { "type" : "string" }, "tgroup" : { "type" :"string", "index" :"not_analyzed" }, } }5.x版本中可以修改为如下： "content" : { "properties" : { "status" : { "type" : "text" }, "tgroup" : { "type" : "keyword", }, } },Status字段类型变为使用分词的text，tgroup字段类型变为不分词的keyword。 2. index下面的type映射之logstash配置 从2.x版本的Elasticsearch往5.x的elasticsearch导入数据，一个index下面有多个type，导入到5.x中如果要求type一一对应，需要指定type映射，使用如下logstash配置： input{ elasticsearch{ hosts=> 2.xES地址 index=>xx docinfo=>true }}filter{}output{ elasticsearch{ hosts => 5.xES地址 index => xx document_type=>"%{[@metadata][_type]}" }}如上标黄部分中，指定了2.x版本index下的type会一一映射到5.x版本，使用docinfo打开一些原始数据如 迁移后使用遇到的比较多的查询错误如下，2.x可以使用如下查询语句进行查询GET _search{ "query": { "filtered": { "query": { "match": { "text": "quick brown fox" } }, "filter": { "term": { "status": "published" } } } }}但是这个语句如果在5.x中执行将会报错no[query] registered for [filtered]"root_cause": [ { "type":"parsing_exception", "reason": "no [query] registered for[filtered]", …….. } ],在5.x版本中filtered 查询已经被废弃了，如果要实现过滤可以使用constant_score或在bool子句下filter实现。这两者都不会计算文档得分，使查询更高效。改为如下方式GET_search{ "query": { "bool": { "must": { "match": { "text": "quick brownfox" } }, "filter": { "term": { "status":"published" } } } }}关于filtered query 具体可以参考elastic官网https://www.elastic.co/guide/en/elasticsearch/reference/5.0/query-dsl-filtered-query.html 5.x Eleasticsearch版本的一些改进增加了一些document API，可以使得操作更加方便。如：_update_by_query，可以根据查询到的结果进行更新。_delete_by_query，可以根据查询删除某些文档。_reindex ,可以使用_reindex迁移索引。如下POST　/_reindex{ "source":{ "index":"cars" }, "dest":{ "index":"cars_new" }}其他的关于性能方面的改进可以参考： http://cwiki.apachecn.org/pages/viewpage.action?pageId=4260605

本帖最后由 ES_Siyu 于 2018-6-7 10:20 编辑华为云云搜索 背景某运维部门一直在使用华为云云搜索服务提供的ELK做业务系统的运维监控分析。一天，一位兄弟想统计当前各个集群的磁盘使用总量，并在Kibana上可视化分析，以此来决定是否采取扩容等措施。怎么获得集群磁盘使用总量呢？这很简单！只要获取集群中每一个节点最新上报的磁盘使用量，然后对它们求和，就搞定啦~~~ 那具体怎么实现呢？这自然而然会想到TopHit和Sum Bucket。Top hit能够根据某个字段对数据进行排序，然后返回排序后的Top N条数据中所指定字段的值。数据格式如下： 16491 设想步骤如下： （1）根据cluster字段将数据分成若干个buckets （2）在每个buckets，根据host字段继续将数据分成若干buckets （3）通过Top Hit对每个bucket的数据根据时间进行倒排 （4）返回top 1那条数据的disk_used_gb值（最新值） （5）利用Sum Bucket对返回的disk_used_gb值进行求和 问题注意：为了方便演示，我们在只包含一个集群的节点数据的索引中进行演示，来获取集群磁盘使用总量。 这位兄弟在Kibana的visualize界面中选择Sum Bucket聚合，并通过字段host进行分组后，但是在metric的aggregation中发现没有Top Hit选项，如下图所示 16492 如果通过http请求强行将Top_Hit与Sum_Bucket组合使用，则报如下所示的错误。根据ES相关资料，Sum_Bucket的确不支持Top_Hit。 16493 Last Hit --- 云搜索服务对Elasticsearch的功能增强为了解决这个问题，云搜索服务新增了一个Last Hit的插件。与Top Hit不同的是，它能够完美和SumBucket配合。这样我们就能通过Last Hit和Sum Bucket来实现这位兄弟的需求。 执行语句如下 16494 返回结果如下 16495 Kibana界面支持为了各位用户拥有更好的体验，图形化肯定是必不可少的。云搜索服务也做了相应的工作，使Kibana支持Last Hit。 回到最初场景，最终步骤如下： （1）根据cluster字段将数据分成若干个buckets （2）在每个buckets，根据host字段继续将数据分成若干buckets （3）通过Last Hit对每个bucket的数据根据时间进行倒排 （4）返回top 1那条数据的disk_used_gb值（最新值） （5）利用Sum Bucket对返回的disk_used_gb值进行求和 16496 总结 lasthit主要帮你解决当前时刻多组最新数据的统计问题，如果您有类似的场景诉求，lasthit都能帮您轻松实现 各位同学是不是觉得方便了很多~~~戳下面链接有更多惊喜~~~华为云云搜索

细节请戳下面链接~~~ https://forum.huaweicloud.com/thread-8811-1-1.html

细节请戳下面链接~~~ https://forum.huaweicloud.com/thread-8811-1-1.html

细节请戳下面链接~~~ https://forum.huaweicloud.com/thread-8811-1-1.html

细节请戳下面链接~~~ https://forum.huaweicloud.com/thread-8811-1-1.html

细节请戳下面链接~~~ https://forum.huaweicloud.com/thread-8811-1-1.html

细节请戳下面链接~~~ https://forum.huaweicloud.com/thread-8811-1-1.html