• [最佳实践] Elasticsearch同义词插件安装与功能验证
    获取插件包1. 下载最新版本插件源码包:https://github.com/bells/elasticsearch-analysis-dynamic-synonym/2. 解压源码包并进入代码根目录,执行mvn clean package编译打包,到红框的路径下取插件包,上传到实例节点上。 安装插件:1. 使用omm用登录任意esnode1实例主机2. 创建目录 /opt/huawei/Bigdata/FusionInsight_Elasticsearch_8.1.1/install/FusionInsight-Elasticsearch-7.10.2/elasticsearch/plugins/dynamic-synonym3. 将已上传的插件包解压到此目录下4. 修改权限 chmod 600 ./*5. 修改配置文件plugin-descriptor.properties中version为7.10.2 6. 上传词典到 实例配置文件目录/opt/huawei/Bigdata/FusionInsight_Elasticsearch_8.1.1/install/FusionInsight-Elasticsearch-7.10.2/cluster/EsNode1/config/并修改权限chmod 600 synonyms.txt7. 修改文件格式dos2unix synonyms.txt8. 同步以上修改到所有实例9. 重启服务 查看运行日志可以观察到插件和词典加载功能验证:curl -XPUT --tlsv1.2 --negotiate -k -u : "https://192.168.133.3:24100/synonym_test?pretty" -H 'Content-Type: application/json' -d' { "settings": { "index" : { "analysis" : { "analyzer" : { "synonym" : { "tokenizer" : "whitespace", "filter" : ["local_synonym"] } }, "filter" : { "local_synonym" : { "type" : "dynamic_synonym", "synonyms_path" : "synonyms.txt" } } } } } } 'curl -XGET --tlsv1.2 --negotiate -k -u : "https://192.168.133.3:24100/synonym_test/_analyze?pretty=true" -H 'Content-Type: application/json' -d'{ "analyzer":"synonym", "text":"哀愁"}' 词典文件:执行结果:  
  • [技术干货] docker容器 04部署
    docker容器 04部署  docker........................................................................................................ 11.     部署.................................................................................................... 21.1.      nginx............................................................................................ 21.2.      tomcat......................................................................................... 31.3.      ES+kibana................................................................................... 41.4.      可视化........................................................................................ 51.       部署1.1.          nginx搜索 docker search nginx下载 docker pull nginx查看 docker images启动 docker run -d --name nginx01 -p 3344:80 nginx-d后台运行,--name取名,-p指定端口(将容器内80端口映射为外面的3344端口)通过外网访问3344就能访问容器内的80端口的nginx查看 docker ps运行测试 curl localhost:3344docker exec -it 容器id /bin/bash进入容器whereis  nginx 配置文件在/etc/nginxdocker stop 容器id 停止容器配置文件,可以不用进入容器修改?1.2.          tomcatdocker run -it --rm tomcat:9.0官方测试用完即删我们正常逻辑 docker pull tomcat:9.0启动运行 docker imagesdocker run -d -p 3355:8080 --name tomcat01 tomcatdocker exec -it tomcat01 /bin/bash进入容器发现问题,linux命令少了,没有webapps 是阿里云镜像的原因,默认是最小的镜像,把不必要的剔除,保证最小可运行的环境cp -r webapps.dist/* webapps思考 如果每次要进入容器,很麻烦,能不能在外边放置项目,自动同步到内部就好?1.3.          ES+kibanaes暴露的端口很多,es十分耗内存,es数据一般要放置到安全目录,挂载启动elasticserchdocker run -d --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.6.2启动服务器很卡,解决问题查看cpu状态 docker stats关闭es,增加内存的限制curl localhost:9200docker stats发现内存占用量很大docker stop es的id关闭es,增加内存的限制docker run -d --name elasticsearch02 -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -e ES_JAVA_OPTS="-Xms64m -Xmx=512m" elasticsearch:7.6.2docker ps查看运行的容器    docker stats查看内存消耗多少curl localhost:92001.4.          可视化portainerdocker图形化界面管理工具,提供后台面板供操作docker run -d -p 8088:9000 \ --restart=always -v /var/run/docker.sock:/var/run/docker.sock --privileged=true portainer/portainercurl localhost:8088内网访问,ip:8088外网访问 选择本地的rancher(CI/CD时候使用)
  • [openEuler] openEuler20.03 LTS sp1下ElasticSearch7.5安装
    一、操作系统和软件版本介绍1.操作系统为openEuler 20.03 (LTS-SP1)   可用如下命令查询:[root@1ocalhost ~]# cat /etc/os-release [root@1ocalhost ~]# uname -i2.JDK依赖   安装ElasticSearch需要Java,因此在安装ElasticSearch之前需要先安装JDK。openEuler 20.03 (LTS-SP1) 默认没有安装JDK环境,需要自己自行安装。 这里安装JDK环境做简单说明,请开发者自行安装。[root@1ocalhost ~]# yum install java输入Y确认  查看JDK版本[root@1ocalhost ~]# java -version openjdk version "1.8.0_242" OpenJDK Runtime Environment (build 1.8.0_242-b08) OpenJDK 64-Bit Server VM (build 25.242-b08, mixed mode)二、详细安装步骤     下载elasticsearch[root@1ocalhost ~]# cd /opt/ [root@1ocalhost opt]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.5.1-linux-x86_64.tar.gz  解压[root@1ocalhost opt]# tar -zvxf elasticsearch-7.5.1-linux-x86_64.tar.gz   启动  elasticsearch不需要特别的配置,只需要启动即可。 elasticsearch不能以root账户启动,所以需新建一个用户启动。[root@1ocalhost opt]# useradd es [root@1ocalhost opt]# chown -R es:es /opt/elasticsearch-7.5.1  切换到es用户:su es后台启动[es@1ocalhost opt]$ cd elasticsearch-7.5.1 [es@1ocalhost elasticsearch-7.5.1]$ bin/elasticsearch > elasticsearch.log 2>&1 & [1] 53805 [es@1ocalhost elasticsearch-7.5.1]$ 启动完成后,可使用命令curl http://localhost:9200  验证服务是否开启成功标签:Elasticsearch 云日志服务 LTS
  • [openEuler] openEuler20.03 LTS sp1下kafka安装
    kafka
  • [运维管理] ES 6.7.1线下版本集群,是否支持索引分片,副本放置集群外节点?是否建议此操作理由是什么?FI是否有实现案例?
    【操作步骤&问题现象】ES 6.7.1线下版本集群,是否支持索引分片,副本放置集群外节点?是否建议此操作理由是什么?FI是否有实现案例?# curl -XPOST "http://ESnode:9200/_cluster/reroute" -d '{ "commands" : [ {"move" : {"index" : "ops", "shard" : 4, "from_node" : "es_node_one", "to_node" : "es_node_two"}}, {"cancel" : {"index" : "ops", "shard" : 0, "node" : "es_node_one"}} ] }'或者类似于开源ES CCR的功能实现 主备集群
  • [问题求助] 【香港启德项目】【ES功能】执行同步es的脚本报错
    【功能模块】1.es功能【操作步骤&问题现象】1、编辑云搜索,添加Device_syncAllDeviceToES,Organization_syncAllOrgToES脚本2、执行这两个脚本时,报错,希望帮忙解决对象'Connector'中不存在记录'esConnector', 或者用户无权操作该记录【截图信息】【日志信息】(可选,上传日志内容或者附件)顾庆耀/18068848554/guqingyao@chinasoftinc.com
  • [ElasticSea...] Elasticsearch导入数据的方法总结
    业务使用过程中,经常需要将大量数据批量导入到Elasticsearch中,总结在MRS ES中能够快速实现数据导入的方式,可以学习使用。方式一:通过Logstash导入数据Logstash 是Elasticsearch官方提供的数据采集工具,能够动态地采集、转换和传输数据,不受格式或复杂度的影响。Logstash 支持各种输入选择,可以同时从众多常用来源捕捉事件。能够以连续的流式传输方式,轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。MRS ES对接Logstash指南详见MRS产品文档的《Elasticsearch对接Logstash》章节,该章节指导用户快速对接安全/普通模式的MRS ES。方式二:使用ES2ES工具迁移/导入数据使用该工具客户已将开源ES/其他MRS ES集群的数据导入到本地集群中。支持两种迁移方式:Scroll和reindex。Scroll跨集群数据拷贝工具包的原理是通过利用滚动遍历策略和bulkAPI,每次完成一个index的数据迁移。主要用于完全兼容的两个ES版本之间数据迁移/拷贝Reindex跨集群数据拷贝工具包的原理是通过利用reindex API,完成多个index的数据迁移。支持ES跨大版本之间的数据迁移和拷贝。工具详细使用方法见MRS产品文档的《使用ES2ES工具迁移Elasticsearch数据》方式三:使用HBase2ES工具导入数据该工具支持使用TableScanMR并发或HBase直接扫描方式从HBase中获取数据并导入到Elasticsearch集群中。在ES替换Solr的场景中,若源数据保存在HBase时,可以使用该工具快速完成数据迁移。工具详细使用方法见MRS产品文档的《使用HBase2ES工具迁移HBase数据》方式四:HDFS2ES工具导入数据若源数存储在HDFS上,可以通过该工具运行Mapreduce方式将HDFS中格式化的数据导入到Elasticsearch中。工具详细使用方法见MRS产品文档的《使用HDFS2ES工具迁移HDFS数据》 不推荐使用:Hive on ES,性能较差,且导入过程中不稳定。
  • [基础组件] MRS8.0.3 Elasticsearch7.10 无权限创建索引别名的问题
    【功能模块】MRS8.0.3-Elasticsearch7.10【操作步骤&问题现象】1、使用用户相同,elasticsearch给索引创建别名,出现一个索引无权限创建别名,索引创建命令使用的是一样的,无权限是因为用户信息没有写入zk2、单独测试创建索引log4x_topo_app_stats_0成功,添加别名失败,报无权限。创建索引log4x_topo_app_stat_0成功,添加别名成功同一个用户,log4x_topo_app_stats_0目前这个索引创建用户信息不能写入zk,其他索引可以【截图信息】
  • [技术干货] Elasticsearch reindex指定routing
    按照官方指导:https://www.elastic.co/guide/en/elasticsearch/reference/7.6/docs-reindex.html,在做reindex时可以指定路由字段,通过该字段进行路由。一定要注意,指定路由字段官方只给了一种方式,这种方式路由值是固定的,如下:curl -X POST "localhost:9200/_reindex?pretty" -H 'Content-Type: application/json' -d' { "source": { "index": "source", "size": 100 }, "dest": { "index": "dest", "routing": "=cat" } } '这种方式会导致routing值一直为“cat”,如果目标索引设置了routing_partition_size,比如为8,那么新的数据会只分布在这8个分片上,其他分片没有数据。如果想按照某个字段的值进行routing的话,请使用以下方式,这样会根据rounting_field字段的具体值进行路由:curl -X POST "localhost:9200/_reindex?pretty" -H 'Content-Type: application/json' -d' { "source": { "index": "source", "size": 100 }, "dest": { "index": "dest" }, "script": { "inline": "ctx._routing = ctx._source.routing_field", "lang": "painless" } } '
  • [二次开发] MRS3.0.3上ES里的Transport客户端起不来,卡住,不报错
    执行esTransportClient.sh 卡住但是同一个客户端上,同一个用户使用RestClient客户端执行esRestClient.sh正常按照MRS3.0.3用户指南上操作, 而且使用java  也是无法创建TransportClient,和上面情况类似也是一直卡住(信息如下),请问这个情况是哪里出问题。
  • [基础组件] 【ElasticSearch产品】如何保证数据可靠性
    【功能模块】可靠性【操作步骤&问题现象】1、ElasticSearch如何保证数据可靠性?2、【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [问题求助] 【fusioninsight.elasticsearch 产品】
    微服务分布式情况如何实现统一认证写在网关服务中还是?
  • [其他] 【fusioninsight.elasticsearch 产品】
    1,现在要做业务迁移  把之前自己的es业务逻辑 全部都放到华为云的es上2,现有业务使用得是spring data 封装的ElasticsearchRepository工具类操作es3,如果切换为华为的es,需要修改逻辑代码吗  所有ElasticsearchRepository操作变成PreBuiltHWTransportClient这种操作方式吗?4,如果不改代码  华为的 认证模块 应该如何添加
  • [其他] CSS中的elasticSearch(4)
    正排索引,从Key(文档编号)找value,效率很低。倒排索引,通过value找key,有很高的效率。理解的很糊涂。这里的人名、喜欢啊等词就是value,数量虽然有限,但也可以有很多啊通过kibana执行restful api,比如get 看集群健康状况;put 创建一个没有分片的小索引post 添加文档对象(自动生成文档id); delete删除多个索引其实,用CURL也很方便,多指定GET等方法,IP和端口等就可以查找文档的2种路由算法,就是怎么将文档放到分片,又怎么到分片上去找文档。因为默认的路由算法中,主分片的个数是一个重要的因子。所以不能随便修改索引的主分片个数。不同的ES版本,对于扩容的支持的程度是不一样的。如不支持、成倍、自由等。还有一种就是指定写到哪个分片的路由算法。自动分片的平衡算法。算法内容就不深入了。扩容一般建议水平扩容,当单实例索引的数目达到10亿条或大小到了1T;减容,可以通过华为CSS的管理台去操作。使用ES索引Hbase数据,2者之间协同的方式,可以有实时和批量索引的方式(用Hbase2ES组件)当一个节点上部署了多个ES实例,有可能存在同一个节点上既有主分片又有从分片。这样会产生单点故障。有一个跨节点分配的配置可以解决。而不仅是跨实例分配。 cluster.routing.allocation.same_shard.host:true
  • [其他] CSS中的elasticSearch(3)--分布式概念
    分布式架构概念Cluster中包含EsNode 和EsMastershards是索引的分片,放到多个节点上。replicas是索引的副本,也就是分片的副本。好处除了,提供容错性,还有一个你想到了吗就是提高查询效率。recovery是数据恢复或重新分布,当加入、退出节点时有这些工作要做,我猜想可能非常耗时耗力gateway,索引快照的存储方式transport 内部节点或集群与客户端交互方式,默认TCP
总条数:146 到第
上滑加载中