- 1 容器化日志收集方案日志系统的重要度不言而喻，开发、测试、用户体验等都与其密切相关。本文以k8s下ELKB日志采集方案为例，详细介绍如何在华为云上一步一步搭建基于ELK的容器化采集服务，并分析在日志采集业务中可能遇到的一些问题。 1.1 ELKB方案说明日志包含系统日志、应用服务日志、访问日志等，以往若需要查看日志需登录系统设备，通过vim、cat等方式查看，操作繁琐、定位问题困难。费事... 1 容器化日志收集方案日志系统的重要度不言而喻，开发、测试、用户体验等都与其密切相关。本文以k8s下ELKB日志采集方案为例，详细介绍如何在华为云上一步一步搭建基于ELK的容器化采集服务，并分析在日志采集业务中可能遇到的一些问题。 1.1 ELKB方案说明日志包含系统日志、应用服务日志、访问日志等，以往若需要查看日志需登录系统设备，通过vim、cat等方式查看，操作繁琐、定位问题困难。费事...
- 一、迁移方案说明部署Logstash在华为云ECS上，Logstash ECS选择和CSS集群相同的VPC，同时Logstash需要配置大网访问权限，保证Logstash和原集群和目标集群互通。数据迁移可以全量迁移和增量迁移，首次迁移都是全量迁移后续的增加数据选择增量迁移。增量迁移需要识别客户的增量数据，需要索引有时间戳标志。迁移性能：迁移数据读取采用query+sort，使用scroll... 一、迁移方案说明部署Logstash在华为云ECS上，Logstash ECS选择和CSS集群相同的VPC，同时Logstash需要配置大网访问权限，保证Logstash和原集群和目标集群互通。数据迁移可以全量迁移和增量迁移，首次迁移都是全量迁移后续的增加数据选择增量迁移。增量迁移需要识别客户的增量数据，需要索引有时间戳标志。迁移性能：迁移数据读取采用query+sort，使用scroll...
- 一、方案说明Elasticsearch主要功能是什么，不同的场景有不同的定位，在日志场景我们可以用ELK生态搭建日志分析系统，在搜索领域ES是当前最热门的搜索引擎。在大数据领域，ES可以对标Hbase提供海量日志的数据仓库；在数据库领域ES可以作为查询分析型的分析型数据库使用。ES已经成为了全能型的数据产品，在很多领域越来越受欢迎，本文旨在从数据库领域分析ES的使用。ES不是关系型数据库，... 一、方案说明Elasticsearch主要功能是什么，不同的场景有不同的定位，在日志场景我们可以用ELK生态搭建日志分析系统，在搜索领域ES是当前最热门的搜索引擎。在大数据领域，ES可以对标Hbase提供海量日志的数据仓库；在数据库领域ES可以作为查询分析型的分析型数据库使用。ES已经成为了全能型的数据产品，在很多领域越来越受欢迎，本文旨在从数据库领域分析ES的使用。ES不是关系型数据库，...
- LDAP（Light Directory Access Portocol）是基于X.500标准的轻量级目录访问协议。LDAP协议使用了一种树状的数据形式，可以很方便的定义一个组织或者公司内的用户结构。基于开放的LDAP协议的LDAP服务（如Microsoft的Active Directory）可以提供用户身份验证的能力。由于LDAP的开放性，它的使用非常广泛。而Elasticsearch服务... LDAP（Light Directory Access Portocol）是基于X.500标准的轻量级目录访问协议。LDAP协议使用了一种树状的数据形式，可以很方便的定义一个组织或者公司内的用户结构。基于开放的LDAP协议的LDAP服务（如Microsoft的Active Directory）可以提供用户身份验证的能力。由于LDAP的开放性，它的使用非常广泛。而Elasticsearch服务...
- 在ElasticSearch中，重打分是一个对指定数目的查询结果进行再次打分的一个过程。通常情况下，一个查询可能会匹配成千上万的结果，但用户很可能只对结果的前几页感兴趣。这种情况下就可以使用重打分功能来优化性能。 在ElasticSearch中，重打分是一个对指定数目的查询结果进行再次打分的一个过程。通常情况下，一个查询可能会匹配成千上万的结果，但用户很可能只对结果的前几页感兴趣。这种情况下就可以使用重打分功能来优化性能。
- Elasticsearch跨集群数据迁移用户在上华为云的时候经常需要将ES数据搬迁到云上的CSS服务，搬迁的源可以是自建的ES集群或者是其他云厂商的ES集群。目前的迁移方式一般是离线迁移，需要业务短暂停服。迁移方法迁移方法一般有以下几种Logstashsnapshot/restorereindex其他工具如elasticsearch-dump， esm等下面介绍Logstash和snapsh... Elasticsearch跨集群数据迁移用户在上华为云的时候经常需要将ES数据搬迁到云上的CSS服务，搬迁的源可以是自建的ES集群或者是其他云厂商的ES集群。目前的迁移方式一般是离线迁移，需要业务短暂停服。迁移方法迁移方法一般有以下几种Logstashsnapshot/restorereindex其他工具如elasticsearch-dump， esm等下面介绍Logstash和snapsh...
- 在CSS盒模型的课程中，张宇老师提到了元素实际大小宽度的计算方法，但是我在demo中计算的结果与实际不符合。因此我在交流群向一些前辈大神讨教，才得知CSS盒模型还分为了W3C标准盒模型和IE（怪异）盒模型。这篇文章我想向初学CSS盒模型的大家进行一个拓展（弄明白这俩盒模型我竟然用了一个上午），也非常希望有大佬看到这篇文章后能给出一些建议！老小白了，第一次写文章不足之处望大家指出，谢谢！ 在CSS盒模型的课程中，张宇老师提到了元素实际大小宽度的计算方法，但是我在demo中计算的结果与实际不符合。因此我在交流群向一些前辈大神讨教，才得知CSS盒模型还分为了W3C标准盒模型和IE（怪异）盒模型。这篇文章我想向初学CSS盒模型的大家进行一个拓展（弄明白这俩盒模型我竟然用了一个上午），也非常希望有大佬看到这篇文章后能给出一些建议！老小白了，第一次写文章不足之处望大家指出，谢谢！
- 一、场景描述受限于MySQL的ACID特性以及可扩展性，其检索能力以及OLAP/OLTP处理能力相对比较弱。CSS/ES支持文本、时间、数字、空间坐标、向量等数据类型构建索引，拥有非常强大的数据检索与分析能力；通过将CSS/ES通过作为MySQL的备数据库，可以补齐MySQL中的数据检索能力与OLAP与OLTP处理能力。如下方案用于将Mysql中的数据近实时同步到CSS/ES集群。 二、前... 一、场景描述受限于MySQL的ACID特性以及可扩展性，其检索能力以及OLAP/OLTP处理能力相对比较弱。CSS/ES支持文本、时间、数字、空间坐标、向量等数据类型构建索引，拥有非常强大的数据检索与分析能力；通过将CSS/ES通过作为MySQL的备数据库，可以补齐MySQL中的数据检索能力与OLAP与OLTP处理能力。如下方案用于将Mysql中的数据近实时同步到CSS/ES集群。 二、前...
- 一、前言在Java中，线程池有着比较方便的实现类ThreadPoolExecutor，但是这个实现类并不是开箱即用的，在实际的业务中需要一定的知识基础才能发挥出线程池的好处。Elasticsearch中就封装了一系列更实用的线程池实现，本篇文章就结合ES源码来探索一下大神们是如何实现线程池的。 二、基础知识先回顾一下Java的线程池实现中任务调度的原理，有以下几个重要参数：当前线程数cur... 一、前言在Java中，线程池有着比较方便的实现类ThreadPoolExecutor，但是这个实现类并不是开箱即用的，在实际的业务中需要一定的知识基础才能发挥出线程池的好处。Elasticsearch中就封装了一系列更实用的线程池实现，本篇文章就结合ES源码来探索一下大神们是如何实现线程池的。 二、基础知识先回顾一下Java的线程池实现中任务调度的原理，有以下几个重要参数：当前线程数cur...
- 1. 应用场景 地理位置检索广泛于各行各业，在智慧城市，城市规划，物流，房地产选址，新零售，公共安全，交通等各个方面都能够发挥重大作用，应用包含坐标查询（点查多边形）、范围查找（多边形查点）、范围统计分析（基于多边形的统计分析）等，例如查询任意指定区域内的酒店，学校，餐饮店等，查•统计不同电子围栏、不同时间段的派单数，优化车辆调度等； Elasticsearch 是一个分布式、可... 1. 应用场景 地理位置检索广泛于各行各业，在智慧城市，城市规划，物流，房地产选址，新零售，公共安全，交通等各个方面都能够发挥重大作用，应用包含坐标查询（点查多边形）、范围查找（多边形查点）、范围统计分析（基于多边形的统计分析）等，例如查询任意指定区域内的酒店，学校，餐饮店等，查•统计不同电子围栏、不同时间段的派单数，优化车辆调度等； Elasticsearch 是一个分布式、可...
- 本文为了解决ES在索引合并过程中的写放大问题，深入阅读了ES/Lucene源码，从代码层面彻底摸清了ES/Lucene 索引Merge流程与实现。整个问题描述和剖析的过程，对其它有类似需求的开发者可以起到抛砖引玉的借鉴作用。 本文为了解决ES在索引合并过程中的写放大问题，深入阅读了ES/Lucene源码，从代码层面彻底摸清了ES/Lucene 索引Merge流程与实现。整个问题描述和剖析的过程，对其它有类似需求的开发者可以起到抛砖引玉的借鉴作用。
- 某天发现es集群堆内存暴涨，持续在90%以上，并且一直降不下去，持续告警。这种问题首先就是怀疑内存泄漏，但是没有定位出来哪里泄漏了，用jmap dump了一个20G的内存文件下来，使用MAT打开问题分析可以看到SearchService里的ConcurrentHashMap占了78%的内存，打开SearchService的源码，只能是这个activeContexts了：private fin... 某天发现es集群堆内存暴涨，持续在90%以上，并且一直降不下去，持续告警。这种问题首先就是怀疑内存泄漏，但是没有定位出来哪里泄漏了，用jmap dump了一个20G的内存文件下来，使用MAT打开问题分析可以看到SearchService里的ConcurrentHashMap占了78%的内存，打开SearchService的源码，只能是这个activeContexts了：private fin...
- 跨集群同步插件通过将远端集群的索引文件同步到本端集群的方式，实现索引同步。本端集群与远端集群的数据差异为秒级别。前置条件：已经创建两个CSS集群，目前支持跨集群同步的版本为7.1.1，两个集群的VPC、子网、安全组需一样。配置步骤进入远端集群的kibana dev tools页签，执行以下命令获取transport地址：GET _nodes/stats/os结果如下示例，获取节点的trans... 跨集群同步插件通过将远端集群的索引文件同步到本端集群的方式，实现索引同步。本端集群与远端集群的数据差异为秒级别。前置条件：已经创建两个CSS集群，目前支持跨集群同步的版本为7.1.1，两个集群的VPC、子网、安全组需一样。配置步骤进入远端集群的kibana dev tools页签，执行以下命令获取transport地址：GET _nodes/stats/os结果如下示例，获取节点的trans...
- 前言什么是 css 选择器呢？首先，css 是 Cascading Style Sheet（层叠样式表）的简称，CSS 技术用来美化 html 页面，来达到所预期的效果。而 css 选择器则可以帮助我们选中需要添加样式的特定标签。选择器分类在这里将选择器分为两大类：基本选择器和高级选择器一、 基本选择器选择器说明作用*通用元素选择器匹配任何元素E标签选择器匹配所有使用 E 标签的元素.inf... 前言什么是 css 选择器呢？首先，css 是 Cascading Style Sheet（层叠样式表）的简称，CSS 技术用来美化 html 页面，来达到所预期的效果。而 css 选择器则可以帮助我们选中需要添加样式的特定标签。选择器分类在这里将选择器分为两大类：基本选择器和高级选择器一、 基本选择器选择器说明作用*通用元素选择器匹配任何元素E标签选择器匹配所有使用 E 标签的元素.inf...
- 背景大家在使用ES和Kibana的时候，应该都遇到过这样的场景： 假设有一个主机监控的任务，收集的数据格式为：时间戳、主机名、当前内存占用量，收集周期为每分钟收集一次。那么在Kibana中可能需要提供这样的报表，当前所有主机总体内存占用量。大家动手试试，在Kibana报表中，应该是做不到的。我这里实际动手，作为示例解释下：1、进入Kibana的DevTools页面，导入模拟数据如上图，4条数... 背景大家在使用ES和Kibana的时候，应该都遇到过这样的场景： 假设有一个主机监控的任务，收集的数据格式为：时间戳、主机名、当前内存占用量，收集周期为每分钟收集一次。那么在Kibana中可能需要提供这样的报表，当前所有主机总体内存占用量。大家动手试试，在Kibana报表中，应该是做不到的。我这里实际动手，作为示例解释下：1、进入Kibana的DevTools页面，导入模拟数据如上图，4条数...
上滑加载中
推荐直播
-
SaaS云原生应用典型架构2022/07/07 周四 19:00-20:00
程泽 华为云SaaS专家
SaaS作为一种有效的软件交付形式，让企业IT团队可以将工作的重心从部署和业务系统定制转移到管理业务系统所提供的服务上来；但多租户开发、技术选型等问题会给SaaS应用开发带来挑战。本期直播将助力您破解这些难题，轻松构建云原生SaaS化应用。
去报名 -
崇本英才·智汇吴江· 无人车挑战赛赛题解读2022/07/11 周一 19:00-21:00
岩风 华为云EI开发者生态工程师
本次直播主要介绍赛题讲解、baseline操作演示、常见问题答疑等。本次直播主要介绍赛题讲解、baseline操作演示、常见问题答疑等。
去报名 -
鸿蒙设备如何从0到1联网上云2022/07/11 周一 19:30-20:30
Vz 华为云IoT高级工程师
本课程使开发者具备鸿蒙设备开发基础技能，掌握编译环境搭建、内核开发、驱动子系统开发、网络应用开发等知识点。
即将直播
热门标签