- 数据仓库的发展一直是备受关注的议题，随着近年来技术的不断演进，数仓也在更新迭代。你知道数仓是如何应运而生的吗？你了解数仓未来的发展趋势吗？想知道国内数仓专家的看法吗？今天我们邀请到了华为云数据仓库首席架构师，中国计算机学会数据库专委委员——曾凯，来和我们面对面聊一聊从业者眼中的数据仓库。 数据仓库的发展一直是备受关注的议题，随着近年来技术的不断演进，数仓也在更新迭代。你知道数仓是如何应运而生的吗？你了解数仓未来的发展趋势吗？想知道国内数仓专家的看法吗？今天我们邀请到了华为云数据仓库首席架构师，中国计算机学会数据库专委委员——曾凯，来和我们面对面聊一聊从业者眼中的数据仓库。
- 1 容器化日志收集方案日志系统的重要度不言而喻，开发、测试、用户体验等都与其密切相关。本文以k8s下ELKB日志采集方案为例，详细介绍如何在华为云上一步一步搭建基于ELK的容器化采集服务，并分析在日志采集业务中可能遇到的一些问题。 1.1 ELKB方案说明日志包含系统日志、应用服务日志、访问日志等，以往若需要查看日志需登录系统设备，通过vim、cat等方式查看，操作繁琐、定位问题困难。费事... 1 容器化日志收集方案日志系统的重要度不言而喻，开发、测试、用户体验等都与其密切相关。本文以k8s下ELKB日志采集方案为例，详细介绍如何在华为云上一步一步搭建基于ELK的容器化采集服务，并分析在日志采集业务中可能遇到的一些问题。 1.1 ELKB方案说明日志包含系统日志、应用服务日志、访问日志等，以往若需要查看日志需登录系统设备，通过vim、cat等方式查看，操作繁琐、定位问题困难。费事...
- 云搜索服务能为企业提供托管的分布式搜索引擎服务，完全兼容开源Elasticsearch搜索引擎，支持结构化、非结构化文本的多条件检索、统计、报表。云搜索服务的使用流程和数据库类似。相信将来华为云云搜索CSS将会应用于更多行业中。 云搜索服务能为企业提供托管的分布式搜索引擎服务，完全兼容开源Elasticsearch搜索引擎，支持结构化、非结构化文本的多条件检索、统计、报表。云搜索服务的使用流程和数据库类似。相信将来华为云云搜索CSS将会应用于更多行业中。
- 一、迁移方案说明部署Logstash在华为云ECS上，Logstash ECS选择和CSS集群相同的VPC，同时Logstash需要配置大网访问权限，保证Logstash和原集群和目标集群互通。数据迁移可以全量迁移和增量迁移，首次迁移都是全量迁移后续的增加数据选择增量迁移。增量迁移需要识别客户的增量数据，需要索引有时间戳标志。迁移性能：迁移数据读取采用query+sort，使用scroll... 一、迁移方案说明部署Logstash在华为云ECS上，Logstash ECS选择和CSS集群相同的VPC，同时Logstash需要配置大网访问权限，保证Logstash和原集群和目标集群互通。数据迁移可以全量迁移和增量迁移，首次迁移都是全量迁移后续的增加数据选择增量迁移。增量迁移需要识别客户的增量数据，需要索引有时间戳标志。迁移性能：迁移数据读取采用query+sort，使用scroll...
- 一、方案说明Elasticsearch主要功能是什么，不同的场景有不同的定位，在日志场景我们可以用ELK生态搭建日志分析系统，在搜索领域ES是当前最热门的搜索引擎。在大数据领域，ES可以对标Hbase提供海量日志的数据仓库；在数据库领域ES可以作为查询分析型的分析型数据库使用。ES已经成为了全能型的数据产品，在很多领域越来越受欢迎，本文旨在从数据库领域分析ES的使用。ES不是关系型数据库，... 一、方案说明Elasticsearch主要功能是什么，不同的场景有不同的定位，在日志场景我们可以用ELK生态搭建日志分析系统，在搜索领域ES是当前最热门的搜索引擎。在大数据领域，ES可以对标Hbase提供海量日志的数据仓库；在数据库领域ES可以作为查询分析型的分析型数据库使用。ES已经成为了全能型的数据产品，在很多领域越来越受欢迎，本文旨在从数据库领域分析ES的使用。ES不是关系型数据库，...
- LDAP（Light Directory Access Portocol）是基于X.500标准的轻量级目录访问协议。LDAP协议使用了一种树状的数据形式，可以很方便的定义一个组织或者公司内的用户结构。基于开放的LDAP协议的LDAP服务（如Microsoft的Active Directory）可以提供用户身份验证的能力。由于LDAP的开放性，它的使用非常广泛。而Elasticsearch服务... LDAP（Light Directory Access Portocol）是基于X.500标准的轻量级目录访问协议。LDAP协议使用了一种树状的数据形式，可以很方便的定义一个组织或者公司内的用户结构。基于开放的LDAP协议的LDAP服务（如Microsoft的Active Directory）可以提供用户身份验证的能力。由于LDAP的开放性，它的使用非常广泛。而Elasticsearch服务...
- 在ElasticSearch中，重打分是一个对指定数目的查询结果进行再次打分的一个过程。通常情况下，一个查询可能会匹配成千上万的结果，但用户很可能只对结果的前几页感兴趣。这种情况下就可以使用重打分功能来优化性能。 在ElasticSearch中，重打分是一个对指定数目的查询结果进行再次打分的一个过程。通常情况下，一个查询可能会匹配成千上万的结果，但用户很可能只对结果的前几页感兴趣。这种情况下就可以使用重打分功能来优化性能。
- Elasticsearch跨集群数据迁移用户在上华为云的时候经常需要将ES数据搬迁到云上的CSS服务，搬迁的源可以是自建的ES集群或者是其他云厂商的ES集群。目前的迁移方式一般是离线迁移，需要业务短暂停服。迁移方法迁移方法一般有以下几种Logstashsnapshot/restorereindex其他工具如elasticsearch-dump， esm等下面介绍Logstash和snapsh... Elasticsearch跨集群数据迁移用户在上华为云的时候经常需要将ES数据搬迁到云上的CSS服务，搬迁的源可以是自建的ES集群或者是其他云厂商的ES集群。目前的迁移方式一般是离线迁移，需要业务短暂停服。迁移方法迁移方法一般有以下几种Logstashsnapshot/restorereindex其他工具如elasticsearch-dump， esm等下面介绍Logstash和snapsh...
- 在CSS盒模型的课程中，张宇老师提到了元素实际大小宽度的计算方法，但是我在demo中计算的结果与实际不符合。因此我在交流群向一些前辈大神讨教，才得知CSS盒模型还分为了W3C标准盒模型和IE（怪异）盒模型。这篇文章我想向初学CSS盒模型的大家进行一个拓展（弄明白这俩盒模型我竟然用了一个上午），也非常希望有大佬看到这篇文章后能给出一些建议！老小白了，第一次写文章不足之处望大家指出，谢谢！ 在CSS盒模型的课程中，张宇老师提到了元素实际大小宽度的计算方法，但是我在demo中计算的结果与实际不符合。因此我在交流群向一些前辈大神讨教，才得知CSS盒模型还分为了W3C标准盒模型和IE（怪异）盒模型。这篇文章我想向初学CSS盒模型的大家进行一个拓展（弄明白这俩盒模型我竟然用了一个上午），也非常希望有大佬看到这篇文章后能给出一些建议！老小白了，第一次写文章不足之处望大家指出，谢谢！
- ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
- 一、场景描述受限于MySQL的ACID特性以及可扩展性，其检索能力以及OLAP/OLTP处理能力相对比较弱。CSS/ES支持文本、时间、数字、空间坐标、向量等数据类型构建索引，拥有非常强大的数据检索与分析能力；通过将CSS/ES通过作为MySQL的备数据库，可以补齐MySQL中的数据检索能力与OLAP与OLTP处理能力。如下方案用于将Mysql中的数据近实时同步到CSS/ES集群。 二、前... 一、场景描述受限于MySQL的ACID特性以及可扩展性，其检索能力以及OLAP/OLTP处理能力相对比较弱。CSS/ES支持文本、时间、数字、空间坐标、向量等数据类型构建索引，拥有非常强大的数据检索与分析能力；通过将CSS/ES通过作为MySQL的备数据库，可以补齐MySQL中的数据检索能力与OLAP与OLTP处理能力。如下方案用于将Mysql中的数据近实时同步到CSS/ES集群。 二、前...
- 一、前言在Java中，线程池有着比较方便的实现类ThreadPoolExecutor，但是这个实现类并不是开箱即用的，在实际的业务中需要一定的知识基础才能发挥出线程池的好处。Elasticsearch中就封装了一系列更实用的线程池实现，本篇文章就结合ES源码来探索一下大神们是如何实现线程池的。 二、基础知识先回顾一下Java的线程池实现中任务调度的原理，有以下几个重要参数：当前线程数cur... 一、前言在Java中，线程池有着比较方便的实现类ThreadPoolExecutor，但是这个实现类并不是开箱即用的，在实际的业务中需要一定的知识基础才能发挥出线程池的好处。Elasticsearch中就封装了一系列更实用的线程池实现，本篇文章就结合ES源码来探索一下大神们是如何实现线程池的。 二、基础知识先回顾一下Java的线程池实现中任务调度的原理，有以下几个重要参数：当前线程数cur...
- 1. 应用场景 地理位置检索广泛于各行各业，在智慧城市，城市规划，物流，房地产选址，新零售，公共安全，交通等各个方面都能够发挥重大作用，应用包含坐标查询（点查多边形）、范围查找（多边形查点）、范围统计分析（基于多边形的统计分析）等，例如查询任意指定区域内的酒店，学校，餐饮店等，查•统计不同电子围栏、不同时间段的派单数，优化车辆调度等； Elasticsearch 是一个分布式、可... 1. 应用场景 地理位置检索广泛于各行各业，在智慧城市，城市规划，物流，房地产选址，新零售，公共安全，交通等各个方面都能够发挥重大作用，应用包含坐标查询（点查多边形）、范围查找（多边形查点）、范围统计分析（基于多边形的统计分析）等，例如查询任意指定区域内的酒店，学校，餐饮店等，查•统计不同电子围栏、不同时间段的派单数，优化车辆调度等； Elasticsearch 是一个分布式、可...
- 本文为了解决ES在索引合并过程中的写放大问题，深入阅读了ES/Lucene源码，从代码层面彻底摸清了ES/Lucene 索引Merge流程与实现。整个问题描述和剖析的过程，对其它有类似需求的开发者可以起到抛砖引玉的借鉴作用。 本文为了解决ES在索引合并过程中的写放大问题，深入阅读了ES/Lucene源码，从代码层面彻底摸清了ES/Lucene 索引Merge流程与实现。整个问题描述和剖析的过程，对其它有类似需求的开发者可以起到抛砖引玉的借鉴作用。
- 某天发现es集群堆内存暴涨，持续在90%以上，并且一直降不下去，持续告警。这种问题首先就是怀疑内存泄漏，但是没有定位出来哪里泄漏了，用jmap dump了一个20G的内存文件下来，使用MAT打开问题分析可以看到SearchService里的ConcurrentHashMap占了78%的内存，打开SearchService的源码，只能是这个activeContexts了：private fin... 某天发现es集群堆内存暴涨，持续在90%以上，并且一直降不下去，持续告警。这种问题首先就是怀疑内存泄漏，但是没有定位出来哪里泄漏了，用jmap dump了一个20G的内存文件下来，使用MAT打开问题分析可以看到SearchService里的ConcurrentHashMap占了78%的内存，打开SearchService的源码，只能是这个activeContexts了：private fin...
上滑加载中
推荐直播
-
0基础玩转OpenTiny跨框架组件库，实现一站式前端进阶2023/10/11 周三 16:30-18:00
莫春辉 华为云前端开发DTSE技术布道师
你还在为构建web页面却不知道选哪个组件库而苦恼吗？ 你还在为从Vue2项目升级到Vue3的工作量大而惆怅吗？ 你还在为不同框架的组件库由于API不同，需要重复开发而薅头发吗？ 本期直播将聚焦于OpenTiny跨端、跨框架、跨版本的TinyVue组件库，其中包含了无渲染Renderless设计理念的实现方式，以及分析业务逻辑的思路及方法。让开发者能够通过一套代码在不同版本、不同框架、不同终端中使用，从而提升开发效率，保证用户在不同场景下的极致交互体验。
去报名
热门标签