- 众所周知，由于对象存储的架构限制，要想检索对象存储里的文件，只能使用前缀的方式过滤，然后一页一页的列举，限制多，效率低，要是桶内对象实在太多，可能光列举就要列举一两天。你可能会问，不少大公司的一个桶里都是几亿几十亿的对象，那他们都是怎么检索的呢？很简单但很有效的方案——在上传对象时候把对象信息存到其他数据库里，如 Elasticsearch、MongoDB、MySOL 等，然后在数据库里检索... 众所周知，由于对象存储的架构限制，要想检索对象存储里的文件，只能使用前缀的方式过滤，然后一页一页的列举，限制多，效率低，要是桶内对象实在太多，可能光列举就要列举一两天。你可能会问，不少大公司的一个桶里都是几亿几十亿的对象，那他们都是怎么检索的呢？很简单但很有效的方案——在上传对象时候把对象信息存到其他数据库里，如 Elasticsearch、MongoDB、MySOL 等，然后在数据库里检索...
- 1 容器化日志收集方案日志系统的重要度不言而喻，开发、测试、用户体验等都与其密切相关。本文以k8s下ELKB日志采集方案为例，详细介绍如何在华为云上一步一步搭建基于ELK的容器化采集服务，并分析在日志采集业务中可能遇到的一些问题。 1.1 ELKB方案说明日志包含系统日志、应用服务日志、访问日志等，以往若需要查看日志需登录系统设备，通过vim、cat等方式查看，操作繁琐、定位问题困难。费事... 1 容器化日志收集方案日志系统的重要度不言而喻，开发、测试、用户体验等都与其密切相关。本文以k8s下ELKB日志采集方案为例，详细介绍如何在华为云上一步一步搭建基于ELK的容器化采集服务，并分析在日志采集业务中可能遇到的一些问题。 1.1 ELKB方案说明日志包含系统日志、应用服务日志、访问日志等，以往若需要查看日志需登录系统设备，通过vim、cat等方式查看，操作繁琐、定位问题困难。费事...
- 今天，我们就来了解一下其聚合分析中较为常见的 percentiles 百分位数分析。n 个数据按数值大小排列，处于 p% 位置的值称第 p 百分位数。比如说，ElasticSearch 记录了每次网站请求访问的耗时，需要统计其 TP99，也就是整体请求中的 99% 的请求的最长耗时。 今天，我们就来了解一下其聚合分析中较为常见的 percentiles 百分位数分析。n 个数据按数值大小排列，处于 p% 位置的值称第 p 百分位数。比如说，ElasticSearch 记录了每次网站请求访问的耗时，需要统计其 TP99，也就是整体请求中的 99% 的请求的最长耗时。
- Elastic Search 的底层是开源库 Lucene。但是Lucene的使用门槛比较高，必须自己写代码去调用它的接口。而Elastic Search的出现正是为了解决了这个问题，它是 Lucene 的封装，提供了 REST API 的操作接口，我们可以开箱即用。 Elastic Search 的底层是开源库 Lucene。但是Lucene的使用门槛比较高，必须自己写代码去调用它的接口。而Elastic Search的出现正是为了解决了这个问题，它是 Lucene 的封装，提供了 REST API 的操作接口，我们可以开箱即用。
- 从零开始实施推荐系统的落地部署,这篇将教大家了解如何使用kibana做数据的可视化。 从零开始实施推荐系统的落地部署,这篇将教大家了解如何使用kibana做数据的可视化。
- 摘要：很多 DBA 和开发同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。最近了解到一款实时数据同步工具 Tapdata Clo... 摘要：很多 DBA 和开发同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。最近了解到一款实时数据同步工具 Tapdata Clo...
- Elasticsearch 的出现为容器日志管理提供了一个强大而灵活的解决方案。Elasticsearch 是一个分布式、开源的搜索与分析引擎，具备高可用性、可扩展性和强大的全文搜索能力。它能够快速地索引和搜索海量的日志数据，通过其丰富的查询语言和数据聚合功能，可以轻松地从复杂的容器日志数据中提取有价值的信息。例如，我们可以根据容器的名称、命名空间、时间范围等条件精确地筛选出特定容器的日志，还可以 Elasticsearch 的出现为容器日志管理提供了一个强大而灵活的解决方案。Elasticsearch 是一个分布式、开源的搜索与分析引擎，具备高可用性、可扩展性和强大的全文搜索能力。它能够快速地索引和搜索海量的日志数据，通过其丰富的查询语言和数据聚合功能，可以轻松地从复杂的容器日志数据中提取有价值的信息。例如，我们可以根据容器的名称、命名空间、时间范围等条件精确地筛选出特定容器的日志，还可以
- Elasticsearch具有出色的索引和搜索能力，能够快速处理大规模的数据。而Word2Vec模型则可以将文本中的词语映射为低维向量，这些向量能够很好地捕捉词语的语义信息。通过将文章中的词语向量进行组合等操作，可以得到文章的语义向量表示。将其存储在Elasticsearch中，并利用Elasticsearch的向量搜索功能，就可以实现对文章的语义相似度检索，从而有效地判断文章是否存在抄袭嫌疑。 Elasticsearch具有出色的索引和搜索能力，能够快速处理大规模的数据。而Word2Vec模型则可以将文本中的词语映射为低维向量，这些向量能够很好地捕捉词语的语义信息。通过将文章中的词语向量进行组合等操作，可以得到文章的语义向量表示。将其存储在Elasticsearch中，并利用Elasticsearch的向量搜索功能，就可以实现对文章的语义相似度检索，从而有效地判断文章是否存在抄袭嫌疑。
- BBQ）是中一种开创性的向量数据量化方法。它的核心目标是在提高向量数据压缩率的同时，维持高召回率，并提供自定义选项。其原理是通过巧妙地结合标量量化和位向量支持来实现这一目标。在实际的数据处理中，向量数据往往占据大量的存储空间。传统的量化方法可能会在压缩数据的过程中损失一定的准确性，导致搜索结果的召回率下降。而BBQ则打破了这种局限，它能够在不影响准确性的情况下，将向量数据的压缩率提高32倍。 BBQ）是中一种开创性的向量数据量化方法。它的核心目标是在提高向量数据压缩率的同时，维持高召回率，并提供自定义选项。其原理是通过巧妙地结合标量量化和位向量支持来实现这一目标。在实际的数据处理中，向量数据往往占据大量的存储空间。传统的量化方法可能会在压缩数据的过程中损失一定的准确性，导致搜索结果的召回率下降。而BBQ则打破了这种局限，它能够在不影响准确性的情况下，将向量数据的压缩率提高32倍。
- 版本对照关系：ElasticSearch 7.9.2 和 Logstash 7.9.2 ； 官方下载地址 选择ElasticSearch版本一致的Logstash版本 版本对照关系：ElasticSearch 7.9.2 和 Logstash 7.9.2 ； 官方下载地址 选择ElasticSearch版本一致的Logstash版本
- 再讲索引（Index）前，我们先对照下 ElasticSearch Vs 关系型数据库 再讲索引（Index）前，我们先对照下 ElasticSearch Vs 关系型数据库
- 安装完ElasticSearch 和 Kibana后我们开始学习 为了方便测试，使用kibana的dev tool来进行学习测试 安装完ElasticSearch 和 Kibana后我们开始学习 为了方便测试，使用kibana的dev tool来进行学习测试
- Kibana是一个开源的数据分析和可视化平台，通常与Elasticsearch一起使用，用于展示和分析大规模数据集。以下是关于Kibana的一些主要特点和功能： Kibana是一个开源的数据分析和可视化平台，通常与Elasticsearch一起使用，用于展示和分析大规模数据集。以下是关于Kibana的一些主要特点和功能：
- CentOS下安装ElasticSearch7.9.2（无坑版） CentOS下安装ElasticSearch7.9.2（无坑版）
- 编辑 哈喽~大家好，这篇来看看关于elasticsearch一些基本操作。 🥇个人主页：个人主页 🥈 系列专栏： 【微服务】 🥉与这篇相关的文章： SpringCloud Sentinel 使用SpringCloud Sentinel 使用_程序猿追的博客-CSDN博客_springcloud使用sen... 编辑 哈喽~大家好，这篇来看看关于elasticsearch一些基本操作。 🥇个人主页：个人主页 🥈 系列专栏： 【微服务】 🥉与这篇相关的文章： SpringCloud Sentinel 使用SpringCloud Sentinel 使用_程序猿追的博客-CSDN博客_springcloud使用sen...
上滑加载中
推荐直播
-
计算机核心课程贯通式实践教学体系介绍2025/01/05 周日 09:00-12:00
华为开发者布道师、湖南大学二级教授、博士生导师赵欢
1月5日上午，华为开发者布道师直播间将迎来重磅嘉宾！赵欢老师，计算机教育创新先锋，其 “小而全系统” 教学方案重塑计算机类专业课程与实践，融合鲲鹏生态技术知识，斩获国家级教学成果奖。杨科华老师专注小型全系统实践，在香橙派鲲鹏 Pro 开发板构建精妙 mini 系统，带您直击计算机底层奥秘。还有香橙派系统开发部李博经理，精通开发板硬件与应用，将全方位揭秘开发板使用及 FPGA 开发实战案例。三位大咖齐聚，为高校师生开启计算机系统能力提升的知识宝库，精彩即将上线，速速预约！
回顾中 -
GaussDB数据库介绍2025/01/07 周二 16:00-18:00
Steven 华为云学堂技术讲师
本期直播将介绍GaussDB数据库的发展历程、优势、架构、关键特性和部署模式等，旨在帮助开发者了解GaussDB数据库，并通过手把手实验教大家如何在华为云部署GaussDB数据库和使用gsql连接GaussDB数据库。
去报名 -
DTT年度收官盛典：华为开发者空间大咖汇，共探云端开发创新2025/01/08 周三 16:30-18:00
Yawei 华为云开发工具和效率首席专家 Edwin 华为开发者空间产品总监
数字化转型进程持续加速，驱动着技术革新发展，华为开发者空间如何巧妙整合鸿蒙、昇腾、鲲鹏等核心资源，打破平台间的壁垒，实现跨平台协同？在科技迅猛发展的今天，开发者们如何迅速把握机遇，实现高效、创新的技术突破？DTT 年度收官盛典，将与大家共同探索华为开发者空间的创新奥秘。
去报名
热门标签