- 众所周知，由于对象存储的架构限制，要想检索对象存储里的文件，只能使用前缀的方式过滤，然后一页一页的列举，限制多，效率低，要是桶内对象实在太多，可能光列举就要列举一两天。你可能会问，不少大公司的一个桶里都是几亿几十亿的对象，那他们都是怎么检索的呢？很简单但很有效的方案——在上传对象时候把对象信息存到其他数据库里，如 Elasticsearch、MongoDB、MySOL 等，然后在数据库里检索... 众所周知，由于对象存储的架构限制，要想检索对象存储里的文件，只能使用前缀的方式过滤，然后一页一页的列举，限制多，效率低，要是桶内对象实在太多，可能光列举就要列举一两天。你可能会问，不少大公司的一个桶里都是几亿几十亿的对象，那他们都是怎么检索的呢？很简单但很有效的方案——在上传对象时候把对象信息存到其他数据库里，如 Elasticsearch、MongoDB、MySOL 等，然后在数据库里检索...
- 1 容器化日志收集方案日志系统的重要度不言而喻，开发、测试、用户体验等都与其密切相关。本文以k8s下ELKB日志采集方案为例，详细介绍如何在华为云上一步一步搭建基于ELK的容器化采集服务，并分析在日志采集业务中可能遇到的一些问题。 1.1 ELKB方案说明日志包含系统日志、应用服务日志、访问日志等，以往若需要查看日志需登录系统设备，通过vim、cat等方式查看，操作繁琐、定位问题困难。费事... 1 容器化日志收集方案日志系统的重要度不言而喻，开发、测试、用户体验等都与其密切相关。本文以k8s下ELKB日志采集方案为例，详细介绍如何在华为云上一步一步搭建基于ELK的容器化采集服务，并分析在日志采集业务中可能遇到的一些问题。 1.1 ELKB方案说明日志包含系统日志、应用服务日志、访问日志等，以往若需要查看日志需登录系统设备，通过vim、cat等方式查看，操作繁琐、定位问题困难。费事...
- 今天，我们就来了解一下其聚合分析中较为常见的 percentiles 百分位数分析。n 个数据按数值大小排列，处于 p% 位置的值称第 p 百分位数。比如说，ElasticSearch 记录了每次网站请求访问的耗时，需要统计其 TP99，也就是整体请求中的 99% 的请求的最长耗时。 今天，我们就来了解一下其聚合分析中较为常见的 percentiles 百分位数分析。n 个数据按数值大小排列，处于 p% 位置的值称第 p 百分位数。比如说，ElasticSearch 记录了每次网站请求访问的耗时，需要统计其 TP99，也就是整体请求中的 99% 的请求的最长耗时。
- Elastic Search 的底层是开源库 Lucene。但是Lucene的使用门槛比较高，必须自己写代码去调用它的接口。而Elastic Search的出现正是为了解决了这个问题，它是 Lucene 的封装，提供了 REST API 的操作接口，我们可以开箱即用。 Elastic Search 的底层是开源库 Lucene。但是Lucene的使用门槛比较高，必须自己写代码去调用它的接口。而Elastic Search的出现正是为了解决了这个问题，它是 Lucene 的封装，提供了 REST API 的操作接口，我们可以开箱即用。
- 从零开始实施推荐系统的落地部署,这篇将教大家了解如何使用kibana做数据的可视化。 从零开始实施推荐系统的落地部署,这篇将教大家了解如何使用kibana做数据的可视化。
- 摘要：很多 DBA 和开发同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。最近了解到一款实时数据同步工具 Tapdata Clo... 摘要：很多 DBA 和开发同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。最近了解到一款实时数据同步工具 Tapdata Clo...
- Elasticsearch 的出现为容器日志管理提供了一个强大而灵活的解决方案。Elasticsearch 是一个分布式、开源的搜索与分析引擎，具备高可用性、可扩展性和强大的全文搜索能力。它能够快速地索引和搜索海量的日志数据，通过其丰富的查询语言和数据聚合功能，可以轻松地从复杂的容器日志数据中提取有价值的信息。例如，我们可以根据容器的名称、命名空间、时间范围等条件精确地筛选出特定容器的日志，还可以 Elasticsearch 的出现为容器日志管理提供了一个强大而灵活的解决方案。Elasticsearch 是一个分布式、开源的搜索与分析引擎，具备高可用性、可扩展性和强大的全文搜索能力。它能够快速地索引和搜索海量的日志数据，通过其丰富的查询语言和数据聚合功能，可以轻松地从复杂的容器日志数据中提取有价值的信息。例如，我们可以根据容器的名称、命名空间、时间范围等条件精确地筛选出特定容器的日志，还可以
- Elasticsearch具有出色的索引和搜索能力，能够快速处理大规模的数据。而Word2Vec模型则可以将文本中的词语映射为低维向量，这些向量能够很好地捕捉词语的语义信息。通过将文章中的词语向量进行组合等操作，可以得到文章的语义向量表示。将其存储在Elasticsearch中，并利用Elasticsearch的向量搜索功能，就可以实现对文章的语义相似度检索，从而有效地判断文章是否存在抄袭嫌疑。 Elasticsearch具有出色的索引和搜索能力，能够快速处理大规模的数据。而Word2Vec模型则可以将文本中的词语映射为低维向量，这些向量能够很好地捕捉词语的语义信息。通过将文章中的词语向量进行组合等操作，可以得到文章的语义向量表示。将其存储在Elasticsearch中，并利用Elasticsearch的向量搜索功能，就可以实现对文章的语义相似度检索，从而有效地判断文章是否存在抄袭嫌疑。
- BBQ）是中一种开创性的向量数据量化方法。它的核心目标是在提高向量数据压缩率的同时，维持高召回率，并提供自定义选项。其原理是通过巧妙地结合标量量化和位向量支持来实现这一目标。在实际的数据处理中，向量数据往往占据大量的存储空间。传统的量化方法可能会在压缩数据的过程中损失一定的准确性，导致搜索结果的召回率下降。而BBQ则打破了这种局限，它能够在不影响准确性的情况下，将向量数据的压缩率提高32倍。 BBQ）是中一种开创性的向量数据量化方法。它的核心目标是在提高向量数据压缩率的同时，维持高召回率，并提供自定义选项。其原理是通过巧妙地结合标量量化和位向量支持来实现这一目标。在实际的数据处理中，向量数据往往占据大量的存储空间。传统的量化方法可能会在压缩数据的过程中损失一定的准确性，导致搜索结果的召回率下降。而BBQ则打破了这种局限，它能够在不影响准确性的情况下，将向量数据的压缩率提高32倍。
- 版本对照关系：ElasticSearch 7.9.2 和 Logstash 7.9.2 ； 官方下载地址 选择ElasticSearch版本一致的Logstash版本 版本对照关系：ElasticSearch 7.9.2 和 Logstash 7.9.2 ； 官方下载地址 选择ElasticSearch版本一致的Logstash版本
- 再讲索引（Index）前，我们先对照下 ElasticSearch Vs 关系型数据库 再讲索引（Index）前，我们先对照下 ElasticSearch Vs 关系型数据库
- 安装完ElasticSearch 和 Kibana后我们开始学习 为了方便测试，使用kibana的dev tool来进行学习测试 安装完ElasticSearch 和 Kibana后我们开始学习 为了方便测试，使用kibana的dev tool来进行学习测试
- Kibana是一个开源的数据分析和可视化平台，通常与Elasticsearch一起使用，用于展示和分析大规模数据集。以下是关于Kibana的一些主要特点和功能： Kibana是一个开源的数据分析和可视化平台，通常与Elasticsearch一起使用，用于展示和分析大规模数据集。以下是关于Kibana的一些主要特点和功能：
- CentOS下安装ElasticSearch7.9.2（无坑版） CentOS下安装ElasticSearch7.9.2（无坑版）
- 编辑 哈喽~大家好，这篇来看看关于elasticsearch一些基本操作。 🥇个人主页：个人主页 🥈 系列专栏： 【微服务】 🥉与这篇相关的文章： SpringCloud Sentinel 使用SpringCloud Sentinel 使用_程序猿追的博客-CSDN博客_springcloud使用sen... 编辑 哈喽~大家好，这篇来看看关于elasticsearch一些基本操作。 🥇个人主页：个人主页 🥈 系列专栏： 【微服务】 🥉与这篇相关的文章： SpringCloud Sentinel 使用SpringCloud Sentinel 使用_程序猿追的博客-CSDN博客_springcloud使用sen...
上滑加载中
推荐直播
-
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day2）2025/03/30 周日 09:00-12:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
从AI基础到昇腾：大模型初探、DeepSeek解析与昇腾入门2025/04/02 周三 16:00-17:30
不易 / 华为云学堂技术讲师
昇腾是华为研发的AI芯片，其具有哪些能力？我们如何基于其进行开发？本期直播将从AI以及大模型基础知识开始，介绍人工智能核心概念、昇腾AI基础软硬件平台以及昇腾专区，旨在为零基础或入门级学习者搭建从AI基础知识到昇腾技术的完整学习路径。
回顾中
热门标签