- 众所周知，由于对象存储的架构限制，要想检索对象存储里的文件，只能使用前缀的方式过滤，然后一页一页的列举，限制多，效率低，要是桶内对象实在太多，可能光列举就要列举一两天。你可能会问，不少大公司的一个桶里都是几亿几十亿的对象，那他们都是怎么检索的呢？很简单但很有效的方案——在上传对象时候把对象信息存到其他数据库里，如 Elasticsearch、MongoDB、MySOL 等，然后在数据库里检索... 众所周知，由于对象存储的架构限制，要想检索对象存储里的文件，只能使用前缀的方式过滤，然后一页一页的列举，限制多，效率低，要是桶内对象实在太多，可能光列举就要列举一两天。你可能会问，不少大公司的一个桶里都是几亿几十亿的对象，那他们都是怎么检索的呢？很简单但很有效的方案——在上传对象时候把对象信息存到其他数据库里，如 Elasticsearch、MongoDB、MySOL 等，然后在数据库里检索...
- 1 容器化日志收集方案日志系统的重要度不言而喻，开发、测试、用户体验等都与其密切相关。本文以k8s下ELKB日志采集方案为例，详细介绍如何在华为云上一步一步搭建基于ELK的容器化采集服务，并分析在日志采集业务中可能遇到的一些问题。 1.1 ELKB方案说明日志包含系统日志、应用服务日志、访问日志等，以往若需要查看日志需登录系统设备，通过vim、cat等方式查看，操作繁琐、定位问题困难。费事... 1 容器化日志收集方案日志系统的重要度不言而喻，开发、测试、用户体验等都与其密切相关。本文以k8s下ELKB日志采集方案为例，详细介绍如何在华为云上一步一步搭建基于ELK的容器化采集服务，并分析在日志采集业务中可能遇到的一些问题。 1.1 ELKB方案说明日志包含系统日志、应用服务日志、访问日志等，以往若需要查看日志需登录系统设备，通过vim、cat等方式查看，操作繁琐、定位问题困难。费事...
- 今天，我们就来了解一下其聚合分析中较为常见的 percentiles 百分位数分析。n 个数据按数值大小排列，处于 p% 位置的值称第 p 百分位数。比如说，ElasticSearch 记录了每次网站请求访问的耗时，需要统计其 TP99，也就是整体请求中的 99% 的请求的最长耗时。 今天，我们就来了解一下其聚合分析中较为常见的 percentiles 百分位数分析。n 个数据按数值大小排列，处于 p% 位置的值称第 p 百分位数。比如说，ElasticSearch 记录了每次网站请求访问的耗时，需要统计其 TP99，也就是整体请求中的 99% 的请求的最长耗时。
- Elastic Search 的底层是开源库 Lucene。但是Lucene的使用门槛比较高，必须自己写代码去调用它的接口。而Elastic Search的出现正是为了解决了这个问题，它是 Lucene 的封装，提供了 REST API 的操作接口，我们可以开箱即用。 Elastic Search 的底层是开源库 Lucene。但是Lucene的使用门槛比较高，必须自己写代码去调用它的接口。而Elastic Search的出现正是为了解决了这个问题，它是 Lucene 的封装，提供了 REST API 的操作接口，我们可以开箱即用。
- 从零开始实施推荐系统的落地部署,这篇将教大家了解如何使用kibana做数据的可视化。 从零开始实施推荐系统的落地部署,这篇将教大家了解如何使用kibana做数据的可视化。
- 摘要：很多 DBA 和开发同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。最近了解到一款实时数据同步工具 Tapdata Clo... 摘要：很多 DBA 和开发同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。最近了解到一款实时数据同步工具 Tapdata Clo...
- Elasticsearch 的出现为容器日志管理提供了一个强大而灵活的解决方案。Elasticsearch 是一个分布式、开源的搜索与分析引擎，具备高可用性、可扩展性和强大的全文搜索能力。它能够快速地索引和搜索海量的日志数据，通过其丰富的查询语言和数据聚合功能，可以轻松地从复杂的容器日志数据中提取有价值的信息。例如，我们可以根据容器的名称、命名空间、时间范围等条件精确地筛选出特定容器的日志，还可以 Elasticsearch 的出现为容器日志管理提供了一个强大而灵活的解决方案。Elasticsearch 是一个分布式、开源的搜索与分析引擎，具备高可用性、可扩展性和强大的全文搜索能力。它能够快速地索引和搜索海量的日志数据，通过其丰富的查询语言和数据聚合功能，可以轻松地从复杂的容器日志数据中提取有价值的信息。例如，我们可以根据容器的名称、命名空间、时间范围等条件精确地筛选出特定容器的日志，还可以
- Elasticsearch具有出色的索引和搜索能力，能够快速处理大规模的数据。而Word2Vec模型则可以将文本中的词语映射为低维向量，这些向量能够很好地捕捉词语的语义信息。通过将文章中的词语向量进行组合等操作，可以得到文章的语义向量表示。将其存储在Elasticsearch中，并利用Elasticsearch的向量搜索功能，就可以实现对文章的语义相似度检索，从而有效地判断文章是否存在抄袭嫌疑。 Elasticsearch具有出色的索引和搜索能力，能够快速处理大规模的数据。而Word2Vec模型则可以将文本中的词语映射为低维向量，这些向量能够很好地捕捉词语的语义信息。通过将文章中的词语向量进行组合等操作，可以得到文章的语义向量表示。将其存储在Elasticsearch中，并利用Elasticsearch的向量搜索功能，就可以实现对文章的语义相似度检索，从而有效地判断文章是否存在抄袭嫌疑。
- BBQ）是中一种开创性的向量数据量化方法。它的核心目标是在提高向量数据压缩率的同时，维持高召回率，并提供自定义选项。其原理是通过巧妙地结合标量量化和位向量支持来实现这一目标。在实际的数据处理中，向量数据往往占据大量的存储空间。传统的量化方法可能会在压缩数据的过程中损失一定的准确性，导致搜索结果的召回率下降。而BBQ则打破了这种局限，它能够在不影响准确性的情况下，将向量数据的压缩率提高32倍。 BBQ）是中一种开创性的向量数据量化方法。它的核心目标是在提高向量数据压缩率的同时，维持高召回率，并提供自定义选项。其原理是通过巧妙地结合标量量化和位向量支持来实现这一目标。在实际的数据处理中，向量数据往往占据大量的存储空间。传统的量化方法可能会在压缩数据的过程中损失一定的准确性，导致搜索结果的召回率下降。而BBQ则打破了这种局限，它能够在不影响准确性的情况下，将向量数据的压缩率提高32倍。
- 版本对照关系：ElasticSearch 7.9.2 和 Logstash 7.9.2 ； 官方下载地址 选择ElasticSearch版本一致的Logstash版本 版本对照关系：ElasticSearch 7.9.2 和 Logstash 7.9.2 ； 官方下载地址 选择ElasticSearch版本一致的Logstash版本
- 再讲索引（Index）前，我们先对照下 ElasticSearch Vs 关系型数据库 再讲索引（Index）前，我们先对照下 ElasticSearch Vs 关系型数据库
- 安装完ElasticSearch 和 Kibana后我们开始学习 为了方便测试，使用kibana的dev tool来进行学习测试 安装完ElasticSearch 和 Kibana后我们开始学习 为了方便测试，使用kibana的dev tool来进行学习测试
- Kibana是一个开源的数据分析和可视化平台，通常与Elasticsearch一起使用，用于展示和分析大规模数据集。以下是关于Kibana的一些主要特点和功能： Kibana是一个开源的数据分析和可视化平台，通常与Elasticsearch一起使用，用于展示和分析大规模数据集。以下是关于Kibana的一些主要特点和功能：
- CentOS下安装ElasticSearch7.9.2（无坑版） CentOS下安装ElasticSearch7.9.2（无坑版）
- 编辑 哈喽~大家好，这篇来看看关于elasticsearch一些基本操作。 🥇个人主页：个人主页 🥈 系列专栏： 【微服务】 🥉与这篇相关的文章： SpringCloud Sentinel 使用SpringCloud Sentinel 使用_程序猿追的博客-CSDN博客_springcloud使用sen... 编辑 哈喽~大家好，这篇来看看关于elasticsearch一些基本操作。 🥇个人主页：个人主页 🥈 系列专栏： 【微服务】 🥉与这篇相关的文章： SpringCloud Sentinel 使用SpringCloud Sentinel 使用_程序猿追的博客-CSDN博客_springcloud使用sen...
上滑加载中
推荐直播
-
探秘仓颉编程语言：华为开发者空间的创新利器2025/02/22 周六 15:00-16:30
华为云讲师团
本期直播将与您一起探秘颉编程语言上线华为开发者空间后，显著提升开发效率，在智能化开发支持、全场景跨平台适配能力、工具链与生态完备性、语言简洁与高性能特性等方面展现出的独特优势。直播看点： 1.java转仓颉的小工具 2.仓颉动画三方库lottie 3.开发者空间介绍及如何在空间用仓颉编程语言开发
回顾中 -
大模型Prompt工程深度实践2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出？本期直播聚焦大模型Prompt工程核心技术：理解大模型推理基础原理，关键采样参数定义，提示词撰写关键策略及Prompt工程技巧分享。
去报名 -
华为云 x DeepSeek：AI驱动云上应用创新2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际，DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出？华为云与 DeepSeek 合作，将如何重塑产品与应用模式，助力企业数字化转型？在华为开发者空间，怎样高效部署 DeepSeek，搭建专属服务器？基于华为云平台，又该如何挖掘 DeepSeek 潜力，实现智能化升级？本期直播围绕DeepSeek在云上的应用案例，与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签