- Kafka内核对于请求处理各个环节都打了断点，通过断点可以清楚的看到，服务在处理请求各个阶段的耗时，继而指导服务端性能优化。通过Request类，可以详细查看服务端如何计算请求处理各个阶段耗时：// RequstChannel#Requestclass Request(val processor: Int, val context: RequestContext, ... Kafka内核对于请求处理各个环节都打了断点，通过断点可以清楚的看到，服务在处理请求各个阶段的耗时，继而指导服务端性能优化。通过Request类，可以详细查看服务端如何计算请求处理各个阶段耗时：// RequstChannel#Requestclass Request(val processor: Int, val context: RequestContext, ...
- 关系数据库的数据入湖，有多种场景、多种工具、多种入湖时效要求等，本文梳理相关场景，以及对应的建议方案。 关系数据库的数据入湖，有多种场景、多种工具、多种入湖时效要求等，本文梳理相关场景，以及对应的建议方案。
- 大数据集群的物理机部署形态，相对于公有云/混合云的云主机部署形态，在自动化发放集群、弹性伸缩等云化场景方面处于劣势，但物理机部署形态的大数据集群能够更加充分高效的利用服务器资源，不存在云化/虚拟化的开销，同时服务器的异构能力更强。 早期交付的很多大数据集群均是物理机部署形态。 针对这些存量大数据集群，以下介绍一种自动化运维管理办法，来提升运维效率、集群资源利用率，降低集群的资源消耗。 大数据集群的物理机部署形态，相对于公有云/混合云的云主机部署形态，在自动化发放集群、弹性伸缩等云化场景方面处于劣势，但物理机部署形态的大数据集群能够更加充分高效的利用服务器资源，不存在云化/虚拟化的开销，同时服务器的异构能力更强。 早期交付的很多大数据集群均是物理机部署形态。 针对这些存量大数据集群，以下介绍一种自动化运维管理办法，来提升运维效率、集群资源利用率，降低集群的资源消耗。
- 1 获取并安装巡检工具1.1 安装说明1、此方法适用于所有的线上版本（HCS\HCSO\HC等）。2、2020.9.30 发布版本，将工具已经集成到了产品的镜像中，新安装环境可以进入沙箱内的/opt/dws/opstool/ 目录下，因此可以不需要安装，进入沙箱中/opt/dws/opstool/目录，直接执行gs_check命令即可；升级上来的集群，因为不会重新安装镜像，所以沙箱内的/op... 1 获取并安装巡检工具1.1 安装说明1、此方法适用于所有的线上版本（HCS\HCSO\HC等）。2、2020.9.30 发布版本，将工具已经集成到了产品的镜像中，新安装环境可以进入沙箱内的/opt/dws/opstool/ 目录下，因此可以不需要安装，进入沙箱中/opt/dws/opstool/目录，直接执行gs_check命令即可；升级上来的集群，因为不会重新安装镜像，所以沙箱内的/op...
- HetuEngine支持查询hive递归目录外部表需要添加参数hive.recursive-directories = true HetuEngine支持查询hive递归目录外部表需要添加参数hive.recursive-directories = true
- 现象：在向HetuEngine提交某些长sql在提交任务时报“Request Header Fields Too Large”java.sql.SQLException: Error executing query at io.prestosql.jdbc.PrestoStatement.internalExecute(PrestoStatement.java:274) ... 现象：在向HetuEngine提交某些长sql在提交任务时报“Request Header Fields Too Large”java.sql.SQLException: Error executing query at io.prestosql.jdbc.PrestoStatement.internalExecute(PrestoStatement.java:274) ...
- 概述 程序在运行过程中，需要使用最小化权限进行控制，以符合安全规范，所以一般程序都是以普通用户调用起来使用。有些时候，程序需要完成只有root权限才能完成的任务，这个时候就需要来使用sudo来达成目的。 不使用su命令切换到root来达成目的的原因是：如果这么使用，一方面容易导致root密码管理问题(比如修改后需要通知应用程序，应用程序存储root密码也容易泄露)。... 概述 程序在运行过程中，需要使用最小化权限进行控制，以符合安全规范，所以一般程序都是以普通用户调用起来使用。有些时候，程序需要完成只有root权限才能完成的任务，这个时候就需要来使用sudo来达成目的。 不使用su命令切换到root来达成目的的原因是：如果这么使用，一方面容易导致root密码管理问题(比如修改后需要通知应用程序，应用程序存储root密码也容易泄露)。...
- 【问题现象】集群安装完成后，界面频繁上报Manager主备倒换告警，根据现场工程师反馈每间隔1-2小时会发生一次主备倒换，短暂性导致界面异常，无法进行运维监控操作，如下所示：【可能原因】1、httpd服务异常2、pms资源异常3、底层软件异常4、其他原因等【分析过程】1、主备OMS发生倒换，优先看主备oms的ha.log日志《日志路径：/var/log/Bigdata/omm/oms/ha/... 【问题现象】集群安装完成后，界面频繁上报Manager主备倒换告警，根据现场工程师反馈每间隔1-2小时会发生一次主备倒换，短暂性导致界面异常，无法进行运维监控操作，如下所示：【可能原因】1、httpd服务异常2、pms资源异常3、底层软件异常4、其他原因等【分析过程】1、主备OMS发生倒换，优先看主备oms的ha.log日志《日志路径：/var/log/Bigdata/omm/oms/ha/...
- Flume, Source, Sink, Kafka Flume, Source, Sink, Kafka
- 本文主要为大家介绍MRS IoTDB的单机架构。MRS IoTDB主要聚焦在IoT物联网领域的设备传感器测点值的实时处理，因此，MRS IoTDB的基础架构设计以设备、传感器为核心概念，同时为了便于用户使用和IoTDB管理时间序列数据，增加了存储组的概念。 本文主要为大家介绍MRS IoTDB的单机架构。MRS IoTDB主要聚焦在IoT物联网领域的设备传感器测点值的实时处理，因此，MRS IoTDB的基础架构设计以设备、传感器为核心概念，同时为了便于用户使用和IoTDB管理时间序列数据，增加了存储组的概念。
- 1. kafka集群单个节点磁盘挂载的越多越好业界Kafka的标准使用方式是作为临时缓存使用。因此，很多人会误以为，kafka的每个节点只要存储够大就行，不用关心其他的指标。官方并不建议kafka单节点关在多个磁盘，因为磁盘越多，表示需要更多的处理线程去管理（num.io.thread决定），CPU的压力将非常大，如果磁盘数大于了CPU逻辑核数，kafka的CPU将因为非常繁忙导致数据落盘... 1. kafka集群单个节点磁盘挂载的越多越好业界Kafka的标准使用方式是作为临时缓存使用。因此，很多人会误以为，kafka的每个节点只要存储够大就行，不用关心其他的指标。官方并不建议kafka单节点关在多个磁盘，因为磁盘越多，表示需要更多的处理线程去管理（num.io.thread决定），CPU的压力将非常大，如果磁盘数大于了CPU逻辑核数，kafka的CPU将因为非常繁忙导致数据落盘...
- 伴随政企数字化转型进入深水区，面对错综复杂的数据分析场景和数据激增带来的数据结构变化，华为云FusionInsight MRS云原生数据湖又是如何推动大数据分析从离线走向实时，帮助政企客户解决多场景的数据分析诉求，成为政企数字化转型中首选的数据底座呢？6月18日，让我们一起相约华为云TechWave全球技术峰会（人工智能&数据）。 伴随政企数字化转型进入深水区，面对错综复杂的数据分析场景和数据激增带来的数据结构变化，华为云FusionInsight MRS云原生数据湖又是如何推动大数据分析从离线走向实时，帮助政企客户解决多场景的数据分析诉求，成为政企数字化转型中首选的数据底座呢？6月18日，让我们一起相约华为云TechWave全球技术峰会（人工智能&数据）。
- 自然语言处理（Natural Language Processing, NLP）领域中，近年来出现了一批以GPT、BERT为代表的大模型崭露头角，在各类任务上大幅提升了精度，并逐渐成为主流。但是大模型并不是万能的，在当前这个环境下，我们该如何看待大模型呢？ 自然语言处理（Natural Language Processing, NLP）领域中，近年来出现了一批以GPT、BERT为代表的大模型崭露头角，在各类任务上大幅提升了精度，并逐渐成为主流。但是大模型并不是万能的，在当前这个环境下，我们该如何看待大模型呢？
- hbase集成ranger鉴权，ranger统一管控权限。 hbase集成ranger鉴权，ranger统一管控权限。
- 查询规范建议1）定义好mappings和settings，不同的数据类型查询效率不一样，建议只需做精确查询以及范围查询的字段设置为keyword类型。对于要进行全文检索的字段设置合理的分词器。2）对于只需要查询数据结果而不需要结果的相关度计算的情况，使用filter query能大幅提升你的查询效率。例如过滤某车牌和号码。3）避免一次性取出大量的数量：Elasticsearch被设计为一个搜... 查询规范建议1）定义好mappings和settings，不同的数据类型查询效率不一样，建议只需做精确查询以及范围查询的字段设置为keyword类型。对于要进行全文检索的字段设置合理的分词器。2）对于只需要查询数据结果而不需要结果的相关度计算的情况，使用filter query能大幅提升你的查询效率。例如过滤某车牌和号码。3）避免一次性取出大量的数量：Elasticsearch被设计为一个搜...
上滑加载中
推荐直播
-
探秘仓颉编程语言：华为开发者空间的创新利器2025/02/22 周六 15:00-16:30
华为云讲师团
本期直播将与您一起探秘颉编程语言上线华为开发者空间后，显著提升开发效率，在智能化开发支持、全场景跨平台适配能力、工具链与生态完备性、语言简洁与高性能特性等方面展现出的独特优势。直播看点： 1.java转仓颉的小工具 2.仓颉动画三方库lottie 3.开发者空间介绍及如何在空间用仓颉编程语言开发
回顾中 -
大模型Prompt工程深度实践2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出？本期直播聚焦大模型Prompt工程核心技术：理解大模型推理基础原理，关键采样参数定义，提示词撰写关键策略及Prompt工程技巧分享。
去报名 -
华为云 x DeepSeek：AI驱动云上应用创新2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际，DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出？华为云与 DeepSeek 合作，将如何重塑产品与应用模式，助力企业数字化转型？在华为开发者空间，怎样高效部署 DeepSeek，搭建专属服务器？基于华为云平台，又该如何挖掘 DeepSeek 潜力，实现智能化升级？本期直播围绕DeepSeek在云上的应用案例，与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签