- 在服务器中，http 服务是最常用的。服务端：package mainimport ( "fmt" "net/http")func main() { http.HandleFunc("/go", myHandler) http.ListenAndServe("127.0.0.1:8000", nil)}func myHandler(w http.ResponseWriter, r *http... 在服务器中，http 服务是最常用的。服务端：package mainimport ( "fmt" "net/http")func main() { http.HandleFunc("/go", myHandler) http.ListenAndServe("127.0.0.1:8000", nil)}func myHandler(w http.ResponseWriter, r *http...
- 7月29日，在2021中国大数据生态产业大会上，由大数据产业生态联盟联合赛迪顾问共同完成的《2021中国大数据产业发展白皮书》正式发布，同时基于白皮书调研结果，组委会权威揭晓“2021中国大数据企业50强”榜单，华为大数据连续六年上榜。这也是业界对华为云FusionInsight在大数据领域持续技术创新、实践应用等方面成绩的再度肯定。 7月29日，在2021中国大数据生态产业大会上，由大数据产业生态联盟联合赛迪顾问共同完成的《2021中国大数据产业发展白皮书》正式发布，同时基于白皮书调研结果，组委会权威揭晓“2021中国大数据企业50强”榜单，华为大数据连续六年上榜。这也是业界对华为云FusionInsight在大数据领域持续技术创新、实践应用等方面成绩的再度肯定。
- Kafka内核对于请求处理各个环节都打了断点，通过断点可以清楚的看到，服务在处理请求各个阶段的耗时，继而指导服务端性能优化。通过Request类，可以详细查看服务端如何计算请求处理各个阶段耗时：// RequstChannel#Requestclass Request(val processor: Int, val context: RequestContext, ... Kafka内核对于请求处理各个环节都打了断点，通过断点可以清楚的看到，服务在处理请求各个阶段的耗时，继而指导服务端性能优化。通过Request类，可以详细查看服务端如何计算请求处理各个阶段耗时：// RequstChannel#Requestclass Request(val processor: Int, val context: RequestContext, ...
- 关系数据库的数据入湖，有多种场景、多种工具、多种入湖时效要求等，本文梳理相关场景，以及对应的建议方案。 关系数据库的数据入湖，有多种场景、多种工具、多种入湖时效要求等，本文梳理相关场景，以及对应的建议方案。
- 大数据集群的物理机部署形态，相对于公有云/混合云的云主机部署形态，在自动化发放集群、弹性伸缩等云化场景方面处于劣势，但物理机部署形态的大数据集群能够更加充分高效的利用服务器资源，不存在云化/虚拟化的开销，同时服务器的异构能力更强。 早期交付的很多大数据集群均是物理机部署形态。 针对这些存量大数据集群，以下介绍一种自动化运维管理办法，来提升运维效率、集群资源利用率，降低集群的资源消耗。 大数据集群的物理机部署形态，相对于公有云/混合云的云主机部署形态，在自动化发放集群、弹性伸缩等云化场景方面处于劣势，但物理机部署形态的大数据集群能够更加充分高效的利用服务器资源，不存在云化/虚拟化的开销，同时服务器的异构能力更强。 早期交付的很多大数据集群均是物理机部署形态。 针对这些存量大数据集群，以下介绍一种自动化运维管理办法，来提升运维效率、集群资源利用率，降低集群的资源消耗。
- 1 获取并安装巡检工具1.1 安装说明1、此方法适用于所有的线上版本（HCS\HCSO\HC等）。2、2020.9.30 发布版本，将工具已经集成到了产品的镜像中，新安装环境可以进入沙箱内的/opt/dws/opstool/ 目录下，因此可以不需要安装，进入沙箱中/opt/dws/opstool/目录，直接执行gs_check命令即可；升级上来的集群，因为不会重新安装镜像，所以沙箱内的/op... 1 获取并安装巡检工具1.1 安装说明1、此方法适用于所有的线上版本（HCS\HCSO\HC等）。2、2020.9.30 发布版本，将工具已经集成到了产品的镜像中，新安装环境可以进入沙箱内的/opt/dws/opstool/ 目录下，因此可以不需要安装，进入沙箱中/opt/dws/opstool/目录，直接执行gs_check命令即可；升级上来的集群，因为不会重新安装镜像，所以沙箱内的/op...
- HetuEngine支持查询hive递归目录外部表需要添加参数hive.recursive-directories = true HetuEngine支持查询hive递归目录外部表需要添加参数hive.recursive-directories = true
- 现象：在向HetuEngine提交某些长sql在提交任务时报“Request Header Fields Too Large”java.sql.SQLException: Error executing query at io.prestosql.jdbc.PrestoStatement.internalExecute(PrestoStatement.java:274) ... 现象：在向HetuEngine提交某些长sql在提交任务时报“Request Header Fields Too Large”java.sql.SQLException: Error executing query at io.prestosql.jdbc.PrestoStatement.internalExecute(PrestoStatement.java:274) ...
- 概述 程序在运行过程中，需要使用最小化权限进行控制，以符合安全规范，所以一般程序都是以普通用户调用起来使用。有些时候，程序需要完成只有root权限才能完成的任务，这个时候就需要来使用sudo来达成目的。 不使用su命令切换到root来达成目的的原因是：如果这么使用，一方面容易导致root密码管理问题(比如修改后需要通知应用程序，应用程序存储root密码也容易泄露)。... 概述 程序在运行过程中，需要使用最小化权限进行控制，以符合安全规范，所以一般程序都是以普通用户调用起来使用。有些时候，程序需要完成只有root权限才能完成的任务，这个时候就需要来使用sudo来达成目的。 不使用su命令切换到root来达成目的的原因是：如果这么使用，一方面容易导致root密码管理问题(比如修改后需要通知应用程序，应用程序存储root密码也容易泄露)。...
- 【问题现象】集群安装完成后，界面频繁上报Manager主备倒换告警，根据现场工程师反馈每间隔1-2小时会发生一次主备倒换，短暂性导致界面异常，无法进行运维监控操作，如下所示：【可能原因】1、httpd服务异常2、pms资源异常3、底层软件异常4、其他原因等【分析过程】1、主备OMS发生倒换，优先看主备oms的ha.log日志《日志路径：/var/log/Bigdata/omm/oms/ha/... 【问题现象】集群安装完成后，界面频繁上报Manager主备倒换告警，根据现场工程师反馈每间隔1-2小时会发生一次主备倒换，短暂性导致界面异常，无法进行运维监控操作，如下所示：【可能原因】1、httpd服务异常2、pms资源异常3、底层软件异常4、其他原因等【分析过程】1、主备OMS发生倒换，优先看主备oms的ha.log日志《日志路径：/var/log/Bigdata/omm/oms/ha/...
- Flume, Source, Sink, Kafka Flume, Source, Sink, Kafka
- 本文主要为大家介绍MRS IoTDB的单机架构。MRS IoTDB主要聚焦在IoT物联网领域的设备传感器测点值的实时处理，因此，MRS IoTDB的基础架构设计以设备、传感器为核心概念，同时为了便于用户使用和IoTDB管理时间序列数据，增加了存储组的概念。 本文主要为大家介绍MRS IoTDB的单机架构。MRS IoTDB主要聚焦在IoT物联网领域的设备传感器测点值的实时处理，因此，MRS IoTDB的基础架构设计以设备、传感器为核心概念，同时为了便于用户使用和IoTDB管理时间序列数据，增加了存储组的概念。
- 1. kafka集群单个节点磁盘挂载的越多越好业界Kafka的标准使用方式是作为临时缓存使用。因此，很多人会误以为，kafka的每个节点只要存储够大就行，不用关心其他的指标。官方并不建议kafka单节点关在多个磁盘，因为磁盘越多，表示需要更多的处理线程去管理（num.io.thread决定），CPU的压力将非常大，如果磁盘数大于了CPU逻辑核数，kafka的CPU将因为非常繁忙导致数据落盘... 1. kafka集群单个节点磁盘挂载的越多越好业界Kafka的标准使用方式是作为临时缓存使用。因此，很多人会误以为，kafka的每个节点只要存储够大就行，不用关心其他的指标。官方并不建议kafka单节点关在多个磁盘，因为磁盘越多，表示需要更多的处理线程去管理（num.io.thread决定），CPU的压力将非常大，如果磁盘数大于了CPU逻辑核数，kafka的CPU将因为非常繁忙导致数据落盘...
- 伴随政企数字化转型进入深水区，面对错综复杂的数据分析场景和数据激增带来的数据结构变化，华为云FusionInsight MRS云原生数据湖又是如何推动大数据分析从离线走向实时，帮助政企客户解决多场景的数据分析诉求，成为政企数字化转型中首选的数据底座呢？6月18日，让我们一起相约华为云TechWave全球技术峰会（人工智能&数据）。 伴随政企数字化转型进入深水区，面对错综复杂的数据分析场景和数据激增带来的数据结构变化，华为云FusionInsight MRS云原生数据湖又是如何推动大数据分析从离线走向实时，帮助政企客户解决多场景的数据分析诉求，成为政企数字化转型中首选的数据底座呢？6月18日，让我们一起相约华为云TechWave全球技术峰会（人工智能&数据）。
- 自然语言处理（Natural Language Processing, NLP）领域中，近年来出现了一批以GPT、BERT为代表的大模型崭露头角，在各类任务上大幅提升了精度，并逐渐成为主流。但是大模型并不是万能的，在当前这个环境下，我们该如何看待大模型呢？ 自然语言处理（Natural Language Processing, NLP）领域中，近年来出现了一批以GPT、BERT为代表的大模型崭露头角，在各类任务上大幅提升了精度，并逐渐成为主流。但是大模型并不是万能的，在当前这个环境下，我们该如何看待大模型呢？
上滑加载中
推荐直播
-
OpenHarmony应用开发之网络数据请求与数据解析2025/01/16 周四 19:00-20:30
华为开发者布道师、南京师范大学泰州学院副教授，硕士研究生导师，开放原子教育银牌认证讲师
科技浪潮中，鸿蒙生态强势崛起，OpenHarmony开启智能终端无限可能。当下，其原生应用开发适配潜力巨大，终端设备已广泛融入生活各场景，从家居到办公、穿戴至车载。 现在，机会敲门！我们的直播聚焦OpenHarmony关键的网络数据请求与解析，抛开晦涩理论，用真实案例带你掌握数据访问接口，轻松应对复杂网络请求、精准解析Json与Xml数据。参与直播，为开发鸿蒙App夯实基础，抢占科技新高地，别错过！
回顾中 -
Ascend C高层API设计原理与实现系列2025/01/17 周五 15:30-17:00
Ascend C 技术专家
以LayerNorm算子开发为例，讲解开箱即用的Ascend C高层API
回顾中
热门标签