- 7月29日，在2021中国大数据生态产业大会上，由大数据产业生态联盟联合赛迪顾问共同完成的《2021中国大数据产业发展白皮书》正式发布，同时基于白皮书调研结果，组委会权威揭晓“2021中国大数据企业50强”榜单，华为大数据连续六年上榜。这也是业界对华为云FusionInsight在大数据领域持续技术创新、实践应用等方面成绩的再度肯定。 7月29日，在2021中国大数据生态产业大会上，由大数据产业生态联盟联合赛迪顾问共同完成的《2021中国大数据产业发展白皮书》正式发布，同时基于白皮书调研结果，组委会权威揭晓“2021中国大数据企业50强”榜单，华为大数据连续六年上榜。这也是业界对华为云FusionInsight在大数据领域持续技术创新、实践应用等方面成绩的再度肯定。
- Kafka内核对于请求处理各个环节都打了断点，通过断点可以清楚的看到，服务在处理请求各个阶段的耗时，继而指导服务端性能优化。通过Request类，可以详细查看服务端如何计算请求处理各个阶段耗时：// RequstChannel#Requestclass Request(val processor: Int, val context: RequestContext, ... Kafka内核对于请求处理各个环节都打了断点，通过断点可以清楚的看到，服务在处理请求各个阶段的耗时，继而指导服务端性能优化。通过Request类，可以详细查看服务端如何计算请求处理各个阶段耗时：// RequstChannel#Requestclass Request(val processor: Int, val context: RequestContext, ...
- 关系数据库的数据入湖，有多种场景、多种工具、多种入湖时效要求等，本文梳理相关场景，以及对应的建议方案。 关系数据库的数据入湖，有多种场景、多种工具、多种入湖时效要求等，本文梳理相关场景，以及对应的建议方案。
- 大数据集群的物理机部署形态，相对于公有云/混合云的云主机部署形态，在自动化发放集群、弹性伸缩等云化场景方面处于劣势，但物理机部署形态的大数据集群能够更加充分高效的利用服务器资源，不存在云化/虚拟化的开销，同时服务器的异构能力更强。 早期交付的很多大数据集群均是物理机部署形态。 针对这些存量大数据集群，以下介绍一种自动化运维管理办法，来提升运维效率、集群资源利用率，降低集群的资源消耗。 大数据集群的物理机部署形态，相对于公有云/混合云的云主机部署形态，在自动化发放集群、弹性伸缩等云化场景方面处于劣势，但物理机部署形态的大数据集群能够更加充分高效的利用服务器资源，不存在云化/虚拟化的开销，同时服务器的异构能力更强。 早期交付的很多大数据集群均是物理机部署形态。 针对这些存量大数据集群，以下介绍一种自动化运维管理办法，来提升运维效率、集群资源利用率，降低集群的资源消耗。
- HetuEngine支持查询hive递归目录外部表需要添加参数hive.recursive-directories = true HetuEngine支持查询hive递归目录外部表需要添加参数hive.recursive-directories = true
- 现象：在向HetuEngine提交某些长sql在提交任务时报“Request Header Fields Too Large”java.sql.SQLException: Error executing query at io.prestosql.jdbc.PrestoStatement.internalExecute(PrestoStatement.java:274) ... 现象：在向HetuEngine提交某些长sql在提交任务时报“Request Header Fields Too Large”java.sql.SQLException: Error executing query at io.prestosql.jdbc.PrestoStatement.internalExecute(PrestoStatement.java:274) ...
- 【问题现象】集群安装完成后，界面频繁上报Manager主备倒换告警，根据现场工程师反馈每间隔1-2小时会发生一次主备倒换，短暂性导致界面异常，无法进行运维监控操作，如下所示：【可能原因】1、httpd服务异常2、pms资源异常3、底层软件异常4、其他原因等【分析过程】1、主备OMS发生倒换，优先看主备oms的ha.log日志《日志路径：/var/log/Bigdata/omm/oms/ha/... 【问题现象】集群安装完成后，界面频繁上报Manager主备倒换告警，根据现场工程师反馈每间隔1-2小时会发生一次主备倒换，短暂性导致界面异常，无法进行运维监控操作，如下所示：【可能原因】1、httpd服务异常2、pms资源异常3、底层软件异常4、其他原因等【分析过程】1、主备OMS发生倒换，优先看主备oms的ha.log日志《日志路径：/var/log/Bigdata/omm/oms/ha/...
- Flume, Source, Sink, Kafka Flume, Source, Sink, Kafka
- 本文主要为大家介绍MRS IoTDB的单机架构。MRS IoTDB主要聚焦在IoT物联网领域的设备传感器测点值的实时处理，因此，MRS IoTDB的基础架构设计以设备、传感器为核心概念，同时为了便于用户使用和IoTDB管理时间序列数据，增加了存储组的概念。 本文主要为大家介绍MRS IoTDB的单机架构。MRS IoTDB主要聚焦在IoT物联网领域的设备传感器测点值的实时处理，因此，MRS IoTDB的基础架构设计以设备、传感器为核心概念，同时为了便于用户使用和IoTDB管理时间序列数据，增加了存储组的概念。
- 1. kafka集群单个节点磁盘挂载的越多越好业界Kafka的标准使用方式是作为临时缓存使用。因此，很多人会误以为，kafka的每个节点只要存储够大就行，不用关心其他的指标。官方并不建议kafka单节点关在多个磁盘，因为磁盘越多，表示需要更多的处理线程去管理（num.io.thread决定），CPU的压力将非常大，如果磁盘数大于了CPU逻辑核数，kafka的CPU将因为非常繁忙导致数据落盘... 1. kafka集群单个节点磁盘挂载的越多越好业界Kafka的标准使用方式是作为临时缓存使用。因此，很多人会误以为，kafka的每个节点只要存储够大就行，不用关心其他的指标。官方并不建议kafka单节点关在多个磁盘，因为磁盘越多，表示需要更多的处理线程去管理（num.io.thread决定），CPU的压力将非常大，如果磁盘数大于了CPU逻辑核数，kafka的CPU将因为非常繁忙导致数据落盘...
- 伴随政企数字化转型进入深水区，面对错综复杂的数据分析场景和数据激增带来的数据结构变化，华为云FusionInsight MRS云原生数据湖又是如何推动大数据分析从离线走向实时，帮助政企客户解决多场景的数据分析诉求，成为政企数字化转型中首选的数据底座呢？6月18日，让我们一起相约华为云TechWave全球技术峰会（人工智能&数据）。 伴随政企数字化转型进入深水区，面对错综复杂的数据分析场景和数据激增带来的数据结构变化，华为云FusionInsight MRS云原生数据湖又是如何推动大数据分析从离线走向实时，帮助政企客户解决多场景的数据分析诉求，成为政企数字化转型中首选的数据底座呢？6月18日，让我们一起相约华为云TechWave全球技术峰会（人工智能&数据）。
- hbase集成ranger鉴权，ranger统一管控权限。 hbase集成ranger鉴权，ranger统一管控权限。
- 查询规范建议1）定义好mappings和settings，不同的数据类型查询效率不一样，建议只需做精确查询以及范围查询的字段设置为keyword类型。对于要进行全文检索的字段设置合理的分词器。2）对于只需要查询数据结果而不需要结果的相关度计算的情况，使用filter query能大幅提升你的查询效率。例如过滤某车牌和号码。3）避免一次性取出大量的数量：Elasticsearch被设计为一个搜... 查询规范建议1）定义好mappings和settings，不同的数据类型查询效率不一样，建议只需做精确查询以及范围查询的字段设置为keyword类型。对于要进行全文检索的字段设置合理的分词器。2）对于只需要查询数据结果而不需要结果的相关度计算的情况，使用filter query能大幅提升你的查询效率。例如过滤某车牌和号码。3）避免一次性取出大量的数量：Elasticsearch被设计为一个搜...
- 5月20日，华为云TechWave云原生2.0专题将线上举行，更多云原生创新技术和丰富实践还将与大家见面，华为云FusionInsight MRS专家还将带来“华为云FusionInsight MRS，一个架构实现三种数据湖”的主题演讲，从行业趋势、技术创新、业务实践等方面深度剖析MRS云原生数据湖。 5月20日，华为云TechWave云原生2.0专题将线上举行，更多云原生创新技术和丰富实践还将与大家见面，华为云FusionInsight MRS专家还将带来“华为云FusionInsight MRS，一个架构实现三种数据湖”的主题演讲，从行业趋势、技术创新、业务实践等方面深度剖析MRS云原生数据湖。
- 近日，国际权威分析机构弗若斯特沙利文Frost & Sullivan（以下简称“沙利文”）发布了《2020年中国数据管理解决方案市场报告》，对中国主流大数据厂商从产品创新能力、成长能力、基础能力三个维度进行了全面评估。华为云凭借FusionInsight的持续创新位居中国数据管理解决方案领导者，并在中国大数据厂商中全面领先。 近日，国际权威分析机构弗若斯特沙利文Frost & Sullivan（以下简称“沙利文”）发布了《2020年中国数据管理解决方案市场报告》，对中国主流大数据厂商从产品创新能力、成长能力、基础能力三个维度进行了全面评估。华为云凭借FusionInsight的持续创新位居中国数据管理解决方案领导者，并在中国大数据厂商中全面领先。
上滑加载中
推荐直播
-
让你的应用用上GaussDB2024/12/19 周四 16:30-18:00
Jerry 华为云生态技术讲师
GaussDB很受客户关注，伙伴们想知道什么时候该选用，开发者也跃跃欲试想尝鲜。课程会分享适用的场景，并一步步演示如何用上GaussDB。
即将直播 -
2024创原会年度技术峰会2024/12/20 周五 09:00-12:00
华为云讲师团
2024创原会年度技术峰会将于12月20日在海南万宁石梅湾威斯汀酒店举办，本次大会将以“智能・进化”为主题探讨从Cloud Native到AI Native的新阶段企业如何通过AI技术重塑企业应用，围绕AI如何在千行万业落地进行深入交流，探索可以先行先试先成功的创新场景和实现路径。
即将直播 -
华为云开发者日·2024年度创享峰会2024/12/23 周一 14:00-16:00
华为云讲师团
华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动，汇聚来自千行百业、高校及科研院所的开发人员。致力于打造开发者专属的技术盛宴，全方位服务与赋能开发者围绕华为云生态“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的应用创新推介，为开发者提供沉浸式学习与交流平台。开放创新，与开发者共创、共享、共赢未来。
去报名
热门标签