- Hudi提供了MOR和COW两种存储模型，大数据原有的分区模型等，基于Hudi构建实时数据湖方案过程中，要根据对应的分析场景选择合适的存储模型，提升分析的性能、降低方案复杂度。 Hudi提供了MOR和COW两种存储模型，大数据原有的分区模型等，基于Hudi构建实时数据湖方案过程中，要根据对应的分析场景选择合适的存储模型，提升分析的性能、降低方案复杂度。
- 配置部署在线拍卖数据分析系统所需要的环境，然后把数据集上传到 HDFS 分布式文件系统，利用 Hive 对在线拍卖数据进行分析处理，并利用 Python对分析结果进行可视化展示-基于华为云MapReduce、ModelArts。 配置部署在线拍卖数据分析系统所需要的环境，然后把数据集上传到 HDFS 分布式文件系统，利用 Hive 对在线拍卖数据进行分析处理，并利用 Python对分析结果进行可视化展示-基于华为云MapReduce、ModelArts。
- 湖仓一体（LakeHouse）是一种新的开放式架构，它结合了数据湖和数据仓库的最佳元素，是当下大数据领域的重要发展方向。 华为湖仓一体架构核心基座是 Apache Hudi，所有入湖数据都通过 Apache Hudi 承载，对外通过 HetuEngine（Presto增强版）引擎承担一站式SQL分析角色，因此如何更好的结合 Presto 和 Hudi 使其查询效率接近专业的分布式数仓意义重大。 湖仓一体（LakeHouse）是一种新的开放式架构，它结合了数据湖和数据仓库的最佳元素，是当下大数据领域的重要发展方向。 华为湖仓一体架构核心基座是 Apache Hudi，所有入湖数据都通过 Apache Hudi 承载，对外通过 HetuEngine（Presto增强版）引擎承担一站式SQL分析角色，因此如何更好的结合 Presto 和 Hudi 使其查询效率接近专业的分布式数仓意义重大。
- 本期精彩看点：华为云诚邀广大开发者一起将代码送上太空，报名【华为开发者大赛·代码上太空赛道】，挑战500万元奖金池；数据治理生产线DataArts可以帮助企业解决数据智能化面临的挑战，让数据发挥价值... 本期精彩看点：华为云诚邀广大开发者一起将代码送上太空，报名【华为开发者大赛·代码上太空赛道】，挑战500万元奖金池；数据治理生产线DataArts可以帮助企业解决数据智能化面临的挑战，让数据发挥价值...
- 2022年6月15-16日，让我们一起线上相聚华为伙伴暨开发者大会2022，#勇往直前 做全能开发者# 大会精彩活动不容错过！ 2022年6月15-16日，让我们一起线上相聚华为伙伴暨开发者大会2022，#勇往直前 做全能开发者# 大会精彩活动不容错过！
- 本期精彩看点：教你如何利用Python定制属于你的《本草纲目女孩》；通过引入FusionInsight RTD实时决策系统，实现医保费用的全流程管理；使用 Monaco Editor 做一个在线的网页代码编辑器。 本期精彩看点：教你如何利用Python定制属于你的《本草纲目女孩》；通过引入FusionInsight RTD实时决策系统，实现医保费用的全流程管理；使用 Monaco Editor 做一个在线的网页代码编辑器。
- 通过引入FusionInsight RTD实时决策系统，实现医保费用事前预防、事中控制、事后审核的全流程管理。从而将医保监管系统建设成既符合医保智能监管平台需求且具备未来信息化标准拓展能力，同时又能满足国家对智能监控的各项要求，最终实现先进的医保智能监管体系。 通过引入FusionInsight RTD实时决策系统，实现医保费用事前预防、事中控制、事后审核的全流程管理。从而将医保监管系统建设成既符合医保智能监管平台需求且具备未来信息化标准拓展能力，同时又能满足国家对智能监控的各项要求，最终实现先进的医保智能监管体系。
- 为了解决现阶段大数据存算分离痛点问题，华为云大数据推出重量级数据湖Catalog服务。 为了解决现阶段大数据存算分离痛点问题，华为云大数据推出重量级数据湖Catalog服务。
- 本文主要研究了hdfs文件系统的读写流程以及基于MRS在windows客户端下读写hdfs文件的实现 本文主要研究了hdfs文件系统的读写流程以及基于MRS在windows客户端下读写hdfs文件的实现
- 做项目时，需要将负责的服务部署到华为云的mrs上，这部分服务是用pyton开发，用到了mrs中的spark服务，现将部署过程记录一下，供大家参考。 做项目时，需要将负责的服务部署到华为云的mrs上，这部分服务是用pyton开发，用到了mrs中的spark服务，现将部署过程记录一下，供大家参考。
- Impala是一个MPP（大规模并行处理）SQL查询引擎, 提供类似RDBMS的体验，提供了访问存储在Hadoop分布式文件系统中的数据的最快方法。 Impala是一个MPP（大规模并行处理）SQL查询引擎, 提供类似RDBMS的体验，提供了访问存储在Hadoop分布式文件系统中的数据的最快方法。
- 近日，我们对TrinoDB开源社区近两年发布的版本进行了调研，基于1TB TPC-DS标准测试套的性能测试数据如下图：横坐标：TrinoDB社区版本号纵坐标：执行时长（越小越好） 针对Trino459相较于Trino 399版本的性能提升幅度，我们进一步深入分析后得到如下结论：生产场景性能提升 56%POC场景性能提升 46% 此外，当把测试数据集规模从1TB提升到10TB，观察到Trino... 近日，我们对TrinoDB开源社区近两年发布的版本进行了调研，基于1TB TPC-DS标准测试套的性能测试数据如下图：横坐标：TrinoDB社区版本号纵坐标：执行时长（越小越好） 针对Trino459相较于Trino 399版本的性能提升幅度，我们进一步深入分析后得到如下结论：生产场景性能提升 56%POC场景性能提升 46% 此外，当把测试数据集规模从1TB提升到10TB，观察到Trino...
- MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。我们可以使用官方文档提供API对MRS服务进行相关操作，如创建集群、删除集群、调整集群节点、创建作业并执行等。支持的全部操作可以参见官方文档API概览。但是如果基于文档去进行API的开发和调试，还是有一定的入门门槛， 依赖本地需要有API调用软件， 如果要开发代码还必须得有开发环境才能测试。例如创建集群的A... MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。我们可以使用官方文档提供API对MRS服务进行相关操作，如创建集群、删除集群、调整集群节点、创建作业并执行等。支持的全部操作可以参见官方文档API概览。但是如果基于文档去进行API的开发和调试，还是有一定的入门门槛， 依赖本地需要有API调用软件， 如果要开发代码还必须得有开发环境才能测试。例如创建集群的A...
- 近期工作上开始接触了大量容器化和华为云云容器引擎CCE的内容，因此整理学习了一堆有关容器化的知识，特此进行分享。在学习容器化之前，首先要了解一个内容，为什么要使用容器，好处是什么？ 兼容性问题我们在工程实践中，经常会遇到一些兼容性的问题，比如：ISA兼容：目标机器指令集的兼容性ABI兼容：目标系统或者依赖库的二进制兼容性环境兼容： 目标环境的兼容性。例如环境变量、配置、注册中心等。以一个多服... 近期工作上开始接触了大量容器化和华为云云容器引擎CCE的内容，因此整理学习了一堆有关容器化的知识，特此进行分享。在学习容器化之前，首先要了解一个内容，为什么要使用容器，好处是什么？ 兼容性问题我们在工程实践中，经常会遇到一些兼容性的问题，比如：ISA兼容：目标机器指令集的兼容性ABI兼容：目标系统或者依赖库的二进制兼容性环境兼容： 目标环境的兼容性。例如环境变量、配置、注册中心等。以一个多服...
- 华为FusionInsight MRS HBase的集群隔离——RSGroup一、HBase RSGroup理解 RSGroup是集群隔离方案。 HBase原有的资源隔离：为多个用户共享同一个HBase集群，提供了资源隔离的能力。NameSpace,将不同业务的表隔离在不同的namespace是一个最简单的资源隔离的方法。【轻量】ACL（Access Control Lists）... 华为FusionInsight MRS HBase的集群隔离——RSGroup一、HBase RSGroup理解 RSGroup是集群隔离方案。 HBase原有的资源隔离：为多个用户共享同一个HBase集群，提供了资源隔离的能力。NameSpace,将不同业务的表隔离在不同的namespace是一个最简单的资源隔离的方法。【轻量】ACL（Access Control Lists）...
上滑加载中
推荐直播
-
OpenHarmony应用开发之网络数据请求与数据解析2025/01/16 周四 19:00-20:30
华为开发者布道师、南京师范大学泰州学院副教授，硕士研究生导师，开放原子教育银牌认证讲师
科技浪潮中，鸿蒙生态强势崛起，OpenHarmony开启智能终端无限可能。当下，其原生应用开发适配潜力巨大，终端设备已广泛融入生活各场景，从家居到办公、穿戴至车载。 现在，机会敲门！我们的直播聚焦OpenHarmony关键的网络数据请求与解析，抛开晦涩理论，用真实案例带你掌握数据访问接口，轻松应对复杂网络请求、精准解析Json与Xml数据。参与直播，为开发鸿蒙App夯实基础，抢占科技新高地，别错过！
回顾中 -
Ascend C高层API设计原理与实现系列2025/01/17 周五 15:30-17:00
Ascend C 技术专家
以LayerNorm算子开发为例，讲解开箱即用的Ascend C高层API
回顾中
热门标签