- 本实践基于华为云MapReduce服务，用于指导您创建MRS集群后，使用BulkLoad方式向HBase中批量导入本地数据，在首次数据加载时，能极大的提高写入效率，并降低对Region Server节点的写入压力。 本实践基于华为云MapReduce服务，用于指导您创建MRS集群后，使用BulkLoad方式向HBase中批量导入本地数据，在首次数据加载时，能极大的提高写入效率，并降低对Region Server节点的写入压力。
- 大数据融合分析时代，GaussDB(DWS)如需访问MRS数据源，该如何实现？本期云小课带您开启MRS数据源之门，通过远程读取MRS集群Hive上的ORC数据表完成数据导入DWS。准备环境需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内，确保集群网络互通。基本流程1、创建MRS分析集群（选择Hive组件）。2、通过将本地txt数据文件上传至OBS桶，再通过OBS桶导入Hive，... 大数据融合分析时代，GaussDB(DWS)如需访问MRS数据源，该如何实现？本期云小课带您开启MRS数据源之门，通过远程读取MRS集群Hive上的ORC数据表完成数据导入DWS。准备环境需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内，确保集群网络互通。基本流程1、创建MRS分析集群（选择Hive组件）。2、通过将本地txt数据文件上传至OBS桶，再通过OBS桶导入Hive，...
- 中国工商银行联合华为云FusionInsight MRS落地大数据存算分离架构试点工作，实现资源价值最大化，存储与计算资源全面云化、灵活配置、弹性伸缩。 中国工商银行联合华为云FusionInsight MRS落地大数据存算分离架构试点工作，实现资源价值最大化，存储与计算资源全面云化、灵活配置、弹性伸缩。
- 大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理。 大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理。
- 随着5G和AIoT技术的发展，数据量指数级增长，新的数据业务层出不穷。作为数字化时代的先行者 ，互联网企业利用大数据平台进行客户体验提升、网络优化、精准营销等业务， “流量变现”带来了丰厚的经济效益，同时海量数据的高速有效处理分析问题也日益凸显，为应对数据量的激增，企业需要通过不断扩容带宽、CDN，增加计算、存储等资源，持续大量的成本投入成为制约企业飞速发展的绊脚石，急需一剂降本增效良方来打... 随着5G和AIoT技术的发展，数据量指数级增长，新的数据业务层出不穷。作为数字化时代的先行者 ，互联网企业利用大数据平台进行客户体验提升、网络优化、精准营销等业务， “流量变现”带来了丰厚的经济效益，同时海量数据的高速有效处理分析问题也日益凸显，为应对数据量的激增，企业需要通过不断扩容带宽、CDN，增加计算、存储等资源，持续大量的成本投入成为制约企业飞速发展的绊脚石，急需一剂降本增效良方来打...
- 本文介绍了如何将MRS和OBS中的数据导入到DWS中，包括节点连接准备、在Hive中创建数据、登录DWS数据库并导入等步骤。同时，还介绍了如何上传数据到OBS，并创建外表和执行数据导入等操作。这些操作可以帮助用户更好地管理和利用数据资源。 本文介绍了如何将MRS和OBS中的数据导入到DWS中，包括节点连接准备、在Hive中创建数据、登录DWS数据库并导入等步骤。同时，还介绍了如何上传数据到OBS，并创建外表和执行数据导入等操作。这些操作可以帮助用户更好地管理和利用数据资源。
- 近期工作上开始接触了大量容器化和华为云云容器引擎CCE的内容，因此整理学习了一堆有关容器化的知识，特此进行分享。在学习容器化之前，首先要了解一个内容，为什么要使用容器，好处是什么？ 兼容性问题我们在工程实践中，经常会遇到一些兼容性的问题，比如：ISA兼容：目标机器指令集的兼容性ABI兼容：目标系统或者依赖库的二进制兼容性环境兼容： 目标环境的兼容性。例如环境变量、配置、注册中心等。以一个多服... 近期工作上开始接触了大量容器化和华为云云容器引擎CCE的内容，因此整理学习了一堆有关容器化的知识，特此进行分享。在学习容器化之前，首先要了解一个内容，为什么要使用容器，好处是什么？ 兼容性问题我们在工程实践中，经常会遇到一些兼容性的问题，比如：ISA兼容：目标机器指令集的兼容性ABI兼容：目标系统或者依赖库的二进制兼容性环境兼容： 目标环境的兼容性。例如环境变量、配置、注册中心等。以一个多服...
- 本文深入探讨了MapReduce的各个方面，从基础概念和工作原理到编程模型和实际应用场景，最后专注于性能优化的最佳实践。关注【TechLeadCloud】，分享互联网架构、云服务技术的全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕，复旦机器人智能实验室成员，阿里云认证的资深架构师，项目管理专业人士，上亿营收AI产品研发负责人。 一、引言 1.1 数据... 本文深入探讨了MapReduce的各个方面，从基础概念和工作原理到编程模型和实际应用场景，最后专注于性能优化的最佳实践。关注【TechLeadCloud】，分享互联网架构、云服务技术的全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕，复旦机器人智能实验室成员，阿里云认证的资深架构师，项目管理专业人士，上亿营收AI产品研发负责人。 一、引言 1.1 数据...
- 本文介绍大企业erp流程中使用MRS流加工模型对比选型及最佳实践 本文介绍大企业erp流程中使用MRS流加工模型对比选型及最佳实践
- 随着云原生的概念越来越火，服务的架构应该如何发展和演进，成为很多程序员关心的话题。大名鼎鼎的《深入理解java虚拟机》一书作者于21年推出了新作《凤凰架构》，从这本书中可以看到当前时下很多最新的技术或者理念。本博文将沉淀发布这本书的学习笔记和思考。 如果希望了解更加详细的内容，欢迎购买该书继续详细学习。其他笔记内容：云原生时代，远程服务调用和RESTful，如何分析和抉择？云原生时代，你应当... 随着云原生的概念越来越火，服务的架构应该如何发展和演进，成为很多程序员关心的话题。大名鼎鼎的《深入理解java虚拟机》一书作者于21年推出了新作《凤凰架构》，从这本书中可以看到当前时下很多最新的技术或者理念。本博文将沉淀发布这本书的学习笔记和思考。 如果希望了解更加详细的内容，欢迎购买该书继续详细学习。其他笔记内容：云原生时代，远程服务调用和RESTful，如何分析和抉择？云原生时代，你应当...
- 随着云原生的概念越来越火，服务的架构应该如何发展和演进，成为很多程序员关心的话题。大名鼎鼎的《深入理解java虚拟机》一书作者于21年推出了新作《凤凰架构》，从这本书中可以看到当前时下很多最新的技术或者理念。因此本文以及后续都将持续沉淀发布这本书的学习笔记和思考，也欢迎购买该书进行详细学习，或者关注后续的学习笔记内容发布，了解精华内容和总结思考。 流量治理 1 服务容错 1.1 容错策略文章... 随着云原生的概念越来越火，服务的架构应该如何发展和演进，成为很多程序员关心的话题。大名鼎鼎的《深入理解java虚拟机》一书作者于21年推出了新作《凤凰架构》，从这本书中可以看到当前时下很多最新的技术或者理念。因此本文以及后续都将持续沉淀发布这本书的学习笔记和思考，也欢迎购买该书进行详细学习，或者关注后续的学习笔记内容发布，了解精华内容和总结思考。 流量治理 1 服务容错 1.1 容错策略文章...
- 随着云原生的概念越来越火，服务的架构应该如何发展和演进，成为很多程序员关心的话题。大名鼎鼎的《深入理解java虚拟机》一书作者于21年推出了新作《凤凰架构》，从这本书中可以看到当前时下很多最新的技术或者理念。本博文将沉淀发布这本书的学习笔记和思考。 如果希望了解更加详细的内容，欢迎购买该书继续详细学习。 二、访问远程服务 2.1 远程服务调用这一个章节主要讲解rpc的设计理念和发展历史。先是... 随着云原生的概念越来越火，服务的架构应该如何发展和演进，成为很多程序员关心的话题。大名鼎鼎的《深入理解java虚拟机》一书作者于21年推出了新作《凤凰架构》，从这本书中可以看到当前时下很多最新的技术或者理念。本博文将沉淀发布这本书的学习笔记和思考。 如果希望了解更加详细的内容，欢迎购买该书继续详细学习。 二、访问远程服务 2.1 远程服务调用这一个章节主要讲解rpc的设计理念和发展历史。先是...
- 随着云原生的概念越来越火，服务的架构应该如何发展和演进，成为很多程序员关心的话题。大名鼎鼎的《深入理解java虚拟机》一书作者于21年推出了新作《凤凰架构》，从这本书中可以看到当前时下很多最新的技术或者理念。本博文将沉淀发布这本书的学习笔记和思考。 如果希望了解更加详细的内容，欢迎购买该书继续详细学习。 一、服务架构演进史 1.1原始分布式时代DCE（Distributed Computin... 随着云原生的概念越来越火，服务的架构应该如何发展和演进，成为很多程序员关心的话题。大名鼎鼎的《深入理解java虚拟机》一书作者于21年推出了新作《凤凰架构》，从这本书中可以看到当前时下很多最新的技术或者理念。本博文将沉淀发布这本书的学习笔记和思考。 如果希望了解更加详细的内容，欢迎购买该书继续详细学习。 一、服务架构演进史 1.1原始分布式时代DCE（Distributed Computin...
- 1 背景1.1 数仓和数据湖的概念数据分析技术在2010~2019年间，以湖仓两层架构技术作为主流被各数据厂商所应用，即大数据数仓+数据湖的技术形式。大数据数仓：出现最早，也最完备，从单机向分布式、智能化发展。例如 Hive、华为DWS等数据湖：狭义上的湖主要是云厂商参与，以统一的对象存储底座结合云平台水平扩展的计算资源，让分析以数据为本、让业务快起来。1.2 ... 1 背景1.1 数仓和数据湖的概念数据分析技术在2010~2019年间，以湖仓两层架构技术作为主流被各数据厂商所应用，即大数据数仓+数据湖的技术形式。大数据数仓：出现最早，也最完备，从单机向分布式、智能化发展。例如 Hive、华为DWS等数据湖：狭义上的湖主要是云厂商参与，以统一的对象存储底座结合云平台水平扩展的计算资源，让分析以数据为本、让业务快起来。1.2 ...
- 公有云中，拉远的计算服务层和存储服务层之间存在“数据访问墙”问题，极大地影响数据密集型应用的性能。MemArtsCC意在构建华为云上的云原生读缓存服务，打破“数据访问墙”。 公有云中，拉远的计算服务层和存储服务层之间存在“数据访问墙”问题，极大地影响数据密集型应用的性能。MemArtsCC意在构建华为云上的云原生读缓存服务，打破“数据访问墙”。
上滑加载中
推荐直播
-
鲲鹏开发者创享日·江苏站暨数字技术创新应用峰会2024/04/25 周四 09:30-16:00
鲲鹏专家团
这是华为推出的旨在和众多技术大牛、行业大咖一同探讨最前沿的技术思考，分享最纯粹的技术经验，进行最真实的动手体验，为开发者提供一个深度探讨与交流的平台。
回顾中 -
产教融合专家大讲堂·第①期《高校人才培养创新模式经验分享》2024/04/25 周四 16:00-18:00
于晓东 上海杉达学院信息科学与技术学院副院长；崔宝才 天津电子信息职业技术学院电子与通信技术系主任
本期直播将与您一起探讨高校人才培养创新模式经验。
回顾中
热门标签