- HBase的一个Retry次数引起的MultiActionResultTooLarge的问题 HBase的一个Retry次数引起的MultiActionResultTooLarge的问题
- shuffle data持久化在磁盘上,如果一直不清理,磁盘容易被撑爆。那shuffle data什么时候会被清理呢。一般来说可以分成3种场景:1、spark application主动停止,需要清理该application下所属的全部shuffle data。清理流程如下(本文均以未启用external shuffle service,spark 2.x代码为例):2、applicatio... shuffle data持久化在磁盘上,如果一直不清理,磁盘容易被撑爆。那shuffle data什么时候会被清理呢。一般来说可以分成3种场景:1、spark application主动停止,需要清理该application下所属的全部shuffle data。清理流程如下(本文均以未启用external shuffle service,spark 2.x代码为例):2、applicatio...
- 在Presto SQL集成使用CarbonData 在Presto SQL集成使用CarbonData
- 概览:The Hadoop File System简称HDFS,是设计用于进行分布式的高可靠性的并且有着大带宽IO需求的文件存储系统。成千上万台的计算机可以加入到HDFS系统,并且存储成本不会因为扩容而降低他的性价比。 1.简介Hadoop为MapReduce算法提供了一个大数据分布式存储框架。Hadoop框架一个非常重要的性质是把数据进行了切分并存储到了很多的服务器上,并且会在这些机器上进... 概览:The Hadoop File System简称HDFS,是设计用于进行分布式的高可靠性的并且有着大带宽IO需求的文件存储系统。成千上万台的计算机可以加入到HDFS系统,并且存储成本不会因为扩容而降低他的性价比。 1.简介Hadoop为MapReduce算法提供了一个大数据分布式存储框架。Hadoop框架一个非常重要的性质是把数据进行了切分并存储到了很多的服务器上,并且会在这些机器上进...
- 以一条SQL语句为例,探寻SparkSQL中的代码调用 以一条SQL语句为例,探寻SparkSQL中的代码调用
- 单机版hive的运行原理:LocalFileSystem+LocalMR+derby db + embemed MetaStore依赖的这些模块,都可以替换成相应的集群版。根据自己的实际情况配置。前提:已经安装配置JAVA_HOME软件下载:Hadoop 2.8.5下载:https://mirror.bit.edu.cn/apache/hadoop/core/hadoop-2.8.5/had... 单机版hive的运行原理:LocalFileSystem+LocalMR+derby db + embemed MetaStore依赖的这些模块,都可以替换成相应的集群版。根据自己的实际情况配置。前提:已经安装配置JAVA_HOME软件下载:Hadoop 2.8.5下载:https://mirror.bit.edu.cn/apache/hadoop/core/hadoop-2.8.5/had...
- 文章介绍HBase根据时间戳和查询列信息对file做一次过滤,缩小查询范围,查找rowkey的处理过程。 文章介绍HBase根据时间戳和查询列信息对file做一次过滤,缩小查询范围,查找rowkey的处理过程。
- HBase篇---Shell命令行和Rest API HBase篇---Shell命令行和Rest API
- 本页讨论了Flink 0.9版本采用的Akka分布式通信的实现。有了Akka,所有的远程过程调用(RPC)被实现成异步消息。这主要影响了JobManager、TaskManager和JobClient三个组件。未来,很可能更多的组件将被转换成一个actor,使它们可以发送和处理异步消息。 本页讨论了Flink 0.9版本采用的Akka分布式通信的实现。有了Akka,所有的远程过程调用(RPC)被实现成异步消息。这主要影响了JobManager、TaskManager和JobClient三个组件。未来,很可能更多的组件将被转换成一个actor,使它们可以发送和处理异步消息。
- Akka是为设计可伸缩和弹性系统(从处理器到网络)提供的一系列库。Akka使你关注业务实现而不是编写低水平代码以提供可靠行为、容错和高性能。 Akka是为设计可伸缩和弹性系统(从处理器到网络)提供的一系列库。Akka使你关注业务实现而不是编写低水平代码以提供可靠行为、容错和高性能。
- 正如前面主题叙述的一样,常见的编程实践没有很好的解决高要求的现代系统的需求。幸好,我们不需要废弃已有的编程实践。相反,Actor模型以一种原则性的方式解决了这些不足之处,使系统更加匹配我们的预期模型。Actor模型抽象使你以通信的方式思考你的代码,像一个大组织里人与人之间的交流一样。 正如前面主题叙述的一样,常见的编程实践没有很好的解决高要求的现代系统的需求。幸好,我们不需要废弃已有的编程实践。相反,Actor模型以一种原则性的方式解决了这些不足之处,使系统更加匹配我们的预期模型。Actor模型抽象使你以通信的方式思考你的代码,像一个大组织里人与人之间的交流一样。
- 概述索引管理 概述索引管理
- 本文简单介绍了phoenix命令的使用,可以供参考 本文简单介绍了phoenix命令的使用,可以供参考
- 简明的介绍了kudu的设计初衷及与hbase的比较 简明的介绍了kudu的设计初衷及与hbase的比较
- 分享一个HBase查询缓慢的案例 分享一个HBase查询缓慢的案例
上滑加载中
推荐直播
-
华为云IoT开源专家实践分享:开源让物联网平台更开放、易用
2024/05/22 周三 16:30-18:00
张俭 华为云IoT DTSE技术布道师
开源,意味着开放、共享、互助、共赢。作为万物上云及各行业数字化的物联网底座,华为云IoT积极拥抱开源,借助行业开源的最佳实践,构建可靠、易用的物联网平台,并通过开放南北向SDK,助力开发者快速构建物联网应用。本期直播,华为云IoT开源专家、物联网平台资深“程序猿”张俭,带你了解华为云IoT的开源生态,并手把手教你玩转开源社区!
去报名 -
数字技术创新与商业愿景--数字化转型战略解读
2024/05/22 周三 19:00-20:30
王纪奎老师 华为科学家咨询委员会CTO
数字化转型浪潮下,你是否缺乏对前沿科技的战略洞察、难以将企业转型与国家战略相融合、缺少系统性规划的数字化思维…… 我们特别邀请了华为科学家咨询委员会CTO、战略研究院数字经济与数字化转型首席专家、《数字化转型战略》一书的作者——王纪奎老师。 在5月22日(周三)19点,为我们带来一场主题为“数字技术创新与商业愿景--数字化转型战略解决”的精彩直播。
去报名 -
华为云开发者日·广州站
2024/05/23 周四 14:30-17:30
华为云专家团
华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动,汇聚来自千行百业、高校及科研院所的开发人员。致力于打造开发者专属的技术盛宴,全方位服务与赋能开发者围绕华为云生态“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的应用创新推介,为开发者提供沉浸式学习与交流平台。开放创新,与开发者共创、共享、共赢未来。
去报名
热门标签