- HBase的一个Retry次数引起的MultiActionResultTooLarge的问题 HBase的一个Retry次数引起的MultiActionResultTooLarge的问题
- shuffle data持久化在磁盘上,如果一直不清理,磁盘容易被撑爆。那shuffle data什么时候会被清理呢。一般来说可以分成3种场景:1、spark application主动停止,需要清理该application下所属的全部shuffle data。清理流程如下(本文均以未启用external shuffle service,spark 2.x代码为例):2、applicatio... shuffle data持久化在磁盘上,如果一直不清理,磁盘容易被撑爆。那shuffle data什么时候会被清理呢。一般来说可以分成3种场景:1、spark application主动停止,需要清理该application下所属的全部shuffle data。清理流程如下(本文均以未启用external shuffle service,spark 2.x代码为例):2、applicatio...
- 在Presto SQL集成使用CarbonData 在Presto SQL集成使用CarbonData
- 概览:The Hadoop File System简称HDFS,是设计用于进行分布式的高可靠性的并且有着大带宽IO需求的文件存储系统。成千上万台的计算机可以加入到HDFS系统,并且存储成本不会因为扩容而降低他的性价比。 1.简介Hadoop为MapReduce算法提供了一个大数据分布式存储框架。Hadoop框架一个非常重要的性质是把数据进行了切分并存储到了很多的服务器上,并且会在这些机器上进... 概览:The Hadoop File System简称HDFS,是设计用于进行分布式的高可靠性的并且有着大带宽IO需求的文件存储系统。成千上万台的计算机可以加入到HDFS系统,并且存储成本不会因为扩容而降低他的性价比。 1.简介Hadoop为MapReduce算法提供了一个大数据分布式存储框架。Hadoop框架一个非常重要的性质是把数据进行了切分并存储到了很多的服务器上,并且会在这些机器上进...
- 以一条SQL语句为例,探寻SparkSQL中的代码调用 以一条SQL语句为例,探寻SparkSQL中的代码调用
- 单机版hive的运行原理:LocalFileSystem+LocalMR+derby db + embemed MetaStore依赖的这些模块,都可以替换成相应的集群版。根据自己的实际情况配置。前提:已经安装配置JAVA_HOME软件下载:Hadoop 2.8.5下载:https://mirror.bit.edu.cn/apache/hadoop/core/hadoop-2.8.5/had... 单机版hive的运行原理:LocalFileSystem+LocalMR+derby db + embemed MetaStore依赖的这些模块,都可以替换成相应的集群版。根据自己的实际情况配置。前提:已经安装配置JAVA_HOME软件下载:Hadoop 2.8.5下载:https://mirror.bit.edu.cn/apache/hadoop/core/hadoop-2.8.5/had...
- 文章介绍HBase根据时间戳和查询列信息对file做一次过滤,缩小查询范围,查找rowkey的处理过程。 文章介绍HBase根据时间戳和查询列信息对file做一次过滤,缩小查询范围,查找rowkey的处理过程。
- HBase篇---Shell命令行和Rest API HBase篇---Shell命令行和Rest API
- 本页讨论了Flink 0.9版本采用的Akka分布式通信的实现。有了Akka,所有的远程过程调用(RPC)被实现成异步消息。这主要影响了JobManager、TaskManager和JobClient三个组件。未来,很可能更多的组件将被转换成一个actor,使它们可以发送和处理异步消息。 本页讨论了Flink 0.9版本采用的Akka分布式通信的实现。有了Akka,所有的远程过程调用(RPC)被实现成异步消息。这主要影响了JobManager、TaskManager和JobClient三个组件。未来,很可能更多的组件将被转换成一个actor,使它们可以发送和处理异步消息。
- Akka是为设计可伸缩和弹性系统(从处理器到网络)提供的一系列库。Akka使你关注业务实现而不是编写低水平代码以提供可靠行为、容错和高性能。 Akka是为设计可伸缩和弹性系统(从处理器到网络)提供的一系列库。Akka使你关注业务实现而不是编写低水平代码以提供可靠行为、容错和高性能。
- 正如前面主题叙述的一样,常见的编程实践没有很好的解决高要求的现代系统的需求。幸好,我们不需要废弃已有的编程实践。相反,Actor模型以一种原则性的方式解决了这些不足之处,使系统更加匹配我们的预期模型。Actor模型抽象使你以通信的方式思考你的代码,像一个大组织里人与人之间的交流一样。 正如前面主题叙述的一样,常见的编程实践没有很好的解决高要求的现代系统的需求。幸好,我们不需要废弃已有的编程实践。相反,Actor模型以一种原则性的方式解决了这些不足之处,使系统更加匹配我们的预期模型。Actor模型抽象使你以通信的方式思考你的代码,像一个大组织里人与人之间的交流一样。
- 概述索引管理 概述索引管理
- 本文简单介绍了phoenix命令的使用,可以供参考 本文简单介绍了phoenix命令的使用,可以供参考
- 简明的介绍了kudu的设计初衷及与hbase的比较 简明的介绍了kudu的设计初衷及与hbase的比较
- 分享一个HBase查询缓慢的案例 分享一个HBase查询缓慢的案例
上滑加载中
推荐直播
-
通用人工智能(AGI)到来前夕如何实现企业降本增效和应用现代化
2024/04/19 周五 14:00-16:00
李京峰 T3出行VP/CTO
李京峰是T3出行CTO,本次他将分享通用人工智能(AGI)到来前夕,如何实现企业降本增效和应用现代化。
回顾中 -
华为云云原生FinOps解决方案,为您释放云原生最大价值
2024/04/24 周三 16:30-18:00
Roc 华为云云原生DTSE技术布道师
还在对CCE集群成本评估感到束手无策?还在担心不合理的K8s集群资源申请和过度浪费?华为云容器服务CCE全新上线云原生FinOps中心,为用户提供多维度集群成本可视化,结合智能规格推荐、混部、超卖等成本优化手段,助力客户降本增效,释放云原生最大价值。
去报名 -
产教融合专家大讲堂·第①期《高校人才培养创新模式经验分享》
2024/04/25 周四 16:00-18:00
于晓东 上海杉达学院信息科学与技术学院副院长;崔宝才 天津电子信息职业技术学院电子与通信技术系主任
本期直播将与您一起探讨高校人才培养创新模式经验。
去报名
热门标签