- Spark作为优秀的大数据处理的处理框架，需要通过集群机器的协作来高效的处理数据，为了实现集群的功能，机器之间稳定及高性能的通信就成为了必要条件.为此，spark在2.x的版本就使用netty彻底替换掉了akka，作为spark的通信框架，并设计了如下通讯架构: 1.RpcEndpoint：RPC端点，Spark针对每个节点（Client/Master/Worker）都... Spark作为优秀的大数据处理的处理框架，需要通过集群机器的协作来高效的处理数据，为了实现集群的功能，机器之间稳定及高性能的通信就成为了必要条件.为此，spark在2.x的版本就使用netty彻底替换掉了akka，作为spark的通信框架，并设计了如下通讯架构: 1.RpcEndpoint：RPC端点，Spark针对每个节点（Client/Master/Worker）都...
- HBase的一个Retry次数引起的MultiActionResultTooLarge的问题 HBase的一个Retry次数引起的MultiActionResultTooLarge的问题
- 1. 环境异常现象及初步分析 项目中对接外部的thrift服务，使用该服务提供的thrift client进行访问；我们刚开始进行功能验证时一切运行正常，但后来请求量稍微高一点后，就出现了进程卡死的现象，查看后台日志，开始以为是哪个接口有bug导致服务崩溃，后来发现接口是随机性的报错，并且在异常抛出后，client无法再响应后继请求。 跟踪日志查看，每次在出现org.... 1. 环境异常现象及初步分析 项目中对接外部的thrift服务，使用该服务提供的thrift client进行访问；我们刚开始进行功能验证时一切运行正常，但后来请求量稍微高一点后，就出现了进程卡死的现象，查看后台日志，开始以为是哪个接口有bug导致服务崩溃，后来发现接口是随机性的报错，并且在异常抛出后，client无法再响应后继请求。 跟踪日志查看，每次在出现org....
- 服务公告DLI SDK 1.2.7版本升级公告服务功能更新1.【新功能】集群支持定时扩缩容用户可根据业务繁忙周期设置队列的定时扩缩容计划，满足客户不同时间段需要不同大小计算资源的需求，帮助用户节省计算成本。2．【新特性】DLI内部存储支持套餐包新上多规格存储套餐包，从1T到1PB，可根据业务需要灵活选购，降低DLI内表存储费用。3.【新功能】Flink流应用支持通过IEF边缘部署DLI提供的... 服务公告DLI SDK 1.2.7版本升级公告服务功能更新1.【新功能】集群支持定时扩缩容用户可根据业务繁忙周期设置队列的定时扩缩容计划，满足客户不同时间段需要不同大小计算资源的需求，帮助用户节省计算成本。2．【新特性】DLI内部存储支持套餐包新上多规格存储套餐包，从1T到1PB，可根据业务需要灵活选购，降低DLI内表存储费用。3.【新功能】Flink流应用支持通过IEF边缘部署DLI提供的...
- 保护高并发系统的稳定性的三把利器：缓存、降级和限流。 而降级、限流的本质都是基于限流算法，常见的限流算法有如下4种：计数器固定窗口算法、计数器滑动窗口算法、漏桶算法和令牌桶算法。 保护高并发系统的稳定性的三把利器：缓存、降级和限流。 而降级、限流的本质都是基于限流算法，常见的限流算法有如下4种：计数器固定窗口算法、计数器滑动窗口算法、漏桶算法和令牌桶算法。
- 新人初入K8s江湖，站在巨人的肩膀上，有点不成熟的想法，做了一点浅浅的实践，为后来人抛砖引玉。 新人初入K8s江湖，站在巨人的肩膀上，有点不成熟的想法，做了一点浅浅的实践，为后来人抛砖引玉。
- 云原生数据湖探索DLI助力企业数据驱动决策1. 趋势和挑战1.1. 趋势随着云化技术越来越成熟，企业开始逐步上云，其中辅助决策的数据分析业务也发生了如下几个方面的变化： l 从结构化向多元化转变：随着数据采集技术的提高和存储设备的降价，半结构化、非结构化数据被越来越多的采集和存储，很多关键信息，如身份证（图片）中的个人信息，也需要被参与到日常的数据分析中l 从单数据源向多... 云原生数据湖探索DLI助力企业数据驱动决策1. 趋势和挑战1.1. 趋势随着云化技术越来越成熟，企业开始逐步上云，其中辅助决策的数据分析业务也发生了如下几个方面的变化： l 从结构化向多元化转变：随着数据采集技术的提高和存储设备的降价，半结构化、非结构化数据被越来越多的采集和存储，很多关键信息，如身份证（图片）中的个人信息，也需要被参与到日常的数据分析中l 从单数据源向多...
- shuffle data持久化在磁盘上，如果一直不清理，磁盘容易被撑爆。那shuffle data什么时候会被清理呢。一般来说可以分成3种场景：1、spark application主动停止，需要清理该application下所属的全部shuffle data。清理流程如下（本文均以未启用external shuffle service,spark 2.x代码为例）：2、applicatio... shuffle data持久化在磁盘上，如果一直不清理，磁盘容易被撑爆。那shuffle data什么时候会被清理呢。一般来说可以分成3种场景：1、spark application主动停止，需要清理该application下所属的全部shuffle data。清理流程如下（本文均以未启用external shuffle service,spark 2.x代码为例）：2、applicatio...
- 1. 动态资源分配Spark的动态资源分配就是executor数据量的动态增减，具体的增加和删除数量根据业务的实际需要动态的调整。具体表现为：如果executor数据量不够，则增加数量，如果executor在一段时间内空闲，则移除这个executor。动态增加executor配置项：spark.dynamicAllocation.schedulerBacklogTimeout说明... 1. 动态资源分配Spark的动态资源分配就是executor数据量的动态增减，具体的增加和删除数量根据业务的实际需要动态的调整。具体表现为：如果executor数据量不够，则增加数量，如果executor在一段时间内空闲，则移除这个executor。动态增加executor配置项：spark.dynamicAllocation.schedulerBacklogTimeout说明...
- 随着容器技术的日益成熟，在云上，Docker+K8s的应用部署方式，越来越流行，用户可以使用Dockerfile打包自己的业务镜像，运行在云上，方便快捷地实现自己的业务场景。华为云的数据湖探索服务（简称DLI）提供的自定义镜像功能就很好的支持了这种场景。使用DLI提供的自定义镜像功能提交作业，用户可以依赖DLI提供的spark或者flink基础镜像，使用Dockerfile将作... 随着容器技术的日益成熟，在云上，Docker+K8s的应用部署方式，越来越流行，用户可以使用Dockerfile打包自己的业务镜像，运行在云上，方便快捷地实现自己的业务场景。华为云的数据湖探索服务（简称DLI）提供的自定义镜像功能就很好的支持了这种场景。使用DLI提供的自定义镜像功能提交作业，用户可以依赖DLI提供的spark或者flink基础镜像，使用Dockerfile将作...
- 在Presto SQL集成使用CarbonData 在Presto SQL集成使用CarbonData
- Spark Hive自定义函数使用解析1. 简介Spark目前支持UDF，UDTF，UDAF三种类型的自定义函数。UDF使用场景：输入一行，返回一个结果，一对一，比如定义一个函数，功能是输入一个IP地址，返回一个对应的省份。UDTF使用场景: 输入一行，返回多行(hive),一对多, 而sparkSQL中没有UDTF， spark中用flatMap即可实现该功能。UDAF: 输入多... Spark Hive自定义函数使用解析1. 简介Spark目前支持UDF，UDTF，UDAF三种类型的自定义函数。UDF使用场景：输入一行，返回一个结果，一对一，比如定义一个函数，功能是输入一个IP地址，返回一个对应的省份。UDTF使用场景: 输入一行，返回多行(hive),一对多, 而sparkSQL中没有UDTF， spark中用flatMap即可实现该功能。UDAF: 输入多...
- 概览：The Hadoop File System简称HDFS，是设计用于进行分布式的高可靠性的并且有着大带宽IO需求的文件存储系统。成千上万台的计算机可以加入到HDFS系统，并且存储成本不会因为扩容而降低他的性价比。 1.简介Hadoop为MapReduce算法提供了一个大数据分布式存储框架。Hadoop框架一个非常重要的性质是把数据进行了切分并存储到了很多的服务器上，并且会在这些机器上进... 概览：The Hadoop File System简称HDFS，是设计用于进行分布式的高可靠性的并且有着大带宽IO需求的文件存储系统。成千上万台的计算机可以加入到HDFS系统，并且存储成本不会因为扩容而降低他的性价比。 1.简介Hadoop为MapReduce算法提供了一个大数据分布式存储框架。Hadoop框架一个非常重要的性质是把数据进行了切分并存储到了很多的服务器上，并且会在这些机器上进...
- 以一问一答的形式学习java工具Q：检查内存泄露的工具有？A： jmap生成dump转储文件，jhat可视化查看。Q：某进程CPU使用率一直占满，用什么工具可以排查？A：top -Hp pid找到最占CPU的线程然后jstack来查找那个线程此时所处的堆栈，确定问题发生位置。§ 各工具详细介绍§ jstack全称： JVM Stack Trance作用： 查看某个java进程的堆栈情况， 可... 以一问一答的形式学习java工具Q：检查内存泄露的工具有？A： jmap生成dump转储文件，jhat可视化查看。Q：某进程CPU使用率一直占满，用什么工具可以排查？A：top -Hp pid找到最占CPU的线程然后jstack来查找那个线程此时所处的堆栈，确定问题发生位置。§ 各工具详细介绍§ jstack全称： JVM Stack Trance作用： 查看某个java进程的堆栈情况， 可...
- 华为ServiceComb框架作为一款简单易用的开源微服务框架，体现了华为一直以来的技术共享理念。ServiceComb提供了对众多通信协议的支持，如HTTPS、WebSockt、HTTP2等，能够适配各类通信场景。本文针对信息安全要求极高的场景，介绍了如何利用ServiceComb框架搭建可信智能计算服务（TICS，Trusted Intelligent Computing Service）。 华为ServiceComb框架作为一款简单易用的开源微服务框架，体现了华为一直以来的技术共享理念。ServiceComb提供了对众多通信协议的支持，如HTTPS、WebSockt、HTTP2等，能够适配各类通信场景。本文针对信息安全要求极高的场景，介绍了如何利用ServiceComb框架搭建可信智能计算服务（TICS，Trusted Intelligent Computing Service）。
上滑加载中
推荐直播
-
OpenHarmony应用开发之网络数据请求与数据解析2025/01/16 周四 19:00-20:30
华为开发者布道师、南京师范大学泰州学院副教授，硕士研究生导师，开放原子教育银牌认证讲师
科技浪潮中，鸿蒙生态强势崛起，OpenHarmony开启智能终端无限可能。当下，其原生应用开发适配潜力巨大，终端设备已广泛融入生活各场景，从家居到办公、穿戴至车载。 现在，机会敲门！我们的直播聚焦OpenHarmony关键的网络数据请求与解析，抛开晦涩理论，用真实案例带你掌握数据访问接口，轻松应对复杂网络请求、精准解析Json与Xml数据。参与直播，为开发鸿蒙App夯实基础，抢占科技新高地，别错过！
回顾中 -
Ascend C高层API设计原理与实现系列2025/01/17 周五 15:30-17:00
Ascend C 技术专家
以LayerNorm算子开发为例，讲解开箱即用的Ascend C高层API
回顾中
热门标签