- 我们看下spark是怎么针对master、worker、executor的异常情况做处理的。 容错机制-exeuctor退出首先可以假设worker中的executor执行任务时，发送了莫名其妙的异常或者错误，然后对应线程消失了。我们看这个时候会做什么事情上图总结下来就是：executor由backend进程包着，如果抛异常，他会感知到，并调用executorRunner.exitStatu... 我们看下spark是怎么针对master、worker、executor的异常情况做处理的。 容错机制-exeuctor退出首先可以假设worker中的executor执行任务时，发送了莫名其妙的异常或者错误，然后对应线程消失了。我们看这个时候会做什么事情上图总结下来就是：executor由backend进程包着，如果抛异常，他会感知到，并调用executorRunner.exitStatu...
- 简单工厂Q: 简单工厂模式是什么？A:简单工厂模式不是23种设计模式里的一种，简而言之，就是有一个专门生产某个产品的类。比如下图中的鼠标工厂，专业生产鼠标，给参数0，生产戴尔鼠标，给参数1，生产惠普鼠标。注意这个参数， 我必须根据入参去确定返回factory.create(int type)Q: 简单工厂模式的缺点是什么？A:当我试图新增一种类型， 我就得在create里新增case-w... 简单工厂Q: 简单工厂模式是什么？A:简单工厂模式不是23种设计模式里的一种，简而言之，就是有一个专门生产某个产品的类。比如下图中的鼠标工厂，专业生产鼠标，给参数0，生产戴尔鼠标，给参数1，生产惠普鼠标。注意这个参数， 我必须根据入参去确定返回factory.create(int type)Q: 简单工厂模式的缺点是什么？A:当我试图新增一种类型， 我就得在create里新增case-w...
- presto计算引擎作为一个纯内存计算引擎，是如何保证计算过程不会发生作业内存溢出的？本篇文章会进行深入的学习和分析 presto计算引擎作为一个纯内存计算引擎，是如何保证计算过程不会发生作业内存溢出的？本篇文章会进行深入的学习和分析
- 联邦多方计算场景，一方对于另一方的运行中数据是无法感知的， 通过MPC算法或者TEE安全硬件， 可以保证数据计算过程中的安全性。 但是当计算完成后，得到的结果中却包含了潜在的安全风险。 针对这种问题， 华为云tics服务联合德国慕尼黑可信技术实验室， 推出了基于多方sql作业的差分隐私算法应用， 对于大规模的聚合类计算，可以实现对内部个体的数据保护。 联邦多方计算场景，一方对于另一方的运行中数据是无法感知的， 通过MPC算法或者TEE安全硬件， 可以保证数据计算过程中的安全性。 但是当计算完成后，得到的结果中却包含了潜在的安全风险。 针对这种问题， 华为云tics服务联合德国慕尼黑可信技术实验室， 推出了基于多方sql作业的差分隐私算法应用， 对于大规模的聚合类计算，可以实现对内部个体的数据保护。
- 简介Kafka的API有Producer API，Consumer API还有自定义Interceptor (自定义拦截器)，以及处理的流使用的Streams API和构建连接器的Kafka Connect API。 Producer APIKafka的Producer发送消息采用的是异步发送的方式。在消息发送过程中，涉及两个线程：main线程和Sender线程，以及一个线程共享变量Rec... 简介Kafka的API有Producer API，Consumer API还有自定义Interceptor (自定义拦截器)，以及处理的流使用的Streams API和构建连接器的Kafka Connect API。 Producer APIKafka的Producer发送消息采用的是异步发送的方式。在消息发送过程中，涉及两个线程：main线程和Sender线程，以及一个线程共享变量Rec...
- 说明这四个方法都和缓存有关，所以写在一块。 JavaPairRDD的cache方法讲解 官方文档说明Persist this RDD with the default storage level (MEMORY_ONLY). 中文含义cache就是在内存中缓存数据，其实也是使用的persist。使用非序列化的方式将RDD的数据全部尝试持久化到内存中，cache()只是一个transform... 说明这四个方法都和缓存有关，所以写在一块。 JavaPairRDD的cache方法讲解 官方文档说明Persist this RDD with the default storage level (MEMORY_ONLY). 中文含义cache就是在内存中缓存数据，其实也是使用的persist。使用非序列化的方式将RDD的数据全部尝试持久化到内存中，cache()只是一个transform...
- JavaPairRDD的aggregateByKey方法讲解 官方文档说明Aggregate the values of each key, using given combine functions and a neutral"zero value". This function can return a different result type, U, than the type o... JavaPairRDD的aggregateByKey方法讲解 官方文档说明Aggregate the values of each key, using given combine functions and a neutral"zero value". This function can return a different result type, U, than the type o...
- Kafka多线程消费理解 Kafka Java Consumer设计Kafka Java Consumer采用的是单线程的设计。其入口类KafkaConsumer是一个双线程的设计，即用户主线程和心跳线程。用户主线程，指的是启动Consumer应用程序main方法的线程，心跳线程（Heartbeat Thread）只负责定期给对应的Broker机器发送心跳请求，以表示消费者应用的存活性。官... Kafka多线程消费理解 Kafka Java Consumer设计Kafka Java Consumer采用的是单线程的设计。其入口类KafkaConsumer是一个双线程的设计，即用户主线程和心跳线程。用户主线程，指的是启动Consumer应用程序main方法的线程，心跳线程（Heartbeat Thread）只负责定期给对应的Broker机器发送心跳请求，以表示消费者应用的存活性。官...
- 1. SparkSql 高并发读取数据库SparkSql连接数据库读取数据给了三个API：//Construct a DataFrame representing the database table accessible via JDBC URL url named table and connection properties.Dataset<Row> jdbc(String url... 1. SparkSql 高并发读取数据库SparkSql连接数据库读取数据给了三个API：//Construct a DataFrame representing the database table accessible via JDBC URL url named table and connection properties.Dataset<Row> jdbc(String url...
- 前言某段时间碰到了中转文件的需求，需要使用HttpClient中转一下文件，过程为：在实现这个需求的过程中就用得到了MultipartFile与File，而且我对前一个也不是很熟悉。记录一下 什么是MultipartFileMultipartFile是spring类型，代表HTML中form data方式上传的文件，包含二进制数据+文件名称。【来自百度知道】 MultipartFile 与... 前言某段时间碰到了中转文件的需求，需要使用HttpClient中转一下文件，过程为：在实现这个需求的过程中就用得到了MultipartFile与File，而且我对前一个也不是很熟悉。记录一下 什么是MultipartFileMultipartFile是spring类型，代表HTML中form data方式上传的文件，包含二进制数据+文件名称。【来自百度知道】 MultipartFile 与...
- 首先回顾一下memoryStore是做什么的。他主要是将没有序列化的java对象数组或者序列化的byteBuffer放到内存中。 首先回顾一下memoryStore是做什么的。他主要是将没有序列化的java对象数组或者序列化的byteBuffer放到内存中。
- TCP的拥塞避免等机制对于初学者来说还是比较复杂的，工作中如果开发时偏应用层，则也大部分摸不到这个机制，感受也就没那么深了。 这里就从抛去死记硬背的那堆概念，用6个连续的问题来学习这个机制，注意看的时候先自己思考一下如果是自己，会怎么设计，再去看实际的TCP设计，来理解它的精妙之处。 TCP的拥塞避免等机制对于初学者来说还是比较复杂的，工作中如果开发时偏应用层，则也大部分摸不到这个机制，感受也就没那么深了。 这里就从抛去死记硬背的那堆概念，用6个连续的问题来学习这个机制，注意看的时候先自己思考一下如果是自己，会怎么设计，再去看实际的TCP设计，来理解它的精妙之处。
- mysql执行查询的过程客户端先发送查询语句给服务器服务器检查缓存，如果存在则返回进行sql解析，生成解析树，再预处理，生成第二个解析树，最后再经过优化器，生成真正的执行计划根据执行计划，调用存储引擎的API来执行查询将结果返回给客户端。 一、客户端到服务端之间的原理客户端和服务端之间是半双工的， 即一个通道内只能一个在发一个接收， 不能同时互相发互相接收客户端只会发送一个数据包给服务端，... mysql执行查询的过程客户端先发送查询语句给服务器服务器检查缓存，如果存在则返回进行sql解析，生成解析树，再预处理，生成第二个解析树，最后再经过优化器，生成真正的执行计划根据执行计划，调用存储引擎的API来执行查询将结果返回给客户端。 一、客户端到服务端之间的原理客户端和服务端之间是半双工的， 即一个通道内只能一个在发一个接收， 不能同时互相发互相接收客户端只会发送一个数据包给服务端，...
- 联邦计算场景随着MPC、隐私计算等概念的流行， 诸多政府机构、金融企业开始考虑参与到多方计算的场景中， 扩展数据的应用价值。以下面这个场景为例， 银行可能希望获取水电局和自己银行内储户的数据，来综合计算得到各公司的信贷评分等级。那么银行可能希望执行如下sql，来得到信贷评分。select 0.5*c.资助金额*0.3+0.4*a.贴息金额*0.3+0.2*a.标的金额*0.3+(0.05... 联邦计算场景随着MPC、隐私计算等概念的流行， 诸多政府机构、金融企业开始考虑参与到多方计算的场景中， 扩展数据的应用价值。以下面这个场景为例， 银行可能希望获取水电局和自己银行内储户的数据，来综合计算得到各公司的信贷评分等级。那么银行可能希望执行如下sql，来得到信贷评分。select 0.5*c.资助金额*0.3+0.4*a.贴息金额*0.3+0.2*a.标的金额*0.3+(0.05...
- 联邦计算过程中， 如何让所有参与者感知计算过程是一个难题。 例如计算过程中的同态加密、密文计算、 数据读取等操作，全部串起来往往会很复杂，但参与者们又希望能了解这个过程是否是合理的，而不是一个黑盒在做计算。华为TICS服务通过为每个联邦计算作业生成可视化任务流图，来呈现计算过程，提升用户体验。在联盟侧查看作业计算过程用户登录TICS控制台。在左侧导航树上单击“联盟作业”，打开“联盟作业”页面... 联邦计算过程中， 如何让所有参与者感知计算过程是一个难题。 例如计算过程中的同态加密、密文计算、 数据读取等操作，全部串起来往往会很复杂，但参与者们又希望能了解这个过程是否是合理的，而不是一个黑盒在做计算。华为TICS服务通过为每个联邦计算作业生成可视化任务流图，来呈现计算过程，提升用户体验。在联盟侧查看作业计算过程用户登录TICS控制台。在左侧导航树上单击“联盟作业”，打开“联盟作业”页面...
上滑加载中
推荐直播
-
openEuler Summit 20242024/11/16 周六 09:30-12:00
华为讲师团
2024年11月15日-16日，我们将在北京中关村国际创新中心举办 操作系统大会＆openEuler Summit 2024，本次大会旨在汇聚全球产业发展力量，邀请思想引领者、商业精英、技术专家、合作伙伴以及全球开源基金会等业界同仁，共同探讨操作系统产业发展方向和未来机遇，联合伙伴展示最新合作成果，分享数字化转型实践，以技术驱动创新不断激发新质生产力。
回顾中 -
华为云AI入门课：AI发展趋势与华为愿景2024/11/18 周一 18:20-20:20
Alex 华为云学堂技术讲师
本期直播旨在帮助开发者熟悉理解AI技术概念，AI发展趋势，AI实用化前景，了解熟悉未来主要技术栈，当前发展瓶颈等行业化知识。帮助开发者在AI领域快速构建知识体系，构建职业竞争力。
去报名 -
华为云软件开发生产线（CodeArts）10月新特性解读2024/11/19 周二 19:00-20:00
苏柏亚培 华为云高级产品经理
不知道产品的最新特性？没法和产品团队建立直接的沟通？本期直播产品经理将为您解读华为云软件开发生产线10月发布的新特性，并在直播过程中为您答疑解惑。
去报名
热门标签