- 我们看下spark是怎么针对master、worker、executor的异常情况做处理的。 容错机制-exeuctor退出首先可以假设worker中的executor执行任务时，发送了莫名其妙的异常或者错误，然后对应线程消失了。我们看这个时候会做什么事情上图总结下来就是：executor由backend进程包着，如果抛异常，他会感知到，并调用executorRunner.exitStatu... 我们看下spark是怎么针对master、worker、executor的异常情况做处理的。 容错机制-exeuctor退出首先可以假设worker中的executor执行任务时，发送了莫名其妙的异常或者错误，然后对应线程消失了。我们看这个时候会做什么事情上图总结下来就是：executor由backend进程包着，如果抛异常，他会感知到，并调用executorRunner.exitStatu...
- 简单工厂Q: 简单工厂模式是什么？A:简单工厂模式不是23种设计模式里的一种，简而言之，就是有一个专门生产某个产品的类。比如下图中的鼠标工厂，专业生产鼠标，给参数0，生产戴尔鼠标，给参数1，生产惠普鼠标。注意这个参数， 我必须根据入参去确定返回factory.create(int type)Q: 简单工厂模式的缺点是什么？A:当我试图新增一种类型， 我就得在create里新增case-w... 简单工厂Q: 简单工厂模式是什么？A:简单工厂模式不是23种设计模式里的一种，简而言之，就是有一个专门生产某个产品的类。比如下图中的鼠标工厂，专业生产鼠标，给参数0，生产戴尔鼠标，给参数1，生产惠普鼠标。注意这个参数， 我必须根据入参去确定返回factory.create(int type)Q: 简单工厂模式的缺点是什么？A:当我试图新增一种类型， 我就得在create里新增case-w...
- presto计算引擎作为一个纯内存计算引擎，是如何保证计算过程不会发生作业内存溢出的？本篇文章会进行深入的学习和分析 presto计算引擎作为一个纯内存计算引擎，是如何保证计算过程不会发生作业内存溢出的？本篇文章会进行深入的学习和分析
- 联邦多方计算场景，一方对于另一方的运行中数据是无法感知的， 通过MPC算法或者TEE安全硬件， 可以保证数据计算过程中的安全性。 但是当计算完成后，得到的结果中却包含了潜在的安全风险。 针对这种问题， 华为云tics服务联合德国慕尼黑可信技术实验室， 推出了基于多方sql作业的差分隐私算法应用， 对于大规模的聚合类计算，可以实现对内部个体的数据保护。 联邦多方计算场景，一方对于另一方的运行中数据是无法感知的， 通过MPC算法或者TEE安全硬件， 可以保证数据计算过程中的安全性。 但是当计算完成后，得到的结果中却包含了潜在的安全风险。 针对这种问题， 华为云tics服务联合德国慕尼黑可信技术实验室， 推出了基于多方sql作业的差分隐私算法应用， 对于大规模的聚合类计算，可以实现对内部个体的数据保护。
- 简介Kafka的API有Producer API，Consumer API还有自定义Interceptor (自定义拦截器)，以及处理的流使用的Streams API和构建连接器的Kafka Connect API。 Producer APIKafka的Producer发送消息采用的是异步发送的方式。在消息发送过程中，涉及两个线程：main线程和Sender线程，以及一个线程共享变量Rec... 简介Kafka的API有Producer API，Consumer API还有自定义Interceptor (自定义拦截器)，以及处理的流使用的Streams API和构建连接器的Kafka Connect API。 Producer APIKafka的Producer发送消息采用的是异步发送的方式。在消息发送过程中，涉及两个线程：main线程和Sender线程，以及一个线程共享变量Rec...
- 说明这四个方法都和缓存有关，所以写在一块。 JavaPairRDD的cache方法讲解 官方文档说明Persist this RDD with the default storage level (MEMORY_ONLY). 中文含义cache就是在内存中缓存数据，其实也是使用的persist。使用非序列化的方式将RDD的数据全部尝试持久化到内存中，cache()只是一个transform... 说明这四个方法都和缓存有关，所以写在一块。 JavaPairRDD的cache方法讲解 官方文档说明Persist this RDD with the default storage level (MEMORY_ONLY). 中文含义cache就是在内存中缓存数据，其实也是使用的persist。使用非序列化的方式将RDD的数据全部尝试持久化到内存中，cache()只是一个transform...
- JavaPairRDD的aggregateByKey方法讲解 官方文档说明Aggregate the values of each key, using given combine functions and a neutral"zero value". This function can return a different result type, U, than the type o... JavaPairRDD的aggregateByKey方法讲解 官方文档说明Aggregate the values of each key, using given combine functions and a neutral"zero value". This function can return a different result type, U, than the type o...
- Kafka多线程消费理解 Kafka Java Consumer设计Kafka Java Consumer采用的是单线程的设计。其入口类KafkaConsumer是一个双线程的设计，即用户主线程和心跳线程。用户主线程，指的是启动Consumer应用程序main方法的线程，心跳线程（Heartbeat Thread）只负责定期给对应的Broker机器发送心跳请求，以表示消费者应用的存活性。官... Kafka多线程消费理解 Kafka Java Consumer设计Kafka Java Consumer采用的是单线程的设计。其入口类KafkaConsumer是一个双线程的设计，即用户主线程和心跳线程。用户主线程，指的是启动Consumer应用程序main方法的线程，心跳线程（Heartbeat Thread）只负责定期给对应的Broker机器发送心跳请求，以表示消费者应用的存活性。官...
- 1. SparkSql 高并发读取数据库SparkSql连接数据库读取数据给了三个API：//Construct a DataFrame representing the database table accessible via JDBC URL url named table and connection properties.Dataset<Row> jdbc(String url... 1. SparkSql 高并发读取数据库SparkSql连接数据库读取数据给了三个API：//Construct a DataFrame representing the database table accessible via JDBC URL url named table and connection properties.Dataset<Row> jdbc(String url...
- 前言某段时间碰到了中转文件的需求，需要使用HttpClient中转一下文件，过程为：在实现这个需求的过程中就用得到了MultipartFile与File，而且我对前一个也不是很熟悉。记录一下 什么是MultipartFileMultipartFile是spring类型，代表HTML中form data方式上传的文件，包含二进制数据+文件名称。【来自百度知道】 MultipartFile 与... 前言某段时间碰到了中转文件的需求，需要使用HttpClient中转一下文件，过程为：在实现这个需求的过程中就用得到了MultipartFile与File，而且我对前一个也不是很熟悉。记录一下 什么是MultipartFileMultipartFile是spring类型，代表HTML中form data方式上传的文件，包含二进制数据+文件名称。【来自百度知道】 MultipartFile 与...
- 首先回顾一下memoryStore是做什么的。他主要是将没有序列化的java对象数组或者序列化的byteBuffer放到内存中。 首先回顾一下memoryStore是做什么的。他主要是将没有序列化的java对象数组或者序列化的byteBuffer放到内存中。
- TCP的拥塞避免等机制对于初学者来说还是比较复杂的，工作中如果开发时偏应用层，则也大部分摸不到这个机制，感受也就没那么深了。 这里就从抛去死记硬背的那堆概念，用6个连续的问题来学习这个机制，注意看的时候先自己思考一下如果是自己，会怎么设计，再去看实际的TCP设计，来理解它的精妙之处。 TCP的拥塞避免等机制对于初学者来说还是比较复杂的，工作中如果开发时偏应用层，则也大部分摸不到这个机制，感受也就没那么深了。 这里就从抛去死记硬背的那堆概念，用6个连续的问题来学习这个机制，注意看的时候先自己思考一下如果是自己，会怎么设计，再去看实际的TCP设计，来理解它的精妙之处。
- mysql执行查询的过程客户端先发送查询语句给服务器服务器检查缓存，如果存在则返回进行sql解析，生成解析树，再预处理，生成第二个解析树，最后再经过优化器，生成真正的执行计划根据执行计划，调用存储引擎的API来执行查询将结果返回给客户端。 一、客户端到服务端之间的原理客户端和服务端之间是半双工的， 即一个通道内只能一个在发一个接收， 不能同时互相发互相接收客户端只会发送一个数据包给服务端，... mysql执行查询的过程客户端先发送查询语句给服务器服务器检查缓存，如果存在则返回进行sql解析，生成解析树，再预处理，生成第二个解析树，最后再经过优化器，生成真正的执行计划根据执行计划，调用存储引擎的API来执行查询将结果返回给客户端。 一、客户端到服务端之间的原理客户端和服务端之间是半双工的， 即一个通道内只能一个在发一个接收， 不能同时互相发互相接收客户端只会发送一个数据包给服务端，...
- 联邦计算场景随着MPC、隐私计算等概念的流行， 诸多政府机构、金融企业开始考虑参与到多方计算的场景中， 扩展数据的应用价值。以下面这个场景为例， 银行可能希望获取水电局和自己银行内储户的数据，来综合计算得到各公司的信贷评分等级。那么银行可能希望执行如下sql，来得到信贷评分。select 0.5*c.资助金额*0.3+0.4*a.贴息金额*0.3+0.2*a.标的金额*0.3+(0.05... 联邦计算场景随着MPC、隐私计算等概念的流行， 诸多政府机构、金融企业开始考虑参与到多方计算的场景中， 扩展数据的应用价值。以下面这个场景为例， 银行可能希望获取水电局和自己银行内储户的数据，来综合计算得到各公司的信贷评分等级。那么银行可能希望执行如下sql，来得到信贷评分。select 0.5*c.资助金额*0.3+0.4*a.贴息金额*0.3+0.2*a.标的金额*0.3+(0.05...
- 联邦计算过程中， 如何让所有参与者感知计算过程是一个难题。 例如计算过程中的同态加密、密文计算、 数据读取等操作，全部串起来往往会很复杂，但参与者们又希望能了解这个过程是否是合理的，而不是一个黑盒在做计算。华为TICS服务通过为每个联邦计算作业生成可视化任务流图，来呈现计算过程，提升用户体验。在联盟侧查看作业计算过程用户登录TICS控制台。在左侧导航树上单击“联盟作业”，打开“联盟作业”页面... 联邦计算过程中， 如何让所有参与者感知计算过程是一个难题。 例如计算过程中的同态加密、密文计算、 数据读取等操作，全部串起来往往会很复杂，但参与者们又希望能了解这个过程是否是合理的，而不是一个黑盒在做计算。华为TICS服务通过为每个联邦计算作业生成可视化任务流图，来呈现计算过程，提升用户体验。在联盟侧查看作业计算过程用户登录TICS控制台。在左侧导航树上单击“联盟作业”，打开“联盟作业”页面...
上滑加载中
推荐直播
-
让你的应用用上GaussDB2024/12/19 周四 16:30-18:00
Jerry 华为云生态技术讲师
GaussDB很受客户关注，伙伴们想知道什么时候该选用，开发者也跃跃欲试想尝鲜。课程会分享适用的场景，并一步步演示如何用上GaussDB。
即将直播 -
2024创原会年度技术峰会2024/12/20 周五 09:00-12:00
华为云讲师团
2024创原会年度技术峰会将于12月20日在海南万宁石梅湾威斯汀酒店举办，本次大会将以“智能・进化”为主题探讨从Cloud Native到AI Native的新阶段企业如何通过AI技术重塑企业应用，围绕AI如何在千行万业落地进行深入交流，探索可以先行先试先成功的创新场景和实现路径。
即将直播 -
华为云开发者日·2024年度创享峰会2024/12/23 周一 14:00-16:00
华为云讲师团
华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动，汇聚来自千行百业、高校及科研院所的开发人员。致力于打造开发者专属的技术盛宴，全方位服务与赋能开发者围绕华为云生态“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的应用创新推介，为开发者提供沉浸式学习与交流平台。开放创新，与开发者共创、共享、共赢未来。
去报名
热门标签