- Kafka多线程消费理解 Kafka Java Consumer设计Kafka Java Consumer采用的是单线程的设计。其入口类KafkaConsumer是一个双线程的设计，即用户主线程和心跳线程。用户主线程，指的是启动Consumer应用程序main方法的线程，心跳线程（Heartbeat Thread）只负责定期给对应的Broker机器发送心跳请求，以表示消费者应用的存活性。官... Kafka多线程消费理解 Kafka Java Consumer设计Kafka Java Consumer采用的是单线程的设计。其入口类KafkaConsumer是一个双线程的设计，即用户主线程和心跳线程。用户主线程，指的是启动Consumer应用程序main方法的线程，心跳线程（Heartbeat Thread）只负责定期给对应的Broker机器发送心跳请求，以表示消费者应用的存活性。官...
- 1. SparkSql 高并发读取数据库SparkSql连接数据库读取数据给了三个API：//Construct a DataFrame representing the database table accessible via JDBC URL url named table and connection properties.Dataset<Row> jdbc(String url... 1. SparkSql 高并发读取数据库SparkSql连接数据库读取数据给了三个API：//Construct a DataFrame representing the database table accessible via JDBC URL url named table and connection properties.Dataset<Row> jdbc(String url...
- 前言某段时间碰到了中转文件的需求，需要使用HttpClient中转一下文件，过程为：在实现这个需求的过程中就用得到了MultipartFile与File，而且我对前一个也不是很熟悉。记录一下 什么是MultipartFileMultipartFile是spring类型，代表HTML中form data方式上传的文件，包含二进制数据+文件名称。【来自百度知道】 MultipartFile 与... 前言某段时间碰到了中转文件的需求，需要使用HttpClient中转一下文件，过程为：在实现这个需求的过程中就用得到了MultipartFile与File，而且我对前一个也不是很熟悉。记录一下 什么是MultipartFileMultipartFile是spring类型，代表HTML中form data方式上传的文件，包含二进制数据+文件名称。【来自百度知道】 MultipartFile 与...
- 首先回顾一下memoryStore是做什么的。他主要是将没有序列化的java对象数组或者序列化的byteBuffer放到内存中。 首先回顾一下memoryStore是做什么的。他主要是将没有序列化的java对象数组或者序列化的byteBuffer放到内存中。
- TCP的拥塞避免等机制对于初学者来说还是比较复杂的，工作中如果开发时偏应用层，则也大部分摸不到这个机制，感受也就没那么深了。 这里就从抛去死记硬背的那堆概念，用6个连续的问题来学习这个机制，注意看的时候先自己思考一下如果是自己，会怎么设计，再去看实际的TCP设计，来理解它的精妙之处。 TCP的拥塞避免等机制对于初学者来说还是比较复杂的，工作中如果开发时偏应用层，则也大部分摸不到这个机制，感受也就没那么深了。 这里就从抛去死记硬背的那堆概念，用6个连续的问题来学习这个机制，注意看的时候先自己思考一下如果是自己，会怎么设计，再去看实际的TCP设计，来理解它的精妙之处。
- mysql执行查询的过程客户端先发送查询语句给服务器服务器检查缓存，如果存在则返回进行sql解析，生成解析树，再预处理，生成第二个解析树，最后再经过优化器，生成真正的执行计划根据执行计划，调用存储引擎的API来执行查询将结果返回给客户端。 一、客户端到服务端之间的原理客户端和服务端之间是半双工的， 即一个通道内只能一个在发一个接收， 不能同时互相发互相接收客户端只会发送一个数据包给服务端，... mysql执行查询的过程客户端先发送查询语句给服务器服务器检查缓存，如果存在则返回进行sql解析，生成解析树，再预处理，生成第二个解析树，最后再经过优化器，生成真正的执行计划根据执行计划，调用存储引擎的API来执行查询将结果返回给客户端。 一、客户端到服务端之间的原理客户端和服务端之间是半双工的， 即一个通道内只能一个在发一个接收， 不能同时互相发互相接收客户端只会发送一个数据包给服务端，...
- 9月23日至25日，华为全联接2021以“深耕数字化”为主题，各行业领军人物分享最新成果与实践。其中在“华为云FusionInsight智能数据湖打造千行百业数据底座”专题演讲中，华为云FusionInsight技术专家陈祥，发表“华为云FusionInsight智能数据湖版本新能力解读”演讲。 9月23日至25日，华为全联接2021以“深耕数字化”为主题，各行业领军人物分享最新成果与实践。其中在“华为云FusionInsight智能数据湖打造千行百业数据底座”专题演讲中，华为云FusionInsight技术专家陈祥，发表“华为云FusionInsight智能数据湖版本新能力解读”演讲。
- 本文主要解析介绍Hive虚拟列BLOCK__OFFSET__INSIDE__FILE相关源码 本文主要解析介绍Hive虚拟列BLOCK__OFFSET__INSIDE__FILE相关源码
- 文本主要解析Hive添加UDF的源码流程 文本主要解析Hive添加UDF的源码流程
- 联邦计算场景随着MPC、隐私计算等概念的流行， 诸多政府机构、金融企业开始考虑参与到多方计算的场景中， 扩展数据的应用价值。以下面这个场景为例， 银行可能希望获取水电局和自己银行内储户的数据，来综合计算得到各公司的信贷评分等级。那么银行可能希望执行如下sql，来得到信贷评分。select 0.5*c.资助金额*0.3+0.4*a.贴息金额*0.3+0.2*a.标的金额*0.3+(0.05... 联邦计算场景随着MPC、隐私计算等概念的流行， 诸多政府机构、金融企业开始考虑参与到多方计算的场景中， 扩展数据的应用价值。以下面这个场景为例， 银行可能希望获取水电局和自己银行内储户的数据，来综合计算得到各公司的信贷评分等级。那么银行可能希望执行如下sql，来得到信贷评分。select 0.5*c.资助金额*0.3+0.4*a.贴息金额*0.3+0.2*a.标的金额*0.3+(0.05...
- 基于CarbonData的电信时空大数据探索-- 张军、龚云骏1 使用场景随着万物互联的时代到来，以及智慧终端普及，现实世界超过80%的数据与地理位置相关，比如日常使用的社交、支付、出行相关APP。作为IOT最底层的无线通信网络也会生成大量与位置相关的数据，用于无线通信网络规划和优化，帮助电信运营商建设更好体验的精品网络，构建万物互联的信息社会。为表征无线网络相关指标在地理空... 基于CarbonData的电信时空大数据探索-- 张军、龚云骏1 使用场景随着万物互联的时代到来，以及智慧终端普及，现实世界超过80%的数据与地理位置相关，比如日常使用的社交、支付、出行相关APP。作为IOT最底层的无线通信网络也会生成大量与位置相关的数据，用于无线通信网络规划和优化，帮助电信运营商建设更好体验的精品网络，构建万物互联的信息社会。为表征无线网络相关指标在地理空...
- 90 天挑战 HCIE Cloud 目录，后续将实时保持更新，从 第 1 天 到第 90 天，敬请持续关注！ 移动端请关注微信公众号 & 微博，热切期盼在您备考 HCIE Cloud 认证过程中，提供一定帮助 90 天挑战 HCIE Cloud 目录，后续将实时保持更新，从 第 1 天 到第 90 天，敬请持续关注！ 移动端请关注微信公众号 & 微博，热切期盼在您备考 HCIE Cloud 认证过程中，提供一定帮助
- 联邦计算过程中， 如何让所有参与者感知计算过程是一个难题。 例如计算过程中的同态加密、密文计算、 数据读取等操作，全部串起来往往会很复杂，但参与者们又希望能了解这个过程是否是合理的，而不是一个黑盒在做计算。华为TICS服务通过为每个联邦计算作业生成可视化任务流图，来呈现计算过程，提升用户体验。在联盟侧查看作业计算过程用户登录TICS控制台。在左侧导航树上单击“联盟作业”，打开“联盟作业”页面... 联邦计算过程中， 如何让所有参与者感知计算过程是一个难题。 例如计算过程中的同态加密、密文计算、 数据读取等操作，全部串起来往往会很复杂，但参与者们又希望能了解这个过程是否是合理的，而不是一个黑盒在做计算。华为TICS服务通过为每个联邦计算作业生成可视化任务流图，来呈现计算过程，提升用户体验。在联盟侧查看作业计算过程用户登录TICS控制台。在左侧导航树上单击“联盟作业”，打开“联盟作业”页面...
- Q： ThreadLocal的常见使用场景？A：每个线程中需要维护1个不同的副本， 但这个副本可能是某一个时刻一起塞入每个线程的， 只不过之后该副本的变化 不再受其他线程的影响。常见场景有连接器管理模块connectorManager， 每个线程持有的connect变量是单独使用的，不会互相影响或者需要加锁。原因就是将其作为副本放入每个线程，当线程启动连接或者关闭时，不影响其他线程里的get... Q： ThreadLocal的常见使用场景？A：每个线程中需要维护1个不同的副本， 但这个副本可能是某一个时刻一起塞入每个线程的， 只不过之后该副本的变化 不再受其他线程的影响。常见场景有连接器管理模块connectorManager， 每个线程持有的connect变量是单独使用的，不会互相影响或者需要加锁。原因就是将其作为副本放入每个线程，当线程启动连接或者关闭时，不影响其他线程里的get...
- Spark 开源新特性：Catalyst 优化流程裁剪 1. 问题背景上图是典型的Spark Catalyst优化器的布局，一条由用户输入的SQL，到真实可调度执行的RDD DAG任务，需要经历以下五个阶段：Parser: 将SQL解析成相应的抽象语法树(AST)，spark也称为 Unresolved Logical Plan；Analyzer: 通过查找Metadata的Catalog... Spark 开源新特性：Catalyst 优化流程裁剪 1. 问题背景上图是典型的Spark Catalyst优化器的布局，一条由用户输入的SQL，到真实可调度执行的RDD DAG任务，需要经历以下五个阶段：Parser: 将SQL解析成相应的抽象语法树(AST)，spark也称为 Unresolved Logical Plan；Analyzer: 通过查找Metadata的Catalog...
上滑加载中
推荐直播
-
物联网资深专家带你轻松构建AIoT智能场景应用2024/11/21 周四 16:30-18:00
管老师 华为云IoT DTSE技术布道师
如何轻松构建AIoT智能场景应用？本期直播将聚焦华为云设备接入平台，结合AI、鸿蒙（OpenHarmony）、大数据等技术，实现物联网端云协同创新场景，教您如何打造更有实用性及创新性的AIoT行业标杆应用。
回顾中 -
Ascend C算子编程之旅：基础入门篇2024/11/22 周五 16:00-17:30
莫老师 昇腾CANN专家
介绍Ascend C算子基本概念、异构计算架构CANN和Ascend C基本概述，以及Ascend C快速入门，夯实Ascend C算子编程基础
即将直播 -
深入解析：华为全栈AI解决方案与云智能开放能力2024/11/22 周五 18:20-20:20
Alex 华为云学堂技术讲师
本期直播我们将重点为大家介绍华为全栈全场景AI解决方案以和华为云企业智能AI开放能力。旨在帮助开发者深入理解华为AI解决方案，并能够更加熟练地运用这些技术。通过洞悉华为解决方案，了解人工智能完整生态链条的构造。
去报名
热门标签