- 2022，我在华为云的日子2022年，我在华为云度过了一个美好的一年。在这一年里，我取得了很多成就，也学到了很多东西。首先，我在华为云参与了一系列的项目，包括云计算、大数据、人工智能等，这些项目都是华为云的核心业务，我在这些项目中取得了很大的进步，提升了自己的技术水平。其次，我在华为云参与了一系列的技术培训，包括云计算、大数据、人工智能等，这些培训让我更加深入地了解了华为云的技术，也更加熟... 2022，我在华为云的日子2022年，我在华为云度过了一个美好的一年。在这一年里，我取得了很多成就，也学到了很多东西。首先，我在华为云参与了一系列的项目，包括云计算、大数据、人工智能等，这些项目都是华为云的核心业务，我在这些项目中取得了很大的进步，提升了自己的技术水平。其次，我在华为云参与了一系列的技术培训，包括云计算、大数据、人工智能等，这些培训让我更加深入地了解了华为云的技术，也更加熟...
- ClickHouse的ReplacingMergeTree深入了解为了解决MergeTree相同主键无法去重的问题，ClickHouse提供了ReplacingMergeTree引擎，用来对主键重复的数据进行去重。删除重复数据可以使用optimize命令手动执行，这个合并操作是在后台运行的，且无法预测具体的执行时间。在使用optimize命令执行合并时，如果表数据量过大，会导致耗时很长，此... ClickHouse的ReplacingMergeTree深入了解为了解决MergeTree相同主键无法去重的问题，ClickHouse提供了ReplacingMergeTree引擎，用来对主键重复的数据进行去重。删除重复数据可以使用optimize命令手动执行，这个合并操作是在后台运行的，且无法预测具体的执行时间。在使用optimize命令执行合并时，如果表数据量过大，会导致耗时很长，此...
- ClickHouse的MergeTree系列引擎介绍和MergeTree深入了解一、MergeTree系列引擎介绍MergeTree（合并树）系列引擎是ClickHouse中最强大的表引擎，是官方主推的存储引擎，几乎支持ClickHouse所有的核心功能。该系列引擎主要用于海量数据分析的场景，支持对表数据进行分区、复制、采样、存储有序、主键索引、稀疏索引和数据TTL等特性。MergeTree... ClickHouse的MergeTree系列引擎介绍和MergeTree深入了解一、MergeTree系列引擎介绍MergeTree（合并树）系列引擎是ClickHouse中最强大的表引擎，是官方主推的存储引擎，几乎支持ClickHouse所有的核心功能。该系列引擎主要用于海量数据分析的场景，支持对表数据进行分区、复制、采样、存储有序、主键索引、稀疏索引和数据TTL等特性。MergeTree...
- ClickHouse的数据库引擎ClickHouse提供了本机、MySQL和Lazy这3种数据库引擎，但在默认情况下仅使用其本机数据库引擎，该引擎提供可配置的表引擎(MergeTree、Log和Intergation)和SQL方言(完整的SQL解析器，即递归下降解析器；数据格式解析器，即快速流解析器)。还可以使用MySQL和Lazy。一、MySQL引擎MySQL引擎用于将远程的MySQL服务... ClickHouse的数据库引擎ClickHouse提供了本机、MySQL和Lazy这3种数据库引擎，但在默认情况下仅使用其本机数据库引擎，该引擎提供可配置的表引擎(MergeTree、Log和Intergation)和SQL方言(完整的SQL解析器，即递归下降解析器；数据格式解析器，即快速流解析器)。还可以使用MySQL和Lazy。一、MySQL引擎MySQL引擎用于将远程的MySQL服务...
- ClickHouse的引擎介绍和深入日志引擎讲解一、引擎介绍ClickHouse提供了多种不同的表引擎，表引擎可以简单理解为不同类型的表。表引擎（即表的类型）决定了：数据的存储方式和位置，写到哪里以及从哪里读取数据支持哪些查询以及如何支持并发数据访问索引的使用（如果存在）是否可以执行多线程请求数据复制参数下面介绍其中几种，对其他引擎有兴趣的可以去查阅官方文档：https://clickhou... ClickHouse的引擎介绍和深入日志引擎讲解一、引擎介绍ClickHouse提供了多种不同的表引擎，表引擎可以简单理解为不同类型的表。表引擎（即表的类型）决定了：数据的存储方式和位置，写到哪里以及从哪里读取数据支持哪些查询以及如何支持并发数据访问索引的使用（如果存在）是否可以执行多线程请求数据复制参数下面介绍其中几种，对其他引擎有兴趣的可以去查阅官方文档：https://clickhou...
- ClickHouse的数据类型支持ClickHouse与常用的关系型数据库MySQL或Oracle的数据类型类似，提供了丰富的数据类型支持。一、整型ClickHouse支持Int和Uint两种固定长度的整型，Int类型是符号整型，Uint类型是无符号整型。分类数据类型取值范围整型Int8-128 ~ 127Int16-32768 ~ 32767Int32-2147483648 ~ 21474... ClickHouse的数据类型支持ClickHouse与常用的关系型数据库MySQL或Oracle的数据类型类似，提供了丰富的数据类型支持。一、整型ClickHouse支持Int和Uint两种固定长度的整型，Int类型是符号整型，Uint类型是无符号整型。分类数据类型取值范围整型Int8-128 ~ 127Int16-32768 ~ 32767Int32-2147483648 ~ 21474...
- ClickHouse的深入了解一、介绍ClickHouse是俄罗斯的Yandex于2016年开源的面向OLAP列式数据库管理系统（DBMS）ClickHouse采用 C++ 语言开发，以卓越的查询性能著称，在基准测试中超过了目前很多主流的列式数据库ClickHouse集群的每台服务器每秒能处理数亿到十亿多行和数十千兆字节的数据ClickHouse会充分利用所有可用的硬件，以尽可能快地处理每个... ClickHouse的深入了解一、介绍ClickHouse是俄罗斯的Yandex于2016年开源的面向OLAP列式数据库管理系统（DBMS）ClickHouse采用 C++ 语言开发，以卓越的查询性能著称，在基准测试中超过了目前很多主流的列式数据库ClickHouse集群的每台服务器每秒能处理数亿到十亿多行和数十千兆字节的数据ClickHouse会充分利用所有可用的硬件，以尽可能快地处理每个...
- Spark操作Kudu一、添加Maven依赖使用SparkSQL操作Kudu，这里需要导入Kudu与SparkSQL整合的包和SparkSQL的包，在Maven中导入如下依赖：<!--添加kudu-spark 依赖--><dependency> <groupId>org.apache.kudu</groupId> <artifactId>kudu-sp... Spark操作Kudu一、添加Maven依赖使用SparkSQL操作Kudu，这里需要导入Kudu与SparkSQL整合的包和SparkSQL的包，在Maven中导入如下依赖：<!--添加kudu-spark 依赖--><dependency> <groupId>org.apache.kudu</groupId> <artifactId>kudu-sp...
- Kudu与Impala整合Impala是cloudera提供的一款高效率的sql查询工具，使用内存进行计算提供实时的SQL查询,impala强依赖于Hive 的MetaStore，直接使用hive的元数据，意味着impala元数据都存储在hive的MetaStore当中，并且impala兼容hive的绝大多数sql语法,具有实时，批处理，多并发等优点。Kudu不支持标准SQL操作，可以将K... Kudu与Impala整合Impala是cloudera提供的一款高效率的sql查询工具，使用内存进行计算提供实时的SQL查询,impala强依赖于Hive 的MetaStore，直接使用hive的元数据，意味着impala元数据都存储在hive的MetaStore当中，并且impala兼容hive的绝大多数sql语法,具有实时，批处理，多并发等优点。Kudu不支持标准SQL操作，可以将K...
- Impala sql 语法一、数据库特定语言1、创建数据库CREATE DATABASE语句用于在Impala中创建新数据库。CREATE DATABASE IF NOT EXISTS database_name;这里，IF NOT EXISTS是一个可选的子句。如果我们使用此子句，则只有在没有具有相同名称的现有数据库时，才会创建具有给定名称的数据库。impala默认使用impala用户执... Impala sql 语法一、数据库特定语言1、创建数据库CREATE DATABASE语句用于在Impala中创建新数据库。CREATE DATABASE IF NOT EXISTS database_name;这里，IF NOT EXISTS是一个可选的子句。如果我们使用此子句，则只有在没有具有相同名称的现有数据库时，才会创建具有给定名称的数据库。impala默认使用impala用户执...
- Impala入门介绍一、impala基本介绍impala是cloudera提供的一款高效率的sql查询工具，提供实时的查询效果，官方测试性能比hive快10到100倍，其sql查询比sparkSQL还要更加快速，号称是当前大数据领域最快的查询sql工具，impala是参照谷歌的新三篇论文（Caffeine--网络搜索引擎、Pregel--分布式图计算、Dremel--交互式分析工具）当中的... Impala入门介绍一、impala基本介绍impala是cloudera提供的一款高效率的sql查询工具，提供实时的查询效果，官方测试性能比hive快10到100倍，其sql查询比sparkSQL还要更加快速，号称是当前大数据领域最快的查询sql工具，impala是参照谷歌的新三篇论文（Caffeine--网络搜索引擎、Pregel--分布式图计算、Dremel--交互式分析工具）当中的...
- Yarn核心高频面试题一、简述Hadoop1与Hadoop2的架构异同加入了yarn解决了资源调度的问题。加入了对zookeeper的支持实现比较可靠的高可用。二、为什么会产生yarn，它解决了什么问题，有什么优势？Yarn最主要的功能就是解决运行的用户程序与yarn框架完全解耦。Yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如mapreduce、stor... Yarn核心高频面试题一、简述Hadoop1与Hadoop2的架构异同加入了yarn解决了资源调度的问题。加入了对zookeeper的支持实现比较可靠的高可用。二、为什么会产生yarn，它解决了什么问题，有什么优势？Yarn最主要的功能就是解决运行的用户程序与yarn框架完全解耦。Yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如mapreduce、stor...
- HDFS核心高频面试题一、HDFS的存储机制（读写流程）HDFS存储机制，包括HDFS的写入过程和读取过程两个部分1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）namenode返回3个datanode节点，分别为dn1、dn2、d... HDFS核心高频面试题一、HDFS的存储机制（读写流程）HDFS存储机制，包括HDFS的写入过程和读取过程两个部分1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）namenode返回3个datanode节点，分别为dn1、dn2、d...
- HDFS核心高频面试题一、HDFS的存储机制（读写流程）HDFS存储机制，包括HDFS的写入过程和读取过程两个部分1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）namenode返回3个datanode节点，分别为dn1、dn2... HDFS核心高频面试题一、HDFS的存储机制（读写流程）HDFS存储机制，包括HDFS的写入过程和读取过程两个部分1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）namenode返回3个datanode节点，分别为dn1、dn2...
- 为了实现可扩展的，健壮的和可重现的图学习研究，提出了Open Graph Benchmark (OGB)——具有规模大、领域广、任务类别多样化的现实图数据集。在特定于应用程序的使用案例的驱动下，对给定的数据集采用了实际的数据分割方法。通过广泛的基准实验，强调OGB数据集对于图学习模型在现实的数据分割方案下处理大规模图并进行准确的预测提出了重大挑战。总而言之，OGB为未来的研究提供了丰富的机会，以推 为了实现可扩展的，健壮的和可重现的图学习研究，提出了Open Graph Benchmark (OGB)——具有规模大、领域广、任务类别多样化的现实图数据集。在特定于应用程序的使用案例的驱动下，对给定的数据集采用了实际的数据分割方法。通过广泛的基准实验，强调OGB数据集对于图学习模型在现实的数据分割方案下处理大规模图并进行准确的预测提出了重大挑战。总而言之，OGB为未来的研究提供了丰富的机会，以推
上滑加载中
推荐直播
-
华为云 x DeepSeek：AI驱动云上应用创新2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际，DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出？华为云与 DeepSeek 合作，将如何重塑产品与应用模式，助力企业数字化转型？在华为开发者空间，怎样高效部署 DeepSeek，搭建专属服务器？基于华为云平台，又该如何挖掘 DeepSeek 潜力，实现智能化升级？本期直播围绕DeepSeek在云上的应用案例，与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
回顾中 -
智能观测进化论系列沙龙（第一期）2025/02/28 周五 14:00-16:30
华为及外部讲师团
本期直播就智能化可观测技术的融合与创新、落地与实践、瓶颈与未来等业界关心的话题进行深入探讨。
回顾中 -
聚焦Deepseek，洞察开发者生态发展2025/02/28 周五 19:00-20:30
蒋涛 csdn创始人
深入剖析Deepseek爆发后，中国开发者生态潜藏的巨大发展潜能与未来走向，精准提炼出可供大家把握的时代机遇，干货满满，不容错过。
回顾中
热门标签