- 5月20日，本人在“华为云TechWave云原生2.0专题日”上发表《华为云FusionInsight MRS，一个架构实现三种数据湖》的主题演讲，分享了智能数据时代的数据湖发展趋势、MRS云原生数据湖技术创新实现一个架构构建离线、实时、逻辑三种数据湖，以及业务实践中的成功案例等。进入智能数据时代，业界建设数据湖的十大共识 经过数十年的快速发展，大数据处理技术已日渐成熟，围绕数... 5月20日，本人在“华为云TechWave云原生2.0专题日”上发表《华为云FusionInsight MRS，一个架构实现三种数据湖》的主题演讲，分享了智能数据时代的数据湖发展趋势、MRS云原生数据湖技术创新实现一个架构构建离线、实时、逻辑三种数据湖，以及业务实践中的成功案例等。进入智能数据时代，业界建设数据湖的十大共识 经过数十年的快速发展，大数据处理技术已日渐成熟，围绕数...
- 与互联网产品的立项模式类似，当我们定义设计一款新产品时，首先需要对用户做需求分析，归纳整理综合分析用户的需求，定义我们的产品定位，功能，业务逻辑，使用界面等等。因此，为了设计好数据库智能监控系统，我们需要对数据库监控系统的目标用户做需求分析，收集用户诉求，挖掘用户潜在需求，绘制典型用户画像。最后，设计数据库监控系统的实现架构，将典型用户的各种需求纳入到产品的设计架构管道中。 与互联网产品的立项模式类似，当我们定义设计一款新产品时，首先需要对用户做需求分析，归纳整理综合分析用户的需求，定义我们的产品定位，功能，业务逻辑，使用界面等等。因此，为了设计好数据库智能监控系统，我们需要对数据库监控系统的目标用户做需求分析，收集用户诉求，挖掘用户潜在需求，绘制典型用户画像。最后，设计数据库监控系统的实现架构，将典型用户的各种需求纳入到产品的设计架构管道中。
- 有大流量产生的stream作业可以通过相关参数调节其性能。 有大流量产生的stream作业可以通过相关参数调节其性能。
- 一、tpcds工具编译1. 从tpc官网下载TPC-DS包。http://www.tpc.org/tpcds/2. 提交TPC-DS包至linux服务器上。3. 解压。 unzip tpc-ds2.6.zip4. 进入目录。 cd v2.6.0/tools5. 复制Makefile文件。 cp Makefile.suite Makefile6. 编译工具 make二... 一、tpcds工具编译1. 从tpc官网下载TPC-DS包。http://www.tpc.org/tpcds/2. 提交TPC-DS包至linux服务器上。3. 解压。 unzip tpc-ds2.6.zip4. 进入目录。 cd v2.6.0/tools5. 复制Makefile文件。 cp Makefile.suite Makefile6. 编译工具 make二...
- 1. 集群合理的规格从业务侧来看，主要是控制集群的shard数量，数据存储量，segment数量在合理的范围内。1.单EsNode Shard数以单EsNode实例31GB为例，管理500个shard为合理范围。基于单EsNode数据量不超过15T及集群整体shard数不超过50000考虑。2.Shard大小每个分片大小20~30GB，最多不超过50G3. 单集群数据实例数推荐300以内，否... 1. 集群合理的规格从业务侧来看，主要是控制集群的shard数量，数据存储量，segment数量在合理的范围内。1.单EsNode Shard数以单EsNode实例31GB为例，管理500个shard为合理范围。基于单EsNode数据量不超过15T及集群整体shard数不超过50000考虑。2.Shard大小每个分片大小20~30GB，最多不超过50G3. 单集群数据实例数推荐300以内，否...
- Tableau使用用户名密码方式对接FusionInsight 8.1.0 HetuEngine Tableau使用用户名密码方式对接FusionInsight 8.1.0 HetuEngine
- DBeaver使用用户名密码方式对接FusionInsight 8.1.0 HetuEngine DBeaver使用用户名密码方式对接FusionInsight 8.1.0 HetuEngine
- FineBI使用用户名密码方式对接FusionInsight 8.1.0 HetuEngine FineBI使用用户名密码方式对接FusionInsight 8.1.0 HetuEngine
- PowerBI使用用户名密码方式对接FusionInsight8.1.0 HetuEngine PowerBI使用用户名密码方式对接FusionInsight8.1.0 HetuEngine
- 结构上Hive On Spark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。Hive的默认执行引擎是mr，还可以运行在Spark和Tez。Spark可以连接多种数据源，然后使用SparkSQL来执行分布式计算。Hive On Spark 配置（1）首先安装包要选择对，否则就没有开始了。Hive版本:apache-h... 结构上Hive On Spark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。Hive的默认执行引擎是mr，还可以运行在Spark和Tez。Spark可以连接多种数据源，然后使用SparkSQL来执行分布式计算。Hive On Spark 配置（1）首先安装包要选择对，否则就没有开始了。Hive版本:apache-h...
- 说一下oracle实例恢复时，要用到哪些redo。至于何时需要实例恢复就不多说了。我们都知道实例恢复时，需要找到redo的起点（lrba，也就是checkpoint rba：检查点队列中第一脏块的lrba）和终点（on-disk rba）。终点自然就是redo的结尾，起点就比较麻烦了。检查点队列头部的那个脏块第一次被修改对应的日志位置就是lrba，在这个lrba之前的redo所保护的data... 说一下oracle实例恢复时，要用到哪些redo。至于何时需要实例恢复就不多说了。我们都知道实例恢复时，需要找到redo的起点（lrba，也就是checkpoint rba：检查点队列中第一脏块的lrba）和终点（on-disk rba）。终点自然就是redo的结尾，起点就比较麻烦了。检查点队列头部的那个脏块第一次被修改对应的日志位置就是lrba，在这个lrba之前的redo所保护的data...
- 并发访问共享资源，如果不加锁，可能会导致数据不一致问题，通常为了解决并发访问问题，我们都会在访问共享资源之前加锁，保证同一时刻只有一个线程访问。下面我们用问答的方式说明下各种并发锁的概念、优缺点及其应用场景。1、什么是互斥锁和自旋锁，各有什么优缺点？互斥锁和自旋锁是最底层的两种锁，其他的很多锁都是基于他们的实现。当线程A获取到锁后，线程B再去获取锁，有两种处理方式，第一种是线程B循环的去尝试... 并发访问共享资源，如果不加锁，可能会导致数据不一致问题，通常为了解决并发访问问题，我们都会在访问共享资源之前加锁，保证同一时刻只有一个线程访问。下面我们用问答的方式说明下各种并发锁的概念、优缺点及其应用场景。1、什么是互斥锁和自旋锁，各有什么优缺点？互斥锁和自旋锁是最底层的两种锁，其他的很多锁都是基于他们的实现。当线程A获取到锁后，线程B再去获取锁，有两种处理方式，第一种是线程B循环的去尝试...
- 伴随政企客户数字化转型进入深水区，数据激增带来更多的数据结构变化，增加了数据分析场景的复杂性，为政企数字化转型带来了更多的机遇和挑战，华为云FusionInsight MRS云原生数据湖为政企提供湖仓一体、云原生的数据湖解决方案，一个架构构建逻辑、实时、离线三种数据湖，支撑全量数据的离线分析、实时分析、数仓集市、交互查询、实时检索、多模分析、数据接入和治理等大数据应用场景，使政企高效用数、简化用数 伴随政企客户数字化转型进入深水区，数据激增带来更多的数据结构变化，增加了数据分析场景的复杂性，为政企数字化转型带来了更多的机遇和挑战，华为云FusionInsight MRS云原生数据湖为政企提供湖仓一体、云原生的数据湖解决方案，一个架构构建逻辑、实时、离线三种数据湖，支撑全量数据的离线分析、实时分析、数仓集市、交互查询、实时检索、多模分析、数据接入和治理等大数据应用场景，使政企高效用数、简化用数
- 前提条件：FusionInsight HD 集群安装完毕，集群状态健康已安装最新版本HetuEngine服务已在FusionInsight Hetu集群中创建“人机”用户Windows环境已安装SmartBI执行步骤： 步骤1：进入smartbi安装目录C:\Smartbi\Tomcat\bin\dynamicLibraryPath，新建驱动存放路径，例如MRS，并将hetu的JDBC驱动放... 前提条件：FusionInsight HD 集群安装完毕，集群状态健康已安装最新版本HetuEngine服务已在FusionInsight Hetu集群中创建“人机”用户Windows环境已安装SmartBI执行步骤： 步骤1：进入smartbi安装目录C:\Smartbi\Tomcat\bin\dynamicLibraryPath，新建驱动存放路径，例如MRS，并将hetu的JDBC驱动放...
- 在数据仓库的日常管理过程中，空间管理是一个必要的且重要的事情。从技术上讲，可以防止空间爆满导致集群不可用的情况发生；从业务发展角度讲，可以根据空间的使用趋势评估未来业务的发展趋势，评估什么时候扩容、扩多大等。本文介绍一种基于用户或租户的空间管理方式。 在数据仓库的日常管理过程中，空间管理是一个必要的且重要的事情。从技术上讲，可以防止空间爆满导致集群不可用的情况发生；从业务发展角度讲，可以根据空间的使用趋势评估未来业务的发展趋势，评估什么时候扩容、扩多大等。本文介绍一种基于用户或租户的空间管理方式。
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签