- 互联网浪潮下，新电商、游戏等企业迎来了新一轮市场竞争，许多电商企业每天都在思考该如何更好地利用手中的数据，为现有客户提供“更贴身”服务、洞察新业务、挖掘更多潜在消费者、拓展新市场。如何面对业务飞速增长的挑战一直专注于应用的电商企业，在面对如何构建数字化能力所需要的ICT基础设施和服务时，面临着选择：是该自己投入高研发成本呢？还是选择市场领先的产品呢？梦饷集团也曾面临这样的挑战，作为新电商基础... 互联网浪潮下，新电商、游戏等企业迎来了新一轮市场竞争，许多电商企业每天都在思考该如何更好地利用手中的数据，为现有客户提供“更贴身”服务、洞察新业务、挖掘更多潜在消费者、拓展新市场。如何面对业务飞速增长的挑战一直专注于应用的电商企业，在面对如何构建数字化能力所需要的ICT基础设施和服务时，面临着选择：是该自己投入高研发成本呢？还是选择市场领先的产品呢？梦饷集团也曾面临这样的挑战，作为新电商基础...
- 背景FusionInsight MRS集群默认安装Ranger服务并启用了Ranger鉴权模型，管理员可以通过组件权限插件对组件资源的访问设置细粒度的安全访问策略。目前安全模式集群中支持Ranger的组件包括：HDFS、Yarn、HBase、Hive、Spark2x、Kafka、Storm、Elasticsearch、HetuEngine。 使用场景MRS3.0.2以前的版本中只需要在Fu... 背景FusionInsight MRS集群默认安装Ranger服务并启用了Ranger鉴权模型，管理员可以通过组件权限插件对组件资源的访问设置细粒度的安全访问策略。目前安全模式集群中支持Ranger的组件包括：HDFS、Yarn、HBase、Hive、Spark2x、Kafka、Storm、Elasticsearch、HetuEngine。 使用场景MRS3.0.2以前的版本中只需要在Fu...
- 为了保护用户的数据安全，避免系统管理员拥有过度集中的权利带来高风险，DWS支持使用不同类型的用户分别控制不同权限的三权分立模式。开启此模式后将系统管理员的权限分立给安全管理员和审计管理员。 为了保护用户的数据安全，避免系统管理员拥有过度集中的权利带来高风险，DWS支持使用不同类型的用户分别控制不同权限的三权分立模式。开启此模式后将系统管理员的权限分立给安全管理员和审计管理员。
- 问题场景：某个需求里，需要使用calcite， 将优化后的calcite逻辑计划树转成sql语句。 static String toSql(RelNode root, DataSourceType dataSourceType) { SqlDialect dialect; // 根据对应数据库类型决定dialect dialect = dat... 问题场景：某个需求里，需要使用calcite， 将优化后的calcite逻辑计划树转成sql语句。 static String toSql(RelNode root, DataSourceType dataSourceType) { SqlDialect dialect; // 根据对应数据库类型决定dialect dialect = dat...
- 在DWS中，通过锁以及多版本并发控制可以保护数据的一致性等，例如A正在查询数据，B就无法对A访问的对象执行DDL。A正在更新某条记录，B就不能删除或更新这条记录；锁本身是数据库自动管理的，同时数据库还提供了LOCK语法，允许用户自己控制锁。 当然，如果应用业务的程序逻辑设计不合理，就可能导致严重的锁等待现象，或者死锁的产生。如果你发现SQL请求大多数时候处于等待... 在DWS中，通过锁以及多版本并发控制可以保护数据的一致性等，例如A正在查询数据，B就无法对A访问的对象执行DDL。A正在更新某条记录，B就不能删除或更新这条记录；锁本身是数据库自动管理的，同时数据库还提供了LOCK语法，允许用户自己控制锁。 当然，如果应用业务的程序逻辑设计不合理，就可能导致严重的锁等待现象，或者死锁的产生。如果你发现SQL请求大多数时候处于等待...
- 在kafka-0.8.2之后，producer不再区分同步(sync)和异步方式(async)，所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地，在ack=-1模式下需要等待所有的re... 在kafka-0.8.2之后，producer不再区分同步(sync)和异步方式(async)，所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地，在ack=-1模式下需要等待所有的re...
- 首先让我们先来总结一下用户修改块时，Oracle内部都发生了什么：1、如果块不在Buffer cache，将块读入Buffer cache2、先生成重做记录，并记入日志缓存，在用户提交时写到日志文件中3、在Buffer cache中修改块4、在Buffer cache中设置块的脏标志位，标志块变成脏块，同时在检查点队列末尾增加一个新节点，记录这个新脏块的信息，信息包括：脏块在Buffer c... 首先让我们先来总结一下用户修改块时，Oracle内部都发生了什么：1、如果块不在Buffer cache，将块读入Buffer cache2、先生成重做记录，并记入日志缓存，在用户提交时写到日志文件中3、在Buffer cache中修改块4、在Buffer cache中设置块的脏标志位，标志块变成脏块，同时在检查点队列末尾增加一个新节点，记录这个新脏块的信息，信息包括：脏块在Buffer c...
- 本文为现网变更支撑工作入门篇，通过本文熟悉DWS产品现网变更的主要工作，目的是可以快速上手支撑变更。 本文为现网变更支撑工作入门篇，通过本文熟悉DWS产品现网变更的主要工作，目的是可以快速上手支撑变更。
- 调度框架的目标是，根据用户注册的运维任务计划，在合适的时间调起相关任务，并自动感知用户业务负载，动态地调整运维任务并发，并对运维任务过程中产生的错误进行报警、跳过错误项等处理，减轻一线运维人员工作强度。 调度框架的目标是，根据用户注册的运维任务计划，在合适的时间调起相关任务，并自动感知用户业务负载，动态地调整运维任务并发，并对运维任务过程中产生的错误进行报警、跳过错误项等处理，减轻一线运维人员工作强度。
- 背景前面博客已经介绍了如何配置Hadoop和Hive运行环境。即本文开始前，本地已经顺利运行Hive，并可以提交hive on mr任务。在hive领域中，tez是其中一款比较常用的执行引擎。其支持DAG作业模式，可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。Hive也有一部分优化特性基于tez实现。本文介绍如何让hive能够启动执行tez任务。下面内容有一部分依赖WS... 背景前面博客已经介绍了如何配置Hadoop和Hive运行环境。即本文开始前，本地已经顺利运行Hive，并可以提交hive on mr任务。在hive领域中，tez是其中一款比较常用的执行引擎。其支持DAG作业模式，可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。Hive也有一部分优化特性基于tez实现。本文介绍如何让hive能够启动执行tez任务。下面内容有一部分依赖WS...
- 客户要求获取数据库表数据操纵的实时日志信息，包括对具体表的增删改操作，并且需要保留具体参数的值，我们通过参数log_statement的值调整系统日志记录内容，使系统日志中记录表数据操作信息，再将这客户所需部分信息提取出来另行保存。 客户要求获取数据库表数据操纵的实时日志信息，包括对具体表的增删改操作，并且需要保留具体参数的值，我们通过参数log_statement的值调整系统日志记录内容，使系统日志中记录表数据操作信息，再将这客户所需部分信息提取出来另行保存。
- GaussDB在大规模集群上运行的过程中，随着时间推移，部分节点可能会出现性能严重下降的情况。此时这些节点仍然能对外提供服务，但响应明显变慢，处理同样的请求所需时间较其他正常节点大很多，从而影响了整个集群的性能。这样的节点称为“亚健康节点”，或“慢节点”。 GaussDB在大规模集群上运行的过程中，随着时间推移，部分节点可能会出现性能严重下降的情况。此时这些节点仍然能对外提供服务，但响应明显变慢，处理同样的请求所需时间较其他正常节点大很多，从而影响了整个集群的性能。这样的节点称为“亚健康节点”，或“慢节点”。
- 问题现象：用户在创建、扩容、删除dws集群时，在事件管理的菜单目录上查询不到操作的事件记录排查思路：1.检查serviceCM =》consoleframework服务配置 =》silvan配置信息 =》region关联service 里面有没有配置当前局点的eventservice服务，并且检查lb地址以及端口是否为31417。consoleframework服务配置2.登录部署dws服务... 问题现象：用户在创建、扩容、删除dws集群时，在事件管理的菜单目录上查询不到操作的事件记录排查思路：1.检查serviceCM =》consoleframework服务配置 =》silvan配置信息 =》region关联service 里面有没有配置当前局点的eventservice服务，并且检查lb地址以及端口是否为31417。consoleframework服务配置2.登录部署dws服务...
- Sphinx自动生成Python文档sphinx是一种基于Python的文档工具，它可以令人轻松的撰写出清晰且优美的文档，由Georg Brandl在BSD许可证下开发。新版的Python3文档就是由sphinx生成的，其他诸如机器学习库scikit-learn、Jupyter Notebook也是基于sphinx生成的。 安装sphinx包pip install sphinx 尝试1）新... Sphinx自动生成Python文档sphinx是一种基于Python的文档工具，它可以令人轻松的撰写出清晰且优美的文档，由Georg Brandl在BSD许可证下开发。新版的Python3文档就是由sphinx生成的，其他诸如机器学习库scikit-learn、Jupyter Notebook也是基于sphinx生成的。 安装sphinx包pip install sphinx 尝试1）新...
- 万字长文总结特征工程干货 1. 简介（ Feature Engineering） 1.1问题定义“Feature engineering is the art part of data science” —Sergey YurgensonFeature engineering is the process of using domain knowledge to extract feat... 万字长文总结特征工程干货 1. 简介（ Feature Engineering） 1.1问题定义“Feature engineering is the art part of data science” —Sergey YurgensonFeature engineering is the process of using domain knowledge to extract feat...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签