- 基于CarbonData的电信时空大数据探索-- 张军、龚云骏1 使用场景随着万物互联的时代到来,以及智慧终端普及,现实世界超过80%的数据与地理位置相关,比如日常使用的社交、支付、出行相关APP。作为IOT最底层的无线通信网络也会生成大量与位置相关的数据,用于无线通信网络规划和优化,帮助电信运营商建设更好体验的精品网络,构建万物互联的信息社会。为表征无线网络相关指标在地理空... 基于CarbonData的电信时空大数据探索-- 张军、龚云骏1 使用场景随着万物互联的时代到来,以及智慧终端普及,现实世界超过80%的数据与地理位置相关,比如日常使用的社交、支付、出行相关APP。作为IOT最底层的无线通信网络也会生成大量与位置相关的数据,用于无线通信网络规划和优化,帮助电信运营商建设更好体验的精品网络,构建万物互联的信息社会。为表征无线网络相关指标在地理空...
- ClickHouse对接Prometheus ClickHouse对接Prometheus
- 本文将围绕WITH,以及更高阶的WITH RECURSIVE表达式介绍其语法特征和具体使用规范,以及在GaussDB(DWS)中如何进行WITH表达式的调优。同时,对Oracle的CONNECT BY语法进行探讨,研究其使用WITH RECURSIVE进行迁移改写的方法。 本文将围绕WITH,以及更高阶的WITH RECURSIVE表达式介绍其语法特征和具体使用规范,以及在GaussDB(DWS)中如何进行WITH表达式的调优。同时,对Oracle的CONNECT BY语法进行探讨,研究其使用WITH RECURSIVE进行迁移改写的方法。
- 华为云FunsionInsight MRS已集成Apache Hudi 0.8版本,基于MRS-Hudi构建数据湖解决方案 华为云FunsionInsight MRS已集成Apache Hudi 0.8版本,基于MRS-Hudi构建数据湖解决方案
- 本文介绍什么是华为FusionInsight MRS实时数据湖解决方案,以及案例最佳实践。 本文介绍什么是华为FusionInsight MRS实时数据湖解决方案,以及案例最佳实践。
- 一、外部接口1.1 新增接口介绍stream线程池新增GUC参数max_stream_pool,用于控制线程池中最大可用线程的个数。默认值:65535(整数最大值)取值范围:-1~INT_MAX;-1表示不开启stream线程池max_stream_pool支持reload更新,更新规则:设置max_stream_pool小于当前可用线程个数,支持线程个数实时减少;当设置max_stream... 一、外部接口1.1 新增接口介绍stream线程池新增GUC参数max_stream_pool,用于控制线程池中最大可用线程的个数。默认值:65535(整数最大值)取值范围:-1~INT_MAX;-1表示不开启stream线程池max_stream_pool支持reload更新,更新规则:设置max_stream_pool小于当前可用线程个数,支持线程个数实时减少;当设置max_stream...
- 一、数据结构设计stream线程池采用无锁队列实现,其目的是为了高效管理线程的出/入池操作。定义结构体ThreadSlot保存线程池中每一个线程的信息,包含:线程状态、线程号、线程对应的database oid、线程执行所需的信息StreamProducer,StreamProducer是父线程向子线程传递的唯一结构、线程唤醒所需的锁和条件变量。如下所示:typedef struct{ ... 一、数据结构设计stream线程池采用无锁队列实现,其目的是为了高效管理线程的出/入池操作。定义结构体ThreadSlot保存线程池中每一个线程的信息,包含:线程状态、线程号、线程对应的database oid、线程执行所需的信息StreamProducer,StreamProducer是父线程向子线程传递的唯一结构、线程唤醒所需的锁和条件变量。如下所示:typedef struct{ ...
- GDS、COPY、\COPY 是GaussDB(DWS)提供的数据导入导出工具,应用于数据迁移、数据同步、数据备份/恢复等场景,在数仓日常维护中使用频率较高,难免遇到性能、功能问题,如果能监控到 GDS 在干什么、业务进度如何,必然能为排故提供有效参考,提高排查效率。本文从系统视图、应用日志两个方面介绍导入导出监控方法,配合实例进行说明,最后对PostgreSQL的监控方法进行说明,扩展视野。 GDS、COPY、\COPY 是GaussDB(DWS)提供的数据导入导出工具,应用于数据迁移、数据同步、数据备份/恢复等场景,在数仓日常维护中使用频率较高,难免遇到性能、功能问题,如果能监控到 GDS 在干什么、业务进度如何,必然能为排故提供有效参考,提高排查效率。本文从系统视图、应用日志两个方面介绍导入导出监控方法,配合实例进行说明,最后对PostgreSQL的监控方法进行说明,扩展视野。
- 本文介绍如何使用Hudi自带入湖工具DeltaStreamer进行数据的实时入湖。 本文介绍如何使用Hudi自带入湖工具DeltaStreamer进行数据的实时入湖。
- IoTDB时序数据库聚焦海量杂时序数据的处理,具有“专、快、稳、省、易”五大特点,解决通用数据库和列式数据库在超大规模复杂时序场景的功能短板和性能瓶颈,轻松应对海量负责时间序列数据的处理,并能实现一套引擎打通云边端的时序数据分析。MRS IoTDB是华为云FusionInsight MRS云原生数据湖中的时序数据库组件,近期将在FusionInsight8.1.0版本重磅推出高性能企业级时序数据库 IoTDB时序数据库聚焦海量杂时序数据的处理,具有“专、快、稳、省、易”五大特点,解决通用数据库和列式数据库在超大规模复杂时序场景的功能短板和性能瓶颈,轻松应对海量负责时间序列数据的处理,并能实现一套引擎打通云边端的时序数据分析。MRS IoTDB是华为云FusionInsight MRS云原生数据湖中的时序数据库组件,近期将在FusionInsight8.1.0版本重磅推出高性能企业级时序数据库
- 新时代在移动互联网、电商、IoT等场景会产生大量实时数据,以往的离线批量计算时效性较差,业务人员无法根据自己的即时性需要获取几分钟之前甚至实时数据,为了快速获取实时或者准实时数据,数据发生后尽快的达到用户的手中,释放实时或者准实时数据价值,实时数仓的系统性构建需求也应运而生,本文以MYSQL库为例实时同步GaussDB(DWS)场景,分享使用华为云模式下DRS(数据复制服务)构建快速数据接入方案。 新时代在移动互联网、电商、IoT等场景会产生大量实时数据,以往的离线批量计算时效性较差,业务人员无法根据自己的即时性需要获取几分钟之前甚至实时数据,为了快速获取实时或者准实时数据,数据发生后尽快的达到用户的手中,释放实时或者准实时数据价值,实时数仓的系统性构建需求也应运而生,本文以MYSQL库为例实时同步GaussDB(DWS)场景,分享使用华为云模式下DRS(数据复制服务)构建快速数据接入方案。
- MRS CDL是FusionInsight MRS推出的一种数据实时同步服务,旨在将传统OLTP数据库中的事件信息捕捉并实时推送到大数据产品中去,本文档会详细为大家介绍CDL的整体架构以及关键技术。 MRS CDL是FusionInsight MRS推出的一种数据实时同步服务,旨在将传统OLTP数据库中的事件信息捕捉并实时推送到大数据产品中去,本文档会详细为大家介绍CDL的整体架构以及关键技术。
- 【摘要】 GaussDB(DWS)支持的UPSERT功能,可以实时进行数据导入,在出现主键或者唯一索引冲突时执行更新或者忽略操作。对于实时数仓是一项非常重要的技术。 【摘要】 GaussDB(DWS)支持的UPSERT功能,可以实时进行数据导入,在出现主键或者唯一索引冲突时执行更新或者忽略操作。对于实时数仓是一项非常重要的技术。
- 连接类型介绍想要通过SQL完成各种复杂的查询,则多表之间的连接是必不可少的。连接分为:内连接和外连接两大类,每大类中还可进行细分。为了能更好的说明各种连接之间的区别,下面通过具体示例进行各连接的展示。首先做如下表创建和设置:CREATE TABLE student( id INTEGER, name varchar(50));CREATE TABLE math_score( id IN... 连接类型介绍想要通过SQL完成各种复杂的查询,则多表之间的连接是必不可少的。连接分为:内连接和外连接两大类,每大类中还可进行细分。为了能更好的说明各种连接之间的区别,下面通过具体示例进行各连接的展示。首先做如下表创建和设置:CREATE TABLE student( id INTEGER, name varchar(50));CREATE TABLE math_score( id IN...
- 1 统一密码校验问题1.1 udns用户密码校验失败通过DMK更改udns用户密码,oc上未同步该密码导致oc平台校验不通过,重置密码之后校验依然不通过;登陆fcd后台重新注册该用户信息,oc上修正密码后校验通过1.2 nginx用户遇到同样的问题1.3 OpenStack可登录性校验失败通过更改密码、同步密码解决2 MOAgent安装失败问... 1 统一密码校验问题1.1 udns用户密码校验失败通过DMK更改udns用户密码,oc上未同步该密码导致oc平台校验不通过,重置密码之后校验依然不通过;登陆fcd后台重新注册该用户信息,oc上修正密码后校验通过1.2 nginx用户遇到同样的问题1.3 OpenStack可登录性校验失败通过更改密码、同步密码解决2 MOAgent安装失败问...
上滑加载中
推荐直播
-
OpenHarmony应用开发之网络数据请求与数据解析
2025/01/16 周四 19:00-20:30
华为开发者布道师、南京师范大学泰州学院副教授,硕士研究生导师,开放原子教育银牌认证讲师
科技浪潮中,鸿蒙生态强势崛起,OpenHarmony开启智能终端无限可能。当下,其原生应用开发适配潜力巨大,终端设备已广泛融入生活各场景,从家居到办公、穿戴至车载。 现在,机会敲门!我们的直播聚焦OpenHarmony关键的网络数据请求与解析,抛开晦涩理论,用真实案例带你掌握数据访问接口,轻松应对复杂网络请求、精准解析Json与Xml数据。参与直播,为开发鸿蒙App夯实基础,抢占科技新高地,别错过!
回顾中 -
Ascend C高层API设计原理与实现系列
2025/01/17 周五 15:30-17:00
Ascend C 技术专家
以LayerNorm算子开发为例,讲解开箱即用的Ascend C高层API
回顾中
热门标签