- DWS数仓提供的业务非常广泛,不乏与中间件对接的业务场景,DWS提供了标准的JDBC接口,与主流的web中间件实现了简单易操作的对接。 DWS数仓提供的业务非常广泛,不乏与中间件对接的业务场景,DWS提供了标准的JDBC接口,与主流的web中间件实现了简单易操作的对接。
- FusionInsight Elasticsearch二次开发建议 FusionInsight Elasticsearch二次开发建议
- 场景图片的敏感文本擦除对用户的隐私保护有很大的作用。文字擦除方法中通常需要检测出文字笔画的像素位置,然后将这些像素替换成合理的背景元素。本次解读的文章提出了一种基于cGAN的场景文字擦除方法EnsNet。 场景图片的敏感文本擦除对用户的隐私保护有很大的作用。文字擦除方法中通常需要检测出文字笔画的像素位置,然后将这些像素替换成合理的背景元素。本次解读的文章提出了一种基于cGAN的场景文字擦除方法EnsNet。
- cuda10.0环境下安装pytorch_>=1.3和mmdetection V2.0 cuda10.0环境下安装pytorch_>=1.3和mmdetection V2.0
- 1 概述 DLI在服务本身维护一套完善的权限控制的同时,还支持通过统一身份认证服务细粒度鉴权,通过创建策略来管理DLI的权限,并且随着不断完善,细粒度鉴权会逐渐和DLI服务本身的权限管控同步。2 权限分类 目前DLI有权限控制的资源如下,详细信息可以参考DLI用户指南权限管理https://support.huaweicloud.com/usermanual-... 1 概述 DLI在服务本身维护一套完善的权限控制的同时,还支持通过统一身份认证服务细粒度鉴权,通过创建策略来管理DLI的权限,并且随着不断完善,细粒度鉴权会逐渐和DLI服务本身的权限管控同步。2 权限分类 目前DLI有权限控制的资源如下,详细信息可以参考DLI用户指南权限管理https://support.huaweicloud.com/usermanual-...
- 当我们提交Spark作业的时候,Spark作业会启动Driver进程去运行Application的main()函数,并且创建SparkContext,然后通过SparkContext与集群管理器申请Spark作业所需的资源,即Spark作业所需要的Executor进程。集群管理器会根据提交作业的资源参数设置,为各个工作节点分配相应数量的Executor,以及每个Executor... 当我们提交Spark作业的时候,Spark作业会启动Driver进程去运行Application的main()函数,并且创建SparkContext,然后通过SparkContext与集群管理器申请Spark作业所需的资源,即Spark作业所需要的Executor进程。集群管理器会根据提交作业的资源参数设置,为各个工作节点分配相应数量的Executor,以及每个Executor...
- 因presto只能在linux下进行编译,后续为了开发方便,可以尝试在linux下安装Intellij Idea来进行开发。Suse Linux版本:#cat /etc/os-releaseNAME="SLES"VERSION="11.4"VERSION_ID="11.4"PRETTY_NAME="SUSE Linux Enterprise Server 11 SP4"ID="sles"AN... 因presto只能在linux下进行编译,后续为了开发方便,可以尝试在linux下安装Intellij Idea来进行开发。Suse Linux版本:#cat /etc/os-releaseNAME="SLES"VERSION="11.4"VERSION_ID="11.4"PRETTY_NAME="SUSE Linux Enterprise Server 11 SP4"ID="sles"AN...
- 1、要先编译构建: 参考:https://bbs.huaweicloud.com/blogs/1821112、修改presto-main: 修改Presto plugin的路径:presto-main\etc\config.properties:# 注释掉原来的plugin.bundles#plugin.bundles=\# ../presto-resource-group-manager... 1、要先编译构建: 参考:https://bbs.huaweicloud.com/blogs/1821112、修改presto-main: 修改Presto plugin的路径:presto-main\etc\config.properties:# 注释掉原来的plugin.bundles#plugin.bundles=\# ../presto-resource-group-manager...
- Presto编译:Presto版本:presto-316源码下载地址:https://github.com/prestosql/presto如果是直接从github上下载的源码压缩包,则需要做如下配置:1. 进入源码根目录 2. 修改pom.xml 在<build>的<pluginManagement>元素中,添加如下配置: <plugin> <groupI... Presto编译:Presto版本:presto-316源码下载地址:https://github.com/prestosql/presto如果是直接从github上下载的源码压缩包,则需要做如下配置:1. 进入源码根目录 2. 修改pom.xml 在<build>的<pluginManagement>元素中,添加如下配置: <plugin> <groupI...
- 所谓CDC,即Change Data Capture,变化数据的摄取,本质是根据数据变化对原始表做数据更新/插入/删除。Apache CarbonData是一种通过索引对大数据快速分析的列式数据格式,由华为开源贡献给Apache社区,并且在华为云的MRS等服务上集成,可以通过MRS服务使用Carbondata或者使用开源版本的Carbondata。本文旨在叙述Carbon CDC使用和原理。 所谓CDC,即Change Data Capture,变化数据的摄取,本质是根据数据变化对原始表做数据更新/插入/删除。Apache CarbonData是一种通过索引对大数据快速分析的列式数据格式,由华为开源贡献给Apache社区,并且在华为云的MRS等服务上集成,可以通过MRS服务使用Carbondata或者使用开源版本的Carbondata。本文旨在叙述Carbon CDC使用和原理。
- 基于docker可方便部署presto环境,本例中部署presto后配置连接mysql的connector,并通过tpcds的connector实现在mysql中创建schema和表信息 基于docker可方便部署presto环境,本例中部署presto后配置连接mysql的connector,并通过tpcds的connector实现在mysql中创建schema和表信息
- 华为云很多大数据服务都涉及在线SQL编辑场景,比如数据湖探索 服务,简称DLI。DLI支持标准SQL/Spark SQL/Flink SQL,仅需使用SQL就可以完成大数据处理工作,那么如何快速的搭建SQL在线编辑器呢?本文将使用CodeMirror搭建Spark SQL在线编辑器,CodeMirror是一款在线的开源的编辑器,覆盖各种语法,官网demo齐全,简单灵活易上手。 华为云很多大数据服务都涉及在线SQL编辑场景,比如数据湖探索 服务,简称DLI。DLI支持标准SQL/Spark SQL/Flink SQL,仅需使用SQL就可以完成大数据处理工作,那么如何快速的搭建SQL在线编辑器呢?本文将使用CodeMirror搭建Spark SQL在线编辑器,CodeMirror是一款在线的开源的编辑器,覆盖各种语法,官网demo齐全,简单灵活易上手。
- DLI是支持多模引擎的Serverless大数据计算服务,免运维也是其作为Serverless云服务面向客户时的一个重要的特性。那么对于服务本身我们是如何实现整个服务的运维呢?今天我们来说说DLI是如何实现监控告警来提升整体运维能力,从而为客户更好的提供Serverless的DLI。上图是DLI服务的整体部署架构,作为Serverless服务其全面拥抱云原生技术,无论是对外提供任务管理的微服... DLI是支持多模引擎的Serverless大数据计算服务,免运维也是其作为Serverless云服务面向客户时的一个重要的特性。那么对于服务本身我们是如何实现整个服务的运维呢?今天我们来说说DLI是如何实现监控告警来提升整体运维能力,从而为客户更好的提供Serverless的DLI。上图是DLI服务的整体部署架构,作为Serverless服务其全面拥抱云原生技术,无论是对外提供任务管理的微服...
- 为了保护集群数据的安全,GaussDB(DWS)支持对集群设置三权分立(系统管理员、安全管理员、审计管理员),使用不同类型的用户分别控制不同权限的模式。 为了保护集群数据的安全,GaussDB(DWS)支持对集群设置三权分立(系统管理员、安全管理员、审计管理员),使用不同类型的用户分别控制不同权限的模式。
- 工作负载管理测试分析比对 工作负载管理测试分析比对
上滑加载中