- 用户使用datesource语法创建了OBS表，然后通过CDM或者其他手段向对应OBS路径下导入数据后，执行查询操作查不到数据，如何定位？ 用户使用datesource语法创建了OBS表，然后通过CDM或者其他手段向对应OBS路径下导入数据后，执行查询操作查不到数据，如何定位？
- \u0000导致DLI写数据到DWS时报错Zero bytes may not occur in string parameters，用regexp_replace函数替换 \u0000导致DLI写数据到DWS时报错Zero bytes may not occur in string parameters，用regexp_replace函数替换
- 在IDC2020大数据报告中，有云服务厂商、传统ICT 厂商，以及大数据时代的创企等三类“玩家”，为何华为云能够脱颖而出？ 在IDC2020大数据报告中，有云服务厂商、传统ICT 厂商，以及大数据时代的创企等三类“玩家”，为何华为云能够脱颖而出？
- 大数据时代的Serverless工作负载预测真实场景海量数据，华为云邀你一起打造极致弹性服务华为云携手CCF打造Serverless大数据服务算法赛题，共同向全世界大数据人才发出参赛邀请！云计算时代，Serverless软件架构可根据业务工作负载进行弹性资源调整，这种方式可以有效减少资源在空闲期的浪费以及在繁忙期的业务过载，同时给用户带来极致的性价比服务。在弹性资源调度的背后，对工作负载的预... 大数据时代的Serverless工作负载预测真实场景海量数据，华为云邀你一起打造极致弹性服务华为云携手CCF打造Serverless大数据服务算法赛题，共同向全世界大数据人才发出参赛邀请！云计算时代，Serverless软件架构可根据业务工作负载进行弹性资源调整，这种方式可以有效减少资源在空闲期的浪费以及在繁忙期的业务过载，同时给用户带来极致的性价比服务。在弹性资源调度的背后，对工作负载的预...
- 数据湖探索全局变量一指通 数据湖探索全局变量一指通
- 在这个“信息爆炸”的时代，大数据已经成为这个时代的关键词之一！随着云计算、物联网、移动计算、智慧城市、人工智能等领域日新月异的发展，人类社会已经步入了“信息高速路”的行驶轨道，数据量增长迅速，各类应用对大数据处理的需求也发生着变化。与此同时，“久经沙场”的数据仓库不再一统江湖，而以实时分析、离线分析、交互式分析等为代表的计算引擎势头迅猛。华为云3年前发布的Serverless大数据分析服务 ... 在这个“信息爆炸”的时代，大数据已经成为这个时代的关键词之一！随着云计算、物联网、移动计算、智慧城市、人工智能等领域日新月异的发展，人类社会已经步入了“信息高速路”的行驶轨道，数据量增长迅速，各类应用对大数据处理的需求也发生着变化。与此同时，“久经沙场”的数据仓库不再一统江湖，而以实时分析、离线分析、交互式分析等为代表的计算引擎势头迅猛。华为云3年前发布的Serverless大数据分析服务 ...
- 在FLink SQL中一般是以create Table和connector结合的形式读取外部数据，从而创建table，如下是以JDBC作为connector的创建格式：CREATE TABLE MyUserTable ( ...) WITH ( 'connector.type' = 'jdbc', 'connector.url' = 'jdbc:mysql://localhost:33... 在FLink SQL中一般是以create Table和connector结合的形式读取外部数据，从而创建table，如下是以JDBC作为connector的创建格式：CREATE TABLE MyUserTable ( ...) WITH ( 'connector.type' = 'jdbc', 'connector.url' = 'jdbc:mysql://localhost:33...
- Spark 是专为大规模数据处理而设计的快速通用的计算引擎，起源于UC Berkeley AMP lab的一个研究项目。相比传统的Hadoop(MapReduce) ，Spark的性能快了将近100x倍。Spark在计算中用到的数据可能会存在DWS、HBase或者HDFS上，其读写速度都和Spark计算的速度相差甚远。而Redis基于内存的读写可以成功解决这个问题，于是诞生了Spark-Redis Spark 是专为大规模数据处理而设计的快速通用的计算引擎，起源于UC Berkeley AMP lab的一个研究项目。相比传统的Hadoop(MapReduce) ，Spark的性能快了将近100x倍。Spark在计算中用到的数据可能会存在DWS、HBase或者HDFS上，其读写速度都和Spark计算的速度相差甚远。而Redis基于内存的读写可以成功解决这个问题，于是诞生了Spark-Redis
- Spark作为优秀的大数据处理的处理框架，需要通过集群机器的协作来高效的处理数据，为了实现集群的功能，机器之间稳定及高性能的通信就成为了必要条件.为此，spark在2.x的版本就使用netty彻底替换掉了akka，作为spark的通信框架，并设计了如下通讯架构: 1.RpcEndpoint：RPC端点，Spark针对每个节点（Client/Master/Worker）都... Spark作为优秀的大数据处理的处理框架，需要通过集群机器的协作来高效的处理数据，为了实现集群的功能，机器之间稳定及高性能的通信就成为了必要条件.为此，spark在2.x的版本就使用netty彻底替换掉了akka，作为spark的通信框架，并设计了如下通讯架构: 1.RpcEndpoint：RPC端点，Spark针对每个节点（Client/Master/Worker）都...
- 服务公告DLI SDK 1.2.7版本升级公告服务功能更新1.【新功能】集群支持定时扩缩容用户可根据业务繁忙周期设置队列的定时扩缩容计划，满足客户不同时间段需要不同大小计算资源的需求，帮助用户节省计算成本。2．【新特性】DLI内部存储支持套餐包新上多规格存储套餐包，从1T到1PB，可根据业务需要灵活选购，降低DLI内表存储费用。3.【新功能】Flink流应用支持通过IEF边缘部署DLI提供的... 服务公告DLI SDK 1.2.7版本升级公告服务功能更新1.【新功能】集群支持定时扩缩容用户可根据业务繁忙周期设置队列的定时扩缩容计划，满足客户不同时间段需要不同大小计算资源的需求，帮助用户节省计算成本。2．【新特性】DLI内部存储支持套餐包新上多规格存储套餐包，从1T到1PB，可根据业务需要灵活选购，降低DLI内表存储费用。3.【新功能】Flink流应用支持通过IEF边缘部署DLI提供的...
- 云原生数据湖探索DLI助力企业数据驱动决策1. 趋势和挑战1.1. 趋势随着云化技术越来越成熟，企业开始逐步上云，其中辅助决策的数据分析业务也发生了如下几个方面的变化： l 从结构化向多元化转变：随着数据采集技术的提高和存储设备的降价，半结构化、非结构化数据被越来越多的采集和存储，很多关键信息，如身份证（图片）中的个人信息，也需要被参与到日常的数据分析中l 从单数据源向多... 云原生数据湖探索DLI助力企业数据驱动决策1. 趋势和挑战1.1. 趋势随着云化技术越来越成熟，企业开始逐步上云，其中辅助决策的数据分析业务也发生了如下几个方面的变化： l 从结构化向多元化转变：随着数据采集技术的提高和存储设备的降价，半结构化、非结构化数据被越来越多的采集和存储，很多关键信息，如身份证（图片）中的个人信息，也需要被参与到日常的数据分析中l 从单数据源向多...
- 1 概述DLI服务有一套服务内部维护的权限系统。在使用DLI时，可以发现这里的权限基本可以满足大部分场景需要，并且权限还在不断细化，覆盖更多的资源以及场景。2 权限分类目前DLI有权限控制的资源如下，详细信息可以参考DLI用户指南权限管理https://support.huaweicloud.com/usermanual-dli/dli_01_0440.html：资源名称... 1 概述DLI服务有一套服务内部维护的权限系统。在使用DLI时，可以发现这里的权限基本可以满足大部分场景需要，并且权限还在不断细化，覆盖更多的资源以及场景。2 权限分类目前DLI有权限控制的资源如下，详细信息可以参考DLI用户指南权限管理https://support.huaweicloud.com/usermanual-dli/dli_01_0440.html：资源名称...
- Flink目前支持3种Statebackend：Memory，Filesystem，Rocksdb。其中，最适合生产环境使用的，就是Rocksdb。因此，RocksdbStatebackend性能调优也是Flink流作业在生产中进行调优的关键环节。 Flink目前支持3种Statebackend：Memory，Filesystem，Rocksdb。其中，最适合生产环境使用的，就是Rocksdb。因此，RocksdbStatebackend性能调优也是Flink流作业在生产中进行调优的关键环节。
- 海量数据浪涌促成大数据集群不断升级扩容，为减少数据搬迁、避免跨集群用数，大集群出现是发展的必然。 海量数据浪涌促成大数据集群不断升级扩容，为减少数据搬迁、避免跨集群用数，大集群出现是发展的必然。
- 1. 动态资源分配Spark的动态资源分配就是executor数据量的动态增减，具体的增加和删除数量根据业务的实际需要动态的调整。具体表现为：如果executor数据量不够，则增加数量，如果executor在一段时间内空闲，则移除这个executor。动态增加executor配置项：spark.dynamicAllocation.schedulerBacklogTimeout说明... 1. 动态资源分配Spark的动态资源分配就是executor数据量的动态增减，具体的增加和删除数量根据业务的实际需要动态的调整。具体表现为：如果executor数据量不够，则增加数量，如果executor在一段时间内空闲，则移除这个executor。动态增加executor配置项：spark.dynamicAllocation.schedulerBacklogTimeout说明...
上滑加载中
推荐直播
-
华为云入门必修课：技术精髓知识点精讲2024/11/07 周四 17:40-19:40
Jackie 华为云资深布道师
本期直播旨在帮开发者了解云的基本概念、云的优势、常见存储服务的原理及使用，掌握ECS的概念、功能、场景和使用等，为你的开发之路奠定坚实理论根基，帮助开发者在云计算领域提升技能，增强职业竞争力。
去报名
热门标签