- 用户的多场景融合分析的诉求不允许将集群进行拆分,不允许将数据分析业务割裂而导致业务模块之间失去关联,故华为开启了单集群2万节点规模探索。 用户的多场景融合分析的诉求不允许将集群进行拆分,不允许将数据分析业务割裂而导致业务模块之间失去关联,故华为开启了单集群2万节点规模探索。
- ZooKeeper是一个开放源码的分布式应用程序协调服务,目前广泛应用于互联网领域。zookeeper管理的是分布式系统里的服务器,协调分布式系统中的多个服务器,使得系统可以正常工作。 ZooKeeper是一个开放源码的分布式应用程序协调服务,目前广泛应用于互联网领域。zookeeper管理的是分布式系统里的服务器,协调分布式系统中的多个服务器,使得系统可以正常工作。
- 海量数据浪涌促成大数据集群不断升级扩容,为减少数据搬迁、避免跨集群用数,大集群出现是发展的必然。 海量数据浪涌促成大数据集群不断升级扩容,为减少数据搬迁、避免跨集群用数,大集群出现是发展的必然。
- Apache Flink是一个用于分布式流和批处理数据处理的开源平台。Flink的核心是流数据流引擎,为数据流上的分布式计算提供数据分发,通信和容错。Flink在流引擎之上构建批处理,覆盖本机迭代支持,托管内存和程序优化。 Apache Flink是一个用于分布式流和批处理数据处理的开源平台。Flink的核心是流数据流引擎,为数据流上的分布式计算提供数据分发,通信和容错。Flink在流引擎之上构建批处理,覆盖本机迭代支持,托管内存和程序优化。
- 近几年,人工智能越来越多的应用到人们的生活的各个领域,比如网购、金融、医疗、客服等等,其日渐成熟,离不开大数据的支撑。模型训练需要海量的数据参与,并且之后也需要使用得到的模型进行海量数据的分析与预测,以及模型的实时修正,这些都需要足够的计算资源支撑,云与AI的结合,为海量数据的机器学习提供了一个便利的平台,用户无需自己购买机器搭建计算平台,可以直接使用云上已有的大数据服务进行业务相关的实现。... 近几年,人工智能越来越多的应用到人们的生活的各个领域,比如网购、金融、医疗、客服等等,其日渐成熟,离不开大数据的支撑。模型训练需要海量的数据参与,并且之后也需要使用得到的模型进行海量数据的分析与预测,以及模型的实时修正,这些都需要足够的计算资源支撑,云与AI的结合,为海量数据的机器学习提供了一个便利的平台,用户无需自己购买机器搭建计算平台,可以直接使用云上已有的大数据服务进行业务相关的实现。...
- 配置好spark,启动spark-sql出现下面情况:把所有程序都关闭,重新启动,发现stan1,stan2的启动没提示报错,关闭却是没进程,经查看,原来是之前的关闭程序有50010,50020,50075,8485还被暂用导致。(在以前虚拟机采用的是最小linux系统安装,不会出现这种情况)。还有出现zkfc也没有进程。需要重新格式化namenode,并且先删除current。经过以上步骤... 配置好spark,启动spark-sql出现下面情况:把所有程序都关闭,重新启动,发现stan1,stan2的启动没提示报错,关闭却是没进程,经查看,原来是之前的关闭程序有50010,50020,50075,8485还被暂用导致。(在以前虚拟机采用的是最小linux系统安装,不会出现这种情况)。还有出现zkfc也没有进程。需要重新格式化namenode,并且先删除current。经过以上步骤...
- 8 月 28 日,DevRun 开发者沙龙·华为云 AI 烟台专场在烟台开发区业达智谷综合楼 5 楼举行。围绕人工智能技术,面向烟台人工智能类 ISV 企业及当地工业企业客户,华为云技术专家和生态合作伙伴通过介绍华为云 FusionPlant 平台、华为云 EI 服务、华为云 ModelArts 等平台和相关落地实践案例,实现对开发者的技术赋能与解决方案指导。 8 月 28 日,DevRun 开发者沙龙·华为云 AI 烟台专场在烟台开发区业达智谷综合楼 5 楼举行。围绕人工智能技术,面向烟台人工智能类 ISV 企业及当地工业企业客户,华为云技术专家和生态合作伙伴通过介绍华为云 FusionPlant 平台、华为云 EI 服务、华为云 ModelArts 等平台和相关落地实践案例,实现对开发者的技术赋能与解决方案指导。
- 基于FusionInsight平台开发搜车系统,用HBase存储历史海量日志,基于ES做查询 基于FusionInsight平台开发搜车系统,用HBase存储历史海量日志,基于ES做查询
- 如果想让网络环境整体迁移上云,有什么业务无感知的平滑迁移方法吗?听KYON讲述河钢上云的“平静”力量。 如果想让网络环境整体迁移上云,有什么业务无感知的平滑迁移方法吗?听KYON讲述河钢上云的“平静”力量。
- 烟囱式的数据平台建设导致“数据孤岛”,“一湖两平台”的金融数据湖让大数据发挥最大的业务价值。 烟囱式的数据平台建设导致“数据孤岛”,“一湖两平台”的金融数据湖让大数据发挥最大的业务价值。
- 刊华为云FusionInsight如何携手Kyligence推进保险业的数字化转型。 刊华为云FusionInsight如何携手Kyligence推进保险业的数字化转型。
- Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及 并行化计算的流数据处理引擎。它的大亮点是流处理,是业界顶级的开源流处理 引擎。 Flink适合的应用场景是低时延的数据处理(Data Processing)场景:高并发 pipeline处理数据,时延毫秒级,且兼具可靠性。 Flink技术栈如图1-14所示。图 1-14 Flink 技术栈Flink在当前版本中... Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及 并行化计算的流数据处理引擎。它的大亮点是流处理,是业界顶级的开源流处理 引擎。 Flink适合的应用场景是低时延的数据处理(Data Processing)场景:高并发 pipeline处理数据,时延毫秒级,且兼具可靠性。 Flink技术栈如图1-14所示。图 1-14 Flink 技术栈Flink在当前版本中...
- 福哥答案2020-08-24:[知乎答案](https://www.zhihu.com/question/417040766)1.小文件:小文件是指文件大小明显小于 HDFS 上块(block)大小(默认64MB,在Hadoop2.x中默认为128MB)的文件。2.小文件问题:HDFS的小文件问题:(1)HDFS 中任何一个文件,目录或者数据块在 NameNode 节点内存中均以一个对象形式... 福哥答案2020-08-24:[知乎答案](https://www.zhihu.com/question/417040766)1.小文件:小文件是指文件大小明显小于 HDFS 上块(block)大小(默认64MB,在Hadoop2.x中默认为128MB)的文件。2.小文件问题:HDFS的小文件问题:(1)HDFS 中任何一个文件,目录或者数据块在 NameNode 节点内存中均以一个对象形式...
- 在flink的世界里,时间和窗口是两个非常重要的性质,这二者是如何运转起来以及如何交互,本文将详细介绍这两个特性。基于时间本文会介绍接入时间、处理时间、事件时间、watermark等概念,基于窗口本文会介绍窗口类型、窗口分配器、窗口触发器、剔除器、迟到数据处理、窗口状态、窗口join、窗口整体执行流程等概念。 在flink的世界里,时间和窗口是两个非常重要的性质,这二者是如何运转起来以及如何交互,本文将详细介绍这两个特性。基于时间本文会介绍接入时间、处理时间、事件时间、watermark等概念,基于窗口本文会介绍窗口类型、窗口分配器、窗口触发器、剔除器、迟到数据处理、窗口状态、窗口join、窗口整体执行流程等概念。
- 没想到,我在中关村遇到了“扫地僧”…… 没想到,我在中关村遇到了“扫地僧”……
上滑加载中
推荐直播
-
华为云码道 × 仓颉编程:工程化AI编码探索2026/05/27 周三 19:00-21:00
刘俊杰-华为云仓颉语言专家/李炎-华为云码道技术专家/王智鹏-OpenCangjie开源社区发起人
本场直播围绕华为云仓颉语言与华为云码道的深度结合,展示华为云智能编程从零基础到高效落地的完整生态能力。以华为云码道为引擎,仓颉语言为载体,带给大家日常提效、趣味创新到极速量产的开发体验。
回顾中
热门标签