- 互联网浪潮下,新电商、游戏等企业迎来了新一轮市场竞争,许多电商企业每天都在思考该如何更好地利用手中的数据,为现有客户提供“更贴身”服务、洞察新业务、挖掘更多潜在消费者、拓展新市场。 如何面对业务飞速增长的挑战一直专注于应用的电商企业,在面对如何构建数字化能力所需要的ICT基础设施和服务时,面临着选择:是该自己投入高研发成本呢?还是选择市场领先的产品呢?梦饷集团也曾面临这样的挑战,作为新电商基... 互联网浪潮下,新电商、游戏等企业迎来了新一轮市场竞争,许多电商企业每天都在思考该如何更好地利用手中的数据,为现有客户提供“更贴身”服务、洞察新业务、挖掘更多潜在消费者、拓展新市场。 如何面对业务飞速增长的挑战一直专注于应用的电商企业,在面对如何构建数字化能力所需要的ICT基础设施和服务时,面临着选择:是该自己投入高研发成本呢?还是选择市场领先的产品呢?梦饷集团也曾面临这样的挑战,作为新电商基...
- 近年来,各政务系统为贯彻落实国家大数据战略,推进数据资源开放共享,助力城市经济从高速增长转向高质量发展,建设市级政务大数据平台,整合城市全时空、全方位、全要素的数据资源,打通数据壁垒、促进数据流通、加快数据开放、创新数据应用、提升数据价值,开始与各各数据服务平台合力搭建政务大数据平台,全面推动智慧城市发展“大数据统筹、大平台联动、大业务服务”。 近年来,各政务系统为贯彻落实国家大数据战略,推进数据资源开放共享,助力城市经济从高速增长转向高质量发展,建设市级政务大数据平台,整合城市全时空、全方位、全要素的数据资源,打通数据壁垒、促进数据流通、加快数据开放、创新数据应用、提升数据价值,开始与各各数据服务平台合力搭建政务大数据平台,全面推动智慧城市发展“大数据统筹、大平台联动、大业务服务”。
- 由于第二阶段的松懈,对于Hadoop的知识掌握的不是很好,所以在第三阶段一边学习Spark一边学习Hadoop,但是效果不是很好。Spark重要的内置模块:Spark Core:包括了内存计算、任务调度、部署模式、故障恢复、存储管理等;Spark SQL:统一处理关系和RDD,使用SQL命令进行数据分析;Spark Streaming:将流式计算分解为一系列的短小的批处理作业,支持多种数据源... 由于第二阶段的松懈,对于Hadoop的知识掌握的不是很好,所以在第三阶段一边学习Spark一边学习Hadoop,但是效果不是很好。Spark重要的内置模块:Spark Core:包括了内存计算、任务调度、部署模式、故障恢复、存储管理等;Spark SQL:统一处理关系和RDD,使用SQL命令进行数据分析;Spark Streaming:将流式计算分解为一系列的短小的批处理作业,支持多种数据源...
- 经历了三个阶段大概三个月的学习,大数据全栈课程迎来了尾声,今天是大数据三阶段的最后一天,也是整个大数据课程的最后一天。这三个月的学习过程,并不是一帆风顺,而且一路荆棘。第一阶段:大数据入门篇 第一阶段的课程主要是大数据的入门知识,包括MySQL基本知识、各种概念和常用语句、JDBC的使用还有数据库事务等等,虽然是基础知识,但是非常实用,在开发中会经常用到,基本上就是对数据库的各... 经历了三个阶段大概三个月的学习,大数据全栈课程迎来了尾声,今天是大数据三阶段的最后一天,也是整个大数据课程的最后一天。这三个月的学习过程,并不是一帆风顺,而且一路荆棘。第一阶段:大数据入门篇 第一阶段的课程主要是大数据的入门知识,包括MySQL基本知识、各种概念和常用语句、JDBC的使用还有数据库事务等等,虽然是基础知识,但是非常实用,在开发中会经常用到,基本上就是对数据库的各...
- “动态增量”是“增量导入数据”在9.1版本中新增的入集市的方式。随着数据量的增大,咱们入集市的方式渐渐的从“同步数据”变成“增量导入数据”,“增量导入数据”的优点大致有两点:1. 入集市的时候可以打上meta,查询的时候按照meta进行查询,加快查询速度;2. 采取每次追加部分数据的方式,跟“同步数据”每次全量数据入集市的方式相比,每天入集市任务的时间更短;数据库处理的数据量更小,减少数据库... “动态增量”是“增量导入数据”在9.1版本中新增的入集市的方式。随着数据量的增大,咱们入集市的方式渐渐的从“同步数据”变成“增量导入数据”,“增量导入数据”的优点大致有两点:1. 入集市的时候可以打上meta,查询的时候按照meta进行查询,加快查询速度;2. 采取每次追加部分数据的方式,跟“同步数据”每次全量数据入集市的方式相比,每天入集市任务的时间更短;数据库处理的数据量更小,减少数据库...
- 第二节:Hadoop优势Hadoop的优势(4高)1)高可靠性:Hadoop底层维护多个数据副本,所以即时Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失2)高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点3)高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度4)高容错性:能够自动将失败任务重新分配Hadoop1.x和2.x的区别Had... 第二节:Hadoop优势Hadoop的优势(4高)1)高可靠性:Hadoop底层维护多个数据副本,所以即时Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失2)高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点3)高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度4)高容错性:能够自动将失败任务重新分配Hadoop1.x和2.x的区别Had...
- 第一节:什么是Hadoop1)Hadoop是一个有Apache基金会所开发的分布式系统基础架构2)主要解决:海量数据的存储和海量数据的分析计算问题3)广义上来说,Hadoop通常是指一个更广泛的概念--Hadoop生态圈Hadoop发展史:1)Lucene框架是Doug Cutting开创的开源软件,用Java书写代码,实现与Google类似的全文搜索功能,它提供了全文检索引擎的架构,包括... 第一节:什么是Hadoop1)Hadoop是一个有Apache基金会所开发的分布式系统基础架构2)主要解决:海量数据的存储和海量数据的分析计算问题3)广义上来说,Hadoop通常是指一个更广泛的概念--Hadoop生态圈Hadoop发展史:1)Lucene框架是Doug Cutting开创的开源软件,用Java书写代码,实现与Google类似的全文搜索功能,它提供了全文检索引擎的架构,包括...
- 云驻计划是面向华为云社区注册用户,给予全体开发者在内容创作上的激励计划。个人用户和企业账号,入驻华为云社区,可享受丰厚的奖品、各项荣誉及权益,更有百万流量扶持。下面小编给大家公示2021年1月的激励情况。 云驻计划是面向华为云社区注册用户,给予全体开发者在内容创作上的激励计划。个人用户和企业账号,入驻华为云社区,可享受丰厚的奖品、各项荣誉及权益,更有百万流量扶持。下面小编给大家公示2021年1月的激励情况。
- 诚邀广大开发者、技术媒体号入驻华为云社区,分享优质技术内容。可享受丰厚的奖品、各项荣誉及权益,更有百万流量扶持。以下是云驻计划2021年1月份激励情况。 诚邀广大开发者、技术媒体号入驻华为云社区,分享优质技术内容。可享受丰厚的奖品、各项荣誉及权益,更有百万流量扶持。以下是云驻计划2021年1月份激励情况。
- 基于5G改变电力行业的能力,各方针对5G网络承载电力应用开展了深入探索。目前已证明5G网络能够很好地承载电力业务,进一步的融合应用探索正在逐步展开。疫情“通行令”:通信大数据行程卡“通信大数据行程卡”是由中国信通院联合中国电信、中国移动、中国联通三家基础电信企业手机“信令数据”,通过用户手机所处的基站位置获取为全国16亿户手机用户免费提供的查询服务,是对此前通过短信查询行程的服务升级。“通信... 基于5G改变电力行业的能力,各方针对5G网络承载电力应用开展了深入探索。目前已证明5G网络能够很好地承载电力业务,进一步的融合应用探索正在逐步展开。疫情“通行令”:通信大数据行程卡“通信大数据行程卡”是由中国信通院联合中国电信、中国移动、中国联通三家基础电信企业手机“信令数据”,通过用户手机所处的基站位置获取为全国16亿户手机用户免费提供的查询服务,是对此前通过短信查询行程的服务升级。“通信...
- 2020年8月27日,中国工商银行联合华为完成了金融行业首家规模超千台的Hadoop集群大版本滚动升级,为期两周的升级过程突破了传统的离线升级模式,真正实现了业务无感的平滑滚动升级。全程集群作业无中断、性能无影响,为全行上百个应用、上千个场景、上万个作业保障了7*24小时不间断的数据服务。本次滚动升级对金融科技领域意义重大,中国工商银行为金融同业树立了大数据服务连续性上的建设标杆。 2020年8月27日,中国工商银行联合华为完成了金融行业首家规模超千台的Hadoop集群大版本滚动升级,为期两周的升级过程突破了传统的离线升级模式,真正实现了业务无感的平滑滚动升级。全程集群作业无中断、性能无影响,为全行上百个应用、上千个场景、上万个作业保障了7*24小时不间断的数据服务。本次滚动升级对金融科技领域意义重大,中国工商银行为金融同业树立了大数据服务连续性上的建设标杆。
- 大数据全栈成长计划 大数据入门篇最终考核成绩公布! 大数据全栈成长计划 大数据入门篇最终考核成绩公布!
- 华为云FusionInsight MRS云原生数据湖全面升级,直接传统大数据三大痛点,助力政企释放海量数据价值,实现一企一湖、一城一湖,业务洞见更准,价值兑现更快! 华为云FusionInsight MRS云原生数据湖全面升级,直接传统大数据三大痛点,助力政企释放海量数据价值,实现一企一湖、一城一湖,业务洞见更准,价值兑现更快!
- 11月26-27日,“2020华为数智金融论坛”在东莞松山湖溪村成功举办。此次论坛以“数智金融•使能创新”为主题,汇聚了来自全国金融界精英,共同探讨如何打造面向未来的数据智能平台,共话金融行业未来发展。 11月26-27日,“2020华为数智金融论坛”在东莞松山湖溪村成功举办。此次论坛以“数智金融•使能创新”为主题,汇聚了来自全国金融界精英,共同探讨如何打造面向未来的数据智能平台,共话金融行业未来发展。
- 云驻计划是面向华为云社区注册用户,给予全体开发者在内容创作上的激励计划。个人用户和企业账号,入驻华为云社区,可享受丰厚的奖品、各项荣誉及权益,更有百万流量扶持。 云驻计划是面向华为云社区注册用户,给予全体开发者在内容创作上的激励计划。个人用户和企业账号,入驻华为云社区,可享受丰厚的奖品、各项荣誉及权益,更有百万流量扶持。
上滑加载中
推荐直播
-
华为云码道-玩转OpenClaw,在线养虾2026/03/11 周三 19:00-21:00
刘昱,华为云高级工程师/谈心,华为云技术专家/李海仑,上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈,华为云码道最新推出 Skill ——开发者只需输入一句口令,即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道,玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力,华为云开发者生态运营总监/姚圣伟,华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发,看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw,让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作:基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟,华为云软件研发工程师/万邵业(万少),华为云HCDE开发者专家
本次直播带来两大实战:华为云码道 Skill-Creator 手把手搭建专属知识库 Skill;如何用码道提效 OpenClaw 小说文本,打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路,一次讲透!
回顾中
热门标签