- 从Hadoop MR到Spark 从Hadoop MR到Spark
- Apache Spark™ is a fast and general engine for large-scale data processing. Apache Spark™ is a fast and general engine for large-scale data processing.
- Storm集群的架构图 Storm集群的架构图
- Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
- Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。马云在退休的时候说互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了hive框架，毕竟世界上会sql的人比会java的人多的多，hive可以说是学习hadoop相关技术的 Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。马云在退休的时候说互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了hive框架，毕竟世界上会sql的人比会java的人多的多，hive可以说是学习hadoop相关技术的
- 1 背景介绍华为云对象存储服务可以提供稳定、安全、高效、易用的云存储服务。当前，华为云OBS可以与Hadoop和Spark大数据生态进行对接，为用户提供计算存储分离的大数据解决方案。该方案具有高性能、低成本的优势，且无扩容问题，使用维护更加方便简洁。本操作指导书旨在帮助华为云用户在开源大数据平台Hadoop和Spark上快速对接OBSFileSystem组件，更好的使用华为云对象存... 1 背景介绍华为云对象存储服务可以提供稳定、安全、高效、易用的云存储服务。当前，华为云OBS可以与Hadoop和Spark大数据生态进行对接，为用户提供计算存储分离的大数据解决方案。该方案具有高性能、低成本的优势，且无扩容问题，使用维护更加方便简洁。本操作指导书旨在帮助华为云用户在开源大数据平台Hadoop和Spark上快速对接OBSFileSystem组件，更好的使用华为云对象存...
- 一．市场背景企业大量的数据在各种纸质文档中，如何保证海量数据的存储与协作共享，以及解决企业纸质文档数据集中管理及安全问题，必须彻底解决企业纸质文档数据的自动录入问题，形成数字电子化数据控制。云脉技术顺应大数据时代潮流，推出各种纸质文档OCR云识别云检索云管理服务、纸质文档管理系统，竭力提高各行业大数据录入和管理的效率！二．方案描述1、图像自动切边、倾斜校正、增强美化、压缩存储2、手机拍照或文... 一．市场背景企业大量的数据在各种纸质文档中，如何保证海量数据的存储与协作共享，以及解决企业纸质文档数据集中管理及安全问题，必须彻底解决企业纸质文档数据的自动录入问题，形成数字电子化数据控制。云脉技术顺应大数据时代潮流，推出各种纸质文档OCR云识别云检索云管理服务、纸质文档管理系统，竭力提高各行业大数据录入和管理的效率！二．方案描述1、图像自动切边、倾斜校正、增强美化、压缩存储2、手机拍照或文...
- 随着互联网的高速发展，传统工厂行业数字化转型已快速进行中，贵州鑫智联科技有限公司致力于传统工厂的数字化转型，帮助传统工厂快速形成产业流水线。贵州鑫智联科技有限公司于2016年在贵阳国家高新区注册成立，是一家专业从事工业大数据、智能制造的高新技术企业。公司具备软硬件自主研发能力，现主要软件产品：IDF（数字工厂）、MDC（车间数据融合与分析系统）、IETC（智慧工训）、ILAB（智慧实验... 随着互联网的高速发展，传统工厂行业数字化转型已快速进行中，贵州鑫智联科技有限公司致力于传统工厂的数字化转型，帮助传统工厂快速形成产业流水线。贵州鑫智联科技有限公司于2016年在贵阳国家高新区注册成立，是一家专业从事工业大数据、智能制造的高新技术企业。公司具备软硬件自主研发能力，现主要软件产品：IDF（数字工厂）、MDC（车间数据融合与分析系统）、IETC（智慧工训）、ILAB（智慧实验...
- 1、要学Java，java跨平台，并且很多大数据的框架都是java开发。2、hadoop 虽然现在好多都用spark，但了解 hadoop 有利于对其他的了解，并且现在也有很多是用的hadoop+spark3、Linux 这个就不用说了4、Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为M... 1、要学Java，java跨平台，并且很多大数据的框架都是java开发。2、hadoop 虽然现在好多都用spark，但了解 hadoop 有利于对其他的了解，并且现在也有很多是用的hadoop+spark3、Linux 这个就不用说了4、Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为M...
- 随着Face ID 的高调出道，人脸识别迎来了高光时刻。菜鸟驿站的刷脸取件，支付宝的刷脸支付、城市街头的无人超市......从小小的手机解锁应用技术，逐步蔓延到生活中各个角落，安防门禁也无法逃避。上个世纪90年代，IC卡投入门禁商用，2017年，人脸识别进入千家万户。刷卡式门禁作为曾今的门禁王者，已经默默陪伴我们走过几十年。随着复制技术的发展，刷卡门禁不得不面临复制技术带来的灾难，安全性大大... 随着Face ID 的高调出道，人脸识别迎来了高光时刻。菜鸟驿站的刷脸取件，支付宝的刷脸支付、城市街头的无人超市......从小小的手机解锁应用技术，逐步蔓延到生活中各个角落，安防门禁也无法逃避。上个世纪90年代，IC卡投入门禁商用，2017年，人脸识别进入千家万户。刷卡式门禁作为曾今的门禁王者，已经默默陪伴我们走过几十年。随着复制技术的发展，刷卡门禁不得不面临复制技术带来的灾难，安全性大大...
- 大数据时代已经来到了，我们生活中有很多的数据，工业生产也有很多的数据，我们的数据存储下来了吗？我们数据存储下来，我们服务器已经可以帮助我们记录工业级这方面的信息，但是我们如何应用呢？这就需要产品经理深入到业务中。举个例子，我的一个师兄毕业后去了一家电力企业，由于不是很爱说话就做自己的事情，没有意思，但是他对电力行业很感兴趣，于是他就做了一个业务深入了解，了解了电力行业运转的框图，分析图之后得... 大数据时代已经来到了，我们生活中有很多的数据，工业生产也有很多的数据，我们的数据存储下来了吗？我们数据存储下来，我们服务器已经可以帮助我们记录工业级这方面的信息，但是我们如何应用呢？这就需要产品经理深入到业务中。举个例子，我的一个师兄毕业后去了一家电力企业，由于不是很爱说话就做自己的事情，没有意思，但是他对电力行业很感兴趣，于是他就做了一个业务深入了解，了解了电力行业运转的框图，分析图之后得...
- 大数据这几年的势头没有像人工智能变得如此之火爆，原因在于大数据门槛较低，应用场景高度依赖业务场景，通用性较差，必须依赖于懂业务的人，失去业务大数据将变得沉积，如何改变这个现状能呢？需要我们的研发人员走不去，了解市场的变化，我们产品经理必须清楚市场动静。这句话说出来比较容易，但是做起来比较困难。原因在于技术人员沟通能力，沟通技巧，对事物责任感及当担能力，一句话：心里不够强大，不敢做... 大数据这几年的势头没有像人工智能变得如此之火爆，原因在于大数据门槛较低，应用场景高度依赖业务场景，通用性较差，必须依赖于懂业务的人，失去业务大数据将变得沉积，如何改变这个现状能呢？需要我们的研发人员走不去，了解市场的变化，我们产品经理必须清楚市场动静。这句话说出来比较容易，但是做起来比较困难。原因在于技术人员沟通能力，沟通技巧，对事物责任感及当担能力，一句话：心里不够强大，不敢做...
- DT时代—王海峰 1. 目前陕西融普通过AI平台为客户提供人脸识别和客户画像，需要有一套实时知感的“后端数据化系统”公司如何搭建智能化的平台，通过提高技术能力提升竞争力？答：后端平台采用华为云OBS构建存储空间、VPC虚拟专用网络、MLS学习数据规律构建预测模型分析方案、GES以关系为图结构数据进行查询分析服务、MRS提供企业级大数据集群服务、DIS数据接入服务提供高效采集... DT时代—王海峰 1. 目前陕西融普通过AI平台为客户提供人脸识别和客户画像，需要有一套实时知感的“后端数据化系统”公司如何搭建智能化的平台，通过提高技术能力提升竞争力？答：后端平台采用华为云OBS构建存储空间、VPC虚拟专用网络、MLS学习数据规律构建预测模型分析方案、GES以关系为图结构数据进行查询分析服务、MRS提供企业级大数据集群服务、DIS数据接入服务提供高效采集...
- 我们（丰田）真的不一样 上回说到丰田生产方式的由来，直到1989年，美国麻省理工学院研究小组参观了丰田的车间，了解到TPS是一种杜绝浪费的精干型生产系统，并命名为“精益生产方式”后才慢慢被全世界所熟知并推崇。笔者认为，那时候所提出的精益生产还只是车间层面的、管理层面的“节流”，而TPS不仅仅是一种生产方式，它更是过剩时代的经营思想和理念，它的诞生是偶然的也是必然的。 我们来看看，到底麻省... 我们（丰田）真的不一样 上回说到丰田生产方式的由来，直到1989年，美国麻省理工学院研究小组参观了丰田的车间，了解到TPS是一种杜绝浪费的精干型生产系统，并命名为“精益生产方式”后才慢慢被全世界所熟知并推崇。笔者认为，那时候所提出的精益生产还只是车间层面的、管理层面的“节流”，而TPS不仅仅是一种生产方式，它更是过剩时代的经营思想和理念，它的诞生是偶然的也是必然的。 我们来看看，到底麻省...
- 2005年（鸡年）岁末，一首MV音乐FLASH席卷网络，并以极快的速度攻占各娱乐网站排行榜榜首。其以幽默的歌词、搞笑的动画、天真无邪的童声让人不仅忍俊不禁，而又因其深刻的立意让人看过后感触良多，它就是当年的“贺岁大片”——《我不想说我是鸡》。大多数80后可能会对这首MV很熟悉，当然，也会对2005年席卷亚洲的禽流感有所耳闻，这首MV也正是因禽流感为主题所做，那年可谓是继SARS后，人们又一次... 2005年（鸡年）岁末，一首MV音乐FLASH席卷网络，并以极快的速度攻占各娱乐网站排行榜榜首。其以幽默的歌词、搞笑的动画、天真无邪的童声让人不仅忍俊不禁，而又因其深刻的立意让人看过后感触良多，它就是当年的“贺岁大片”——《我不想说我是鸡》。大多数80后可能会对这首MV很熟悉，当然，也会对2005年席卷亚洲的禽流感有所耳闻，这首MV也正是因禽流感为主题所做，那年可谓是继SARS后，人们又一次...
上滑加载中
推荐直播
-
AI编码实干派，“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国，深圳，2026年2月26日】，以“AI编码实干派，码力全开”为主题的华为云码道（CodeArts）代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布，为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw，在线养虾2026/03/11 周三 19:00-21:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中
热门标签