- SparkStreaming性能调优 SparkStreaming性能调优
- 从Hadoop MR到Spark 从Hadoop MR到Spark
- Apache Spark™ is a fast and general engine for large-scale data processing. Apache Spark™ is a fast and general engine for large-scale data processing.
- Storm集群的架构图 Storm集群的架构图
- Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
- Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。马云在退休的时候说互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了hive框架，毕竟世界上会sql的人比会java的人多的多，hive可以说是学习hadoop相关技术的 Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。马云在退休的时候说互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了hive框架，毕竟世界上会sql的人比会java的人多的多，hive可以说是学习hadoop相关技术的
- 1 背景介绍华为云对象存储服务可以提供稳定、安全、高效、易用的云存储服务。当前，华为云OBS可以与Hadoop和Spark大数据生态进行对接，为用户提供计算存储分离的大数据解决方案。该方案具有高性能、低成本的优势，且无扩容问题，使用维护更加方便简洁。本操作指导书旨在帮助华为云用户在开源大数据平台Hadoop和Spark上快速对接OBSFileSystem组件，更好的使用华为云对象存... 1 背景介绍华为云对象存储服务可以提供稳定、安全、高效、易用的云存储服务。当前，华为云OBS可以与Hadoop和Spark大数据生态进行对接，为用户提供计算存储分离的大数据解决方案。该方案具有高性能、低成本的优势，且无扩容问题，使用维护更加方便简洁。本操作指导书旨在帮助华为云用户在开源大数据平台Hadoop和Spark上快速对接OBSFileSystem组件，更好的使用华为云对象存...
- 一．市场背景企业大量的数据在各种纸质文档中，如何保证海量数据的存储与协作共享，以及解决企业纸质文档数据集中管理及安全问题，必须彻底解决企业纸质文档数据的自动录入问题，形成数字电子化数据控制。云脉技术顺应大数据时代潮流，推出各种纸质文档OCR云识别云检索云管理服务、纸质文档管理系统，竭力提高各行业大数据录入和管理的效率！二．方案描述1、图像自动切边、倾斜校正、增强美化、压缩存储2、手机拍照或文... 一．市场背景企业大量的数据在各种纸质文档中，如何保证海量数据的存储与协作共享，以及解决企业纸质文档数据集中管理及安全问题，必须彻底解决企业纸质文档数据的自动录入问题，形成数字电子化数据控制。云脉技术顺应大数据时代潮流，推出各种纸质文档OCR云识别云检索云管理服务、纸质文档管理系统，竭力提高各行业大数据录入和管理的效率！二．方案描述1、图像自动切边、倾斜校正、增强美化、压缩存储2、手机拍照或文...
- 随着互联网的高速发展，传统工厂行业数字化转型已快速进行中，贵州鑫智联科技有限公司致力于传统工厂的数字化转型，帮助传统工厂快速形成产业流水线。贵州鑫智联科技有限公司于2016年在贵阳国家高新区注册成立，是一家专业从事工业大数据、智能制造的高新技术企业。公司具备软硬件自主研发能力，现主要软件产品：IDF（数字工厂）、MDC（车间数据融合与分析系统）、IETC（智慧工训）、ILAB（智慧实验... 随着互联网的高速发展，传统工厂行业数字化转型已快速进行中，贵州鑫智联科技有限公司致力于传统工厂的数字化转型，帮助传统工厂快速形成产业流水线。贵州鑫智联科技有限公司于2016年在贵阳国家高新区注册成立，是一家专业从事工业大数据、智能制造的高新技术企业。公司具备软硬件自主研发能力，现主要软件产品：IDF（数字工厂）、MDC（车间数据融合与分析系统）、IETC（智慧工训）、ILAB（智慧实验...
- 1、要学Java，java跨平台，并且很多大数据的框架都是java开发。2、hadoop 虽然现在好多都用spark，但了解 hadoop 有利于对其他的了解，并且现在也有很多是用的hadoop+spark3、Linux 这个就不用说了4、Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为M... 1、要学Java，java跨平台，并且很多大数据的框架都是java开发。2、hadoop 虽然现在好多都用spark，但了解 hadoop 有利于对其他的了解，并且现在也有很多是用的hadoop+spark3、Linux 这个就不用说了4、Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为M...
- 随着Face ID 的高调出道，人脸识别迎来了高光时刻。菜鸟驿站的刷脸取件，支付宝的刷脸支付、城市街头的无人超市......从小小的手机解锁应用技术，逐步蔓延到生活中各个角落，安防门禁也无法逃避。上个世纪90年代，IC卡投入门禁商用，2017年，人脸识别进入千家万户。刷卡式门禁作为曾今的门禁王者，已经默默陪伴我们走过几十年。随着复制技术的发展，刷卡门禁不得不面临复制技术带来的灾难，安全性大大... 随着Face ID 的高调出道，人脸识别迎来了高光时刻。菜鸟驿站的刷脸取件，支付宝的刷脸支付、城市街头的无人超市......从小小的手机解锁应用技术，逐步蔓延到生活中各个角落，安防门禁也无法逃避。上个世纪90年代，IC卡投入门禁商用，2017年，人脸识别进入千家万户。刷卡式门禁作为曾今的门禁王者，已经默默陪伴我们走过几十年。随着复制技术的发展，刷卡门禁不得不面临复制技术带来的灾难，安全性大大...
- 大数据时代已经来到了，我们生活中有很多的数据，工业生产也有很多的数据，我们的数据存储下来了吗？我们数据存储下来，我们服务器已经可以帮助我们记录工业级这方面的信息，但是我们如何应用呢？这就需要产品经理深入到业务中。举个例子，我的一个师兄毕业后去了一家电力企业，由于不是很爱说话就做自己的事情，没有意思，但是他对电力行业很感兴趣，于是他就做了一个业务深入了解，了解了电力行业运转的框图，分析图之后得... 大数据时代已经来到了，我们生活中有很多的数据，工业生产也有很多的数据，我们的数据存储下来了吗？我们数据存储下来，我们服务器已经可以帮助我们记录工业级这方面的信息，但是我们如何应用呢？这就需要产品经理深入到业务中。举个例子，我的一个师兄毕业后去了一家电力企业，由于不是很爱说话就做自己的事情，没有意思，但是他对电力行业很感兴趣，于是他就做了一个业务深入了解，了解了电力行业运转的框图，分析图之后得...
- 大数据这几年的势头没有像人工智能变得如此之火爆，原因在于大数据门槛较低，应用场景高度依赖业务场景，通用性较差，必须依赖于懂业务的人，失去业务大数据将变得沉积，如何改变这个现状能呢？需要我们的研发人员走不去，了解市场的变化，我们产品经理必须清楚市场动静。这句话说出来比较容易，但是做起来比较困难。原因在于技术人员沟通能力，沟通技巧，对事物责任感及当担能力，一句话：心里不够强大，不敢做... 大数据这几年的势头没有像人工智能变得如此之火爆，原因在于大数据门槛较低，应用场景高度依赖业务场景，通用性较差，必须依赖于懂业务的人，失去业务大数据将变得沉积，如何改变这个现状能呢？需要我们的研发人员走不去，了解市场的变化，我们产品经理必须清楚市场动静。这句话说出来比较容易，但是做起来比较困难。原因在于技术人员沟通能力，沟通技巧，对事物责任感及当担能力，一句话：心里不够强大，不敢做...
- DT时代—王海峰 1. 目前陕西融普通过AI平台为客户提供人脸识别和客户画像，需要有一套实时知感的“后端数据化系统”公司如何搭建智能化的平台，通过提高技术能力提升竞争力？答：后端平台采用华为云OBS构建存储空间、VPC虚拟专用网络、MLS学习数据规律构建预测模型分析方案、GES以关系为图结构数据进行查询分析服务、MRS提供企业级大数据集群服务、DIS数据接入服务提供高效采集... DT时代—王海峰 1. 目前陕西融普通过AI平台为客户提供人脸识别和客户画像，需要有一套实时知感的“后端数据化系统”公司如何搭建智能化的平台，通过提高技术能力提升竞争力？答：后端平台采用华为云OBS构建存储空间、VPC虚拟专用网络、MLS学习数据规律构建预测模型分析方案、GES以关系为图结构数据进行查询分析服务、MRS提供企业级大数据集群服务、DIS数据接入服务提供高效采集...
- 我们（丰田）真的不一样 上回说到丰田生产方式的由来，直到1989年，美国麻省理工学院研究小组参观了丰田的车间，了解到TPS是一种杜绝浪费的精干型生产系统，并命名为“精益生产方式”后才慢慢被全世界所熟知并推崇。笔者认为，那时候所提出的精益生产还只是车间层面的、管理层面的“节流”，而TPS不仅仅是一种生产方式，它更是过剩时代的经营思想和理念，它的诞生是偶然的也是必然的。 我们来看看，到底麻省... 我们（丰田）真的不一样 上回说到丰田生产方式的由来，直到1989年，美国麻省理工学院研究小组参观了丰田的车间，了解到TPS是一种杜绝浪费的精干型生产系统，并命名为“精益生产方式”后才慢慢被全世界所熟知并推崇。笔者认为，那时候所提出的精益生产还只是车间层面的、管理层面的“节流”，而TPS不仅仅是一种生产方式，它更是过剩时代的经营思想和理念，它的诞生是偶然的也是必然的。 我们来看看，到底麻省...
上滑加载中
推荐直播
-
如何快速入驻O3使能伙伴服务作业平台2024/04/18 周四 16:00-16:40
红喜 O3伙伴服务工作台技术总架构师
本期邀请O3伙伴服务工作台技术总架构师，讲解O3伙伴服务工作台的设计理念，及演示工作台关键能力与价值点，带你2步快速入驻工作台。O3伙伴服务工作台，具备在线Online、开放Open、协同Orchestration的特征，作为伙伴服务的统一入口，支持伙伴以租户方式入驻，涵盖伙伴工程师、管理者等多角色，是一个以伙伴服务领域全旅程作业为中心，整合华为服务各专业领域能力，开放共享的一站式作业平台。
回顾中 -
通用人工智能（AGI）到来前夕如何实现企业降本增效和应用现代化2024/04/19 周五 14:00-16:00
李京峰 T3出行VP/CTO
李京峰是T3出行CTO，本次他将分享通用人工智能（AGI）到来前夕，如何实现企业降本增效和应用现代化。
即将直播 -
产教融合专家大讲堂·第①期《高校人才培养创新模式经验分享》2024/04/25 周四 16:00-18:00
于晓东 上海杉达学院信息科学与技术学院副院长；崔宝才 天津电子信息职业技术学院电子与通信技术系主任
本期直播将与您一起探讨高校人才培养创新模式经验。
去报名
热门标签