- Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。马云在退休的时候说互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了hive框架，毕竟世界上会sql的人比会java的人多的多，hive可以说是学习hadoop相关技术的 Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。马云在退休的时候说互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了hive框架，毕竟世界上会sql的人比会java的人多的多，hive可以说是学习hadoop相关技术的
- ZooKeeper 是一个针对大型分布式系统的可靠协调系统；它提供的功能包括：配置维护、名字服务、分布式同步、组服务等； 它的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户； ZooKeeper 已经成为 Hadoop 生态系统中的基础组件。 ZooKeeper 是一个针对大型分布式系统的可靠协调系统；它提供的功能包括：配置维护、名字服务、分布式同步、组服务等； 它的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户； ZooKeeper 已经成为 Hadoop 生态系统中的基础组件。
- HDFS的HA机制 HDFS的HA机制
- 一、Hadoop集群环境搭建概述 随着互联网，尤其是移动互联网和智能移动设备的高速发展和大面积普及，数据产生的速度以及数据累积的规模已经超过了以往任何时候，所以我们正在或者已经步入了大数据时代。对于企业来说，企业所拥有的大规模数据正逐渐成为一种重要的生产要素，但是如何盘活企业海量数据资产，充分挖掘大数据背后的价值成为新的挑战。同时也带来了很大的机遇，通过对企业海量数据的科学分析，为精益... 一、Hadoop集群环境搭建概述 随着互联网，尤其是移动互联网和智能移动设备的高速发展和大面积普及，数据产生的速度以及数据累积的规模已经超过了以往任何时候，所以我们正在或者已经步入了大数据时代。对于企业来说，企业所拥有的大规模数据正逐渐成为一种重要的生产要素，但是如何盘活企业海量数据资产，充分挖掘大数据背后的价值成为新的挑战。同时也带来了很大的机遇，通过对企业海量数据的科学分析，为精益...
- 对于分布式存储，将机器按照IP或其他标示做Hash，散列至一个环形的hash表，对key进行Hash得到value，在该value的下一个节点存储改key。当增加或删除机器时，只有该机器的下一个节点存储的数据需要更新。 对于分布式存储，将机器按照IP或其他标示做Hash，散列至一个环形的hash表，对key进行Hash得到value，在该value的下一个节点存储改key。当增加或删除机器时，只有该机器的下一个节点存储的数据需要更新。
- 1. 恢复时间目标 (RTO， recovery time objective)灾难发生后，信息系统从停顿到必须恢复的时间要求。2. 恢复点目标 (RPO， recovery point objective)灾难发生后，数据必须恢复到的时间点要求。3. 系统可用性（system availability）指在要求的外部资源得到保证的前提下，云服... 1. 恢复时间目标 (RTO， recovery time objective)灾难发生后，信息系统从停顿到必须恢复的时间要求。2. 恢复点目标 (RPO， recovery point objective)灾难发生后，数据必须恢复到的时间点要求。3. 系统可用性（system availability）指在要求的外部资源得到保证的前提下，云服...
- 很多小伙伴在使用华为云DAS数据管理服务、其他工具软件（Navicat, Mysql Workbench, Dbeaver等）访问mysql数据库（5.5, 5.6, 5.7版本）时都遇到过如下情况：单库表数量比较多的时候，移动滚动条查看左侧树表列表时会出现列表刷新过慢，不同程度的卡顿，甚至卡死的情况，针对该问题我们来分析下原因。 Mysql有四个系统库：information_sch... 很多小伙伴在使用华为云DAS数据管理服务、其他工具软件（Navicat, Mysql Workbench, Dbeaver等）访问mysql数据库（5.5, 5.6, 5.7版本）时都遇到过如下情况：单库表数量比较多的时候，移动滚动条查看左侧树表列表时会出现列表刷新过慢，不同程度的卡顿，甚至卡死的情况，针对该问题我们来分析下原因。 Mysql有四个系统库：information_sch...
- 说到云上的对象存储，大家都认可它几个主要的特点：“存储费用很低，1GB一个月才3分多啊”，“使用起来很方便”，“容量很大，根本不用操心容量限制”等等，但是大家也有个共同的顾虑：“我的数据会不会丢，丢了能不能找回来”。其实业界对象存储的厂家在数据可靠性上都进行了大量的设计，如数据冗余，数据静默校验，各类故障的容错处理等等。今天针对这个顾虑，我们分析下对象存储OBS的几个增值特性，看怎么针对... 说到云上的对象存储，大家都认可它几个主要的特点：“存储费用很低，1GB一个月才3分多啊”，“使用起来很方便”，“容量很大，根本不用操心容量限制”等等，但是大家也有个共同的顾虑：“我的数据会不会丢，丢了能不能找回来”。其实业界对象存储的厂家在数据可靠性上都进行了大量的设计，如数据冗余，数据静默校验，各类故障的容错处理等等。今天针对这个顾虑，我们分析下对象存储OBS的几个增值特性，看怎么针对...
- 现代的网站大量依赖Javascript代码， 以至于一些网站Javascript过于臃肿，导致网站加载非常缓慢。后来就有了将JS代码精简到最简的".min.js"， 而这还不够，因为浏览器支持Gzip的解压，所以又有人利用HTTP协议的解压Gzip功能，实现了网络传输的进一步缩减。例如JQuery3.3.1， 原始的大小为265.38KB， 经过.min.js最简化后，大小为84.89KB... 现代的网站大量依赖Javascript代码， 以至于一些网站Javascript过于臃肿，导致网站加载非常缓慢。后来就有了将JS代码精简到最简的".min.js"， 而这还不够，因为浏览器支持Gzip的解压，所以又有人利用HTTP协议的解压Gzip功能，实现了网络传输的进一步缩减。例如JQuery3.3.1， 原始的大小为265.38KB， 经过.min.js最简化后，大小为84.89KB...
- 本书摘自《OpenStack高可用集群（上册）：原理与架构》一书中的第2章，第2.5.5节，作者是山金孝。 本书摘自《OpenStack高可用集群（上册）：原理与架构》一书中的第2章，第2.5.5节，作者是山金孝。
- 互联网时代，随着社会经济水平的发展和科技的进步，网络逐渐成为传递信息、促进交流的最佳工具。人们通过电子化和信息化处理日常事务极大提高了办事效率节约了资源，加之低碳环保理念的深入人心，进一步推动了我国无纸化办公发展进程。而电子签名因其高效便捷的优势受到越来越多的关注，特别是近期国务院、财政部、移民管理局、公安机关等相关动态中关于电子签名政策的利好信号不断释放，让越来越多的企业愿意采用电子签名。... 互联网时代，随着社会经济水平的发展和科技的进步，网络逐渐成为传递信息、促进交流的最佳工具。人们通过电子化和信息化处理日常事务极大提高了办事效率节约了资源，加之低碳环保理念的深入人心，进一步推动了我国无纸化办公发展进程。而电子签名因其高效便捷的优势受到越来越多的关注，特别是近期国务院、财政部、移民管理局、公安机关等相关动态中关于电子签名政策的利好信号不断释放，让越来越多的企业愿意采用电子签名。...
- OBS客户端工具OBSUtil发布了obsutil_v5.1.4的版本，本期新增了几个非常有用的亮点功能，真正实现了小功能大用途，可以极大的提升使用OBS的访问体验。我们逐一分析下这几个功能。新增文件和文件夹移动功能（mv） 由于业界统一的对象存储数据结构的特点，对象存储一般都不提供类似文件系统的重命名，移动，剪切等功能，所以使用过对象存储的用户，对于对象存储不能提供文件的移动功能，用... OBS客户端工具OBSUtil发布了obsutil_v5.1.4的版本，本期新增了几个非常有用的亮点功能，真正实现了小功能大用途，可以极大的提升使用OBS的访问体验。我们逐一分析下这几个功能。新增文件和文件夹移动功能（mv） 由于业界统一的对象存储数据结构的特点，对象存储一般都不提供类似文件系统的重命名，移动，剪切等功能，所以使用过对象存储的用户，对于对象存储不能提供文件的移动功能，用...
- 摘要：专属OBS容量按年购买，最大支持5年。公网下行流量的费用采用与华为云普通对象存储计费方式一致。 摘要：专属OBS容量按年购买，最大支持5年。公网下行流量的费用采用与华为云普通对象存储计费方式一致。
- 一．市场背景企业大量的数据在各种纸质文档中，如何保证海量数据的存储与协作共享，以及解决企业纸质文档数据集中管理及安全问题，必须彻底解决企业纸质文档数据的自动录入问题，形成数字电子化数据控制。云脉技术顺应大数据时代潮流，推出各种纸质文档OCR云识别云检索云管理服务、纸质文档管理系统，竭力提高各行业大数据录入和管理的效率！二．方案描述1、图像自动切边、倾斜校正、增强美化、压缩存储2、手机拍照或文... 一．市场背景企业大量的数据在各种纸质文档中，如何保证海量数据的存储与协作共享，以及解决企业纸质文档数据集中管理及安全问题，必须彻底解决企业纸质文档数据的自动录入问题，形成数字电子化数据控制。云脉技术顺应大数据时代潮流，推出各种纸质文档OCR云识别云检索云管理服务、纸质文档管理系统，竭力提高各行业大数据录入和管理的效率！二．方案描述1、图像自动切边、倾斜校正、增强美化、压缩存储2、手机拍照或文...
- 1. 闲扯一下：文件磁盘上的数据，我们一般称为 “文件” ，一般不同的文件都有各自的后缀名，比如 .txt .docx .xlsx .jpg .mp3 .avi 。这些不同类型的文件一般分为两大类：文本文件： 用记事本打开看到的是英文、发文、中文等字符；二进制文件： 用记事本打开看到的可能就是一堆乱码；平日里，大家接触到的更多的是二进制文件，比如word文档，图片，视频，音频等。为了保存和读... 1. 闲扯一下：文件磁盘上的数据，我们一般称为 “文件” ，一般不同的文件都有各自的后缀名，比如 .txt .docx .xlsx .jpg .mp3 .avi 。这些不同类型的文件一般分为两大类：文本文件： 用记事本打开看到的是英文、发文、中文等字符；二进制文件： 用记事本打开看到的可能就是一堆乱码；平日里，大家接触到的更多的是二进制文件，比如word文档，图片，视频，音频等。为了保存和读...
上滑加载中
推荐直播
-
昇腾AI算法挑战赛-核心算子如何优化？专家带你深度解析2025/11/17 周一 16:00-17:00
王老师 华为算子专家
昇腾AI算法挑战赛进阶赛战鼓催征！本期直播间，我们特邀华为算子专家王老师，为你深度剖析Matmul、wholereducesum等核心算子的底层原理与优化技巧，直击赛题核心。想提升代码效率、冲击更高排名？锁定直播，带你破局！
回顾中 -
AI编码实干派，“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国，深圳，2026年2月26日】，以“AI编码实干派，码力全开”为主题的华为云码道（CodeArts）代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布，为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw，开启在线养虾模式2026/03/11 周三 19:00-20:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中
热门标签