- FastDFS 介绍 FastDFS 是一个开源的分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS 服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。存储节点存储... FastDFS 介绍 FastDFS 是一个开源的分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS 服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。存储节点存储...
- SFS具备很好的并发性，每个物理节点都可以同时接入很多的客户端；这些客户端可以并发的进行文件访问操作。 SFS适合应用于高带宽场景，SFS将一个文件切分为分条，每个分条交给不同的节点，不同的硬盘来存储，并通过高效的布局，使得即使同一个文件的不同分条也分布在不同的硬盘上，可以充分的发挥集群中多节点多硬盘的能力，大大增强文件访问的性能。 SFS具备很好的并发性，每个物理节点都可以同时接入很多的客户端；这些客户端可以并发的进行文件访问操作。 SFS适合应用于高带宽场景，SFS将一个文件切分为分条，每个分条交给不同的节点，不同的硬盘来存储，并通过高效的布局，使得即使同一个文件的不同分条也分布在不同的硬盘上，可以充分的发挥集群中多节点多硬盘的能力，大大增强文件访问的性能。
- Spark存储管理机制 Spark存储管理机制
- 随着科技的发展与社会的进步，电子合同已逐步进入愈来愈多的行业。人力资源行业作为“合同密集型”行业，也逐渐开始接受电子劳动合同。但仍有部分人力资源企业对电子合同存在疑虑，认为传统的纸质合同行之有效，并无推行电子合同的必要。 随着科技的发展与社会的进步，电子合同已逐步进入愈来愈多的行业。人力资源行业作为“合同密集型”行业，也逐渐开始接受电子劳动合同。但仍有部分人力资源企业对电子合同存在疑虑，认为传统的纸质合同行之有效，并无推行电子合同的必要。
- Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
- HBase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。 HBase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。
- Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。马云在退休的时候说互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了hive框架，毕竟世界上会sql的人比会java的人多的多，hive可以说是学习hadoop相关技术的 Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。马云在退休的时候说互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了hive框架，毕竟世界上会sql的人比会java的人多的多，hive可以说是学习hadoop相关技术的
- ZooKeeper 是一个针对大型分布式系统的可靠协调系统；它提供的功能包括：配置维护、名字服务、分布式同步、组服务等； 它的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户； ZooKeeper 已经成为 Hadoop 生态系统中的基础组件。 ZooKeeper 是一个针对大型分布式系统的可靠协调系统；它提供的功能包括：配置维护、名字服务、分布式同步、组服务等； 它的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户； ZooKeeper 已经成为 Hadoop 生态系统中的基础组件。
- HDFS的HA机制 HDFS的HA机制
- 一、Hadoop集群环境搭建概述 随着互联网，尤其是移动互联网和智能移动设备的高速发展和大面积普及，数据产生的速度以及数据累积的规模已经超过了以往任何时候，所以我们正在或者已经步入了大数据时代。对于企业来说，企业所拥有的大规模数据正逐渐成为一种重要的生产要素，但是如何盘活企业海量数据资产，充分挖掘大数据背后的价值成为新的挑战。同时也带来了很大的机遇，通过对企业海量数据的科学分析，为精益... 一、Hadoop集群环境搭建概述 随着互联网，尤其是移动互联网和智能移动设备的高速发展和大面积普及，数据产生的速度以及数据累积的规模已经超过了以往任何时候，所以我们正在或者已经步入了大数据时代。对于企业来说，企业所拥有的大规模数据正逐渐成为一种重要的生产要素，但是如何盘活企业海量数据资产，充分挖掘大数据背后的价值成为新的挑战。同时也带来了很大的机遇，通过对企业海量数据的科学分析，为精益...
- 对于分布式存储，将机器按照IP或其他标示做Hash，散列至一个环形的hash表，对key进行Hash得到value，在该value的下一个节点存储改key。当增加或删除机器时，只有该机器的下一个节点存储的数据需要更新。 对于分布式存储，将机器按照IP或其他标示做Hash，散列至一个环形的hash表，对key进行Hash得到value，在该value的下一个节点存储改key。当增加或删除机器时，只有该机器的下一个节点存储的数据需要更新。
- 1. 恢复时间目标 (RTO， recovery time objective)灾难发生后，信息系统从停顿到必须恢复的时间要求。2. 恢复点目标 (RPO， recovery point objective)灾难发生后，数据必须恢复到的时间点要求。3. 系统可用性（system availability）指在要求的外部资源得到保证的前提下，云服... 1. 恢复时间目标 (RTO， recovery time objective)灾难发生后，信息系统从停顿到必须恢复的时间要求。2. 恢复点目标 (RPO， recovery point objective)灾难发生后，数据必须恢复到的时间点要求。3. 系统可用性（system availability）指在要求的外部资源得到保证的前提下，云服...
- 很多小伙伴在使用华为云DAS数据管理服务、其他工具软件（Navicat, Mysql Workbench, Dbeaver等）访问mysql数据库（5.5, 5.6, 5.7版本）时都遇到过如下情况：单库表数量比较多的时候，移动滚动条查看左侧树表列表时会出现列表刷新过慢，不同程度的卡顿，甚至卡死的情况，针对该问题我们来分析下原因。 Mysql有四个系统库：information_sch... 很多小伙伴在使用华为云DAS数据管理服务、其他工具软件（Navicat, Mysql Workbench, Dbeaver等）访问mysql数据库（5.5, 5.6, 5.7版本）时都遇到过如下情况：单库表数量比较多的时候，移动滚动条查看左侧树表列表时会出现列表刷新过慢，不同程度的卡顿，甚至卡死的情况，针对该问题我们来分析下原因。 Mysql有四个系统库：information_sch...
- 弹性文件服务SFS的数据存储技术，是建立在分布式、节点间冗余的基础上的。数据进入系统之后，首先被切分为N个数据条带，然后计算出M个冗余条带，并最终保存在N+M个不同的节点中。由于同一条带的数据保存在不同节点中，所以SFS中的数据不仅能支持硬盘级的故障，而且能够支持节点级的故障，保证数据不丢失。只要系统中同时故障的节点数不超过M，系统就可以持续提供服务。 弹性文件服务SFS的数据存储技术，是建立在分布式、节点间冗余的基础上的。数据进入系统之后，首先被切分为N个数据条带，然后计算出M个冗余条带，并最终保存在N+M个不同的节点中。由于同一条带的数据保存在不同节点中，所以SFS中的数据不仅能支持硬盘级的故障，而且能够支持节点级的故障，保证数据不丢失。只要系统中同时故障的节点数不超过M，系统就可以持续提供服务。
- 说到云上的对象存储，大家都认可它几个主要的特点：“存储费用很低，1GB一个月才3分多啊”，“使用起来很方便”，“容量很大，根本不用操心容量限制”等等，但是大家也有个共同的顾虑：“我的数据会不会丢，丢了能不能找回来”。其实业界对象存储的厂家在数据可靠性上都进行了大量的设计，如数据冗余，数据静默校验，各类故障的容错处理等等。今天针对这个顾虑，我们分析下对象存储OBS的几个增值特性，看怎么针对... 说到云上的对象存储，大家都认可它几个主要的特点：“存储费用很低，1GB一个月才3分多啊”，“使用起来很方便”，“容量很大，根本不用操心容量限制”等等，但是大家也有个共同的顾虑：“我的数据会不会丢，丢了能不能找回来”。其实业界对象存储的厂家在数据可靠性上都进行了大量的设计，如数据冗余，数据静默校验，各类故障的容错处理等等。今天针对这个顾虑，我们分析下对象存储OBS的几个增值特性，看怎么针对...
上滑加载中
推荐直播
-
华为云DataArts+DWS助力企业数据治理一站式解决方案及应用实践2024/11/27 周三 16:30-18:00
Walter.chi 华为云数据治理DTSE技术布道师
想知道数据治理项目中，数据主题域如何合理划分？数据标准及主数据标准如何制定？数仓分层模型如何合理规划？华为云DataArts+DWS助力企业数据治理项目一站式解决方案和应用实践告诉您答案！本期将从数据趋势、数据治理方案、数据治理规划及落地，案例分享四个方面来助力企业数据治理项目合理咨询规划及顺利实施。
去报名 -
大模型+知识库（RAG）：如何使能行业数智化？—华为行业数字化转型实践分享2024/11/27 周三 19:00-20:00
华为人工智能专家史老师
本次直播，我们特别邀请了华为人工智能专家史老师，将以大模型知识库为切入点，详细揭示大模型与知识库结合的过程，并分享利用大模型+知识库（RAG）使能行业数智化转型的实践经验。
即将直播 -
2024年川渝职工软件创新应用技能竞赛·开幕式2024/11/28 周四 09:30-10:30
华为云讲师团
数字川渝，智创未来。2024年川渝职工软件创新应用技能竞赛决赛在即，科技精英蓄势待发！直击开幕式直播现场，共同点燃科技激情！
即将直播
热门标签