- 4大特点解析华为云数据湖“黑科技”如果有人问数据湖是什么，我会告诉他们，是“桶装水”的集合。随着企业业务的发展，数据出现井喷，数据量呈几何增长，数据来源和类型更加多元化。传统数据仓库就如同“桶装水商店”，已经承载不了全部水体，因此需要一个可以满足存储需求的，新的架构作为大数据的支撑。这就是数据湖。它汇聚不同数据源的溪流，包括大量无序的非结构化数据（文本、图像、声音、网页等）。我们把它倒入数据... 4大特点解析华为云数据湖“黑科技”如果有人问数据湖是什么，我会告诉他们，是“桶装水”的集合。随着企业业务的发展，数据出现井喷，数据量呈几何增长，数据来源和类型更加多元化。传统数据仓库就如同“桶装水商店”，已经承载不了全部水体，因此需要一个可以满足存储需求的，新的架构作为大数据的支撑。这就是数据湖。它汇聚不同数据源的溪流，包括大量无序的非结构化数据（文本、图像、声音、网页等）。我们把它倒入数据...
- 分布式存储简单的来说，就是将数据分散存储到多个数据存储存储服务器上。分布式存储目前多借鉴Google的经验，在众多的服务器搭建一个分布式文件系统，再在这个分布式文件系统上实现相关的数据存储业务，甚至是再实现二级存储业务如Bigtable。分布式存储具有可扩展性、可用性、可靠性、 高性能、易维护、低成本等特性。分布式存储系统中面临着的首要问题就是如何将大量的数据分布在不同的存储节点上，无论上层... 分布式存储简单的来说，就是将数据分散存储到多个数据存储存储服务器上。分布式存储目前多借鉴Google的经验，在众多的服务器搭建一个分布式文件系统，再在这个分布式文件系统上实现相关的数据存储业务，甚至是再实现二级存储业务如Bigtable。分布式存储具有可扩展性、可用性、可靠性、 高性能、易维护、低成本等特性。分布式存储系统中面临着的首要问题就是如何将大量的数据分布在不同的存储节点上，无论上层...
- 1.PHP的数组底层结构 哈希结构是一种非常重要的数据结构，他是一种通过key映射到value的结构，由于其特性，可以在大部分的情况下让查找和插入的效率达到O(1)，在很多语言或者系统里面都有显性得体现出来，具体的实现思路有很多种。详细的介绍可以看我的博客数据结构之哈希结构 PHP的数组是用链地址法的哈希结构去实现的，链表是双向链表，这样既可以动态分配数组空间，也可以通过key值去计算h... 1.PHP的数组底层结构 哈希结构是一种非常重要的数据结构，他是一种通过key映射到value的结构，由于其特性，可以在大部分的情况下让查找和插入的效率达到O(1)，在很多语言或者系统里面都有显性得体现出来，具体的实现思路有很多种。详细的介绍可以看我的博客数据结构之哈希结构 PHP的数组是用链地址法的哈希结构去实现的，链表是双向链表，这样既可以动态分配数组空间，也可以通过key值去计算h...
- HDFS是Hadoop的组件之一,是一个分布式文件系统, 文件系统是一个抽象类,其中有很多的子实现类,例如:hdfs,file:\(本地磁盘),ftp文件系统,webHdfs(可通过浏览器的界面进行文件操作).1架构图(1)HDFSClient:客户端想要请求数据,首先对NameNode进行"询问",NameNode会将数据的存储信息返回给用户. (2) NameNode :保存HDFS... HDFS是Hadoop的组件之一,是一个分布式文件系统, 文件系统是一个抽象类,其中有很多的子实现类,例如:hdfs,file:\(本地磁盘),ftp文件系统,webHdfs(可通过浏览器的界面进行文件操作).1架构图(1)HDFSClient:客户端想要请求数据,首先对NameNode进行"询问",NameNode会将数据的存储信息返回给用户. (2) NameNode :保存HDFS...
- NDMP（network data management protocol）是网络数据管理协议，该机制的作用在于控制数据的备份和恢复过程以及控制数据在主要存储和次要存储之间的传输，是用来给NAS做备份用的协议。 NDMP主要有两种组网，一个是2-way组网，另一个是3-way组网。 2... NDMP（network data management protocol）是网络数据管理协议，该机制的作用在于控制数据的备份和恢复过程以及控制数据在主要存储和次要存储之间的传输，是用来给NAS做备份用的协议。 NDMP主要有两种组网，一个是2-way组网，另一个是3-way组网。 2...
- 我们在了解华为RAID2.0+技术原理之前，我们可以先了解一下我们的传统RAID技术。我们传统的RAID技术是一种盘级虚拟化的技术，有RAID0 RAID1 RAID5 RAID10等常见的RAID技术，传统RAID的状态主要有几种：创建RAID 、RAID组正常工作 、RAID组降级、 RAID组失效 。传统RAID技术热备方式主要是通过固定的盘来进行数据的恢复。那么对传统RAID... 我们在了解华为RAID2.0+技术原理之前，我们可以先了解一下我们的传统RAID技术。我们传统的RAID技术是一种盘级虚拟化的技术，有RAID0 RAID1 RAID5 RAID10等常见的RAID技术，传统RAID的状态主要有几种：创建RAID 、RAID组正常工作 、RAID组降级、 RAID组失效 。传统RAID技术热备方式主要是通过固定的盘来进行数据的恢复。那么对传统RAID...
- 华为存储的SAN特性有非常多种，那么今天我们主要是介绍一下smarttier特性。 smarttier中文名叫动态分级存储特性，它是能够自动将不同活跃度的数据和不同特点的存储介质动态匹配，通过以监控数据的IO大小、IO热度、IO顺序度来把访问频率高的数据迁移到性能好的层次上，把访问频率低、占用空间大的数据放到容量层上，以提高我们存储系统的性能并且降低用户成本。 smart... 华为存储的SAN特性有非常多种，那么今天我们主要是介绍一下smarttier特性。 smarttier中文名叫动态分级存储特性，它是能够自动将不同活跃度的数据和不同特点的存储介质动态匹配，通过以监控数据的IO大小、IO热度、IO顺序度来把访问频率高的数据迁移到性能好的层次上，把访问频率低、占用空间大的数据放到容量层上，以提高我们存储系统的性能并且降低用户成本。 smart...
- 云硬盘定义EVS（Elastic Volume Service），即云硬盘，是一种虚拟块存储服务，主要为ECS（Elastic Cloud Server）和BMS（Bare Metal Server）提供块存储空间。用户可以在线创建云硬盘并挂载给实例，云硬盘的使用方式与传统服务器硬盘完全一致。同时，云硬盘具有更高的数据可靠性，更高的I/O吞吐能力和更加简单易用等特点，适用于文件系统、数据库或... 云硬盘定义EVS（Elastic Volume Service），即云硬盘，是一种虚拟块存储服务，主要为ECS（Elastic Cloud Server）和BMS（Bare Metal Server）提供块存储空间。用户可以在线创建云硬盘并挂载给实例，云硬盘的使用方式与传统服务器硬盘完全一致。同时，云硬盘具有更高的数据可靠性，更高的I/O吞吐能力和更加简单易用等特点，适用于文件系统、数据库或...
- 仅从去年9月到今年1月，云合同产品正式发布的四个月时间里，就已获取了10000余名企业及个人用户。目前，企业用户日均增长100余家，并已与政府部门和众多行业内标杆企业达成了战略合作。云合同CEO唐文静表示，云合同未来还将围绕企业服务这一领域，提供更多增值服务。可以预见，云合同的创新赋能将为各行业合同管理带来全面革新，持续增强现代企业的管理效率和竞争能力，而伴随生态合力的释放，云合同也终将实现其愿景 仅从去年9月到今年1月，云合同产品正式发布的四个月时间里，就已获取了10000余名企业及个人用户。目前，企业用户日均增长100余家，并已与政府部门和众多行业内标杆企业达成了战略合作。云合同CEO唐文静表示，云合同未来还将围绕企业服务这一领域，提供更多增值服务。可以预见，云合同的创新赋能将为各行业合同管理带来全面革新，持续增强现代企业的管理效率和竞争能力，而伴随生态合力的释放，云合同也终将实现其愿景
- 从5个角度去讨论下2种存储的区别点 1.企业中接受程度：统一存储出道时间比较久啦，发展的也比较好，经过多年的抗击打 也更容易被客户接受，fs呢作为小弟刚出道，接受程度相对较差 2.可扩展性方面呢：华为的OceanStor 18000 最大支持16控，而fs具专家消息单个集群能扩展到4096个，可是烟丘式增长，在实践中拭目以待。 3.内置缓存的容量：fs可扩展性比较高，且SSD充当... 从5个角度去讨论下2种存储的区别点 1.企业中接受程度：统一存储出道时间比较久啦，发展的也比较好，经过多年的抗击打 也更容易被客户接受，fs呢作为小弟刚出道，接受程度相对较差 2.可扩展性方面呢：华为的OceanStor 18000 最大支持16控，而fs具专家消息单个集群能扩展到4096个，可是烟丘式增长，在实践中拭目以待。 3.内置缓存的容量：fs可扩展性比较高，且SSD充当...
- 存储虚拟化高级技术 分区映射 文件系统+文件映射 对于虚拟机都是块 裸设备映射 存储设备虚拟化[advance-san、fusionstorage] =========================================================在FC中存储模型1.存储资源：IP/FC SAN、 FusionStorage、NAS、Advance-S... 存储虚拟化高级技术 分区映射 文件系统+文件映射 对于虚拟机都是块 裸设备映射 存储设备虚拟化[advance-san、fusionstorage] =========================================================在FC中存储模型1.存储资源：IP/FC SAN、 FusionStorage、NAS、Advance-S...
- 首先跳过传统存储模式SAN机构，我们直接来聊聊ServerSAN，虽然不是扫描新技术但是其也有有趣之处。ServerSAN的概念其实就把传统模式的计算和存储资源进行融合，其中由多个独立的服务器自带的存储组成了一个存储资源池。（ServerSan构建在通用X86服务器上，计算存储融合）其特征为专有设备变通用设备、计算与存储线性扩展、并且简化管理，降低投入成本。传统的存储系统与硬件高度集成，而S... 首先跳过传统存储模式SAN机构，我们直接来聊聊ServerSAN，虽然不是扫描新技术但是其也有有趣之处。ServerSAN的概念其实就把传统模式的计算和存储资源进行融合，其中由多个独立的服务器自带的存储组成了一个存储资源池。（ServerSan构建在通用X86服务器上，计算存储融合）其特征为专有设备变通用设备、计算与存储线性扩展、并且简化管理，降低投入成本。传统的存储系统与硬件高度集成，而S...
- 1、创建表格存储集群点击购买即可。等待一段时间，集群生成：注：安全组建议放行所有端口，以便测试。2、准备ecs3、HBase Shell访问集群执行curl -O -k "http://cloudtable-publish.obs.myhwclouds.com/quick_start_hbase_shell.sh"获得集群地址ZK：cloudtable-richblue88-zk1-Op5s... 1、创建表格存储集群点击购买即可。等待一段时间，集群生成：注：安全组建议放行所有端口，以便测试。2、准备ecs3、HBase Shell访问集群执行curl -O -k "http://cloudtable-publish.obs.myhwclouds.com/quick_start_hbase_shell.sh"获得集群地址ZK：cloudtable-richblue88-zk1-Op5s...
- 详解 EOS 智能合约的 hpp 文件为了帮助大家熟悉 EOS 智能合约，EOS 官方提供了一个代币（资产）智能合约 Demo —— eosio.token。eosio.token 智能合约目前还不是特别完善，个别功能还没有完成。但这个示例合约给出了 EOS 官方智能合约开发的标准结构和开发方法，并且真正的 EOS 代币也会借鉴这个示例合约的逻辑，是 EOS 智能合约入门的经典案例。照例，e... 详解 EOS 智能合约的 hpp 文件为了帮助大家熟悉 EOS 智能合约，EOS 官方提供了一个代币（资产）智能合约 Demo —— eosio.token。eosio.token 智能合约目前还不是特别完善，个别功能还没有完成。但这个示例合约给出了 EOS 官方智能合约开发的标准结构和开发方法，并且真正的 EOS 代币也会借鉴这个示例合约的逻辑，是 EOS 智能合约入门的经典案例。照例，e...
- 最近研究了一下抖音的爬虫，目前实现了热门话题和热门音乐下面所有相关视频的爬取，并且我已经将该爬虫打包成了一个 Python 库并发布，名称就叫做 douyin，利用该库可以使用不到 10 行代码完成热门视频的下载、相关音乐的下载以及结构化信息的存储。本文就来详细介绍一下这个库的用法和一些核心逻辑实现。 最近研究了一下抖音的爬虫，目前实现了热门话题和热门音乐下面所有相关视频的爬取，并且我已经将该爬虫打包成了一个 Python 库并发布，名称就叫做 douyin，利用该库可以使用不到 10 行代码完成热门视频的下载、相关音乐的下载以及结构化信息的存储。本文就来详细介绍一下这个库的用法和一些核心逻辑实现。
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签