- 最近开发过程涉及了一些和文件读取有关的问题，于是对hdfs的读取机制感到兴趣，顺便深入学习了1下。 写入客户端向NameNode发出写文件请求，告诉需要写的文件名和路径、用户NameNode检查是否已存在文件、检查权限。如果通过，会返回一个输出流对象注意此时会按照“日志先行“原则，写入NameNode的editLog客户端按照128MB的大小切分文件。 也就是block大小客户端把nameN... 最近开发过程涉及了一些和文件读取有关的问题，于是对hdfs的读取机制感到兴趣，顺便深入学习了1下。 写入客户端向NameNode发出写文件请求，告诉需要写的文件名和路径、用户NameNode检查是否已存在文件、检查权限。如果通过，会返回一个输出流对象注意此时会按照“日志先行“原则，写入NameNode的editLog客户端按照128MB的大小切分文件。 也就是block大小客户端把nameN...
- dudu命令用于查看文件和目录磁盘的使用空间。命令语法：du [参数] [文件或目录名称]参数说明：参数说明-a列出所有的文件与目录容量。-h以G、M、K为单位，返回容量。-s列出总量。-S列出不包括子目录下的总量。-k以KBytes为单位，返回容量。-m以MBytes为单位，返回容量。使用示例：列出当前目录下的所有文件夹的容量。du效果如下图：列出当前目录下的所有文件夹和文件的容量。du... dudu命令用于查看文件和目录磁盘的使用空间。命令语法：du [参数] [文件或目录名称]参数说明：参数说明-a列出所有的文件与目录容量。-h以G、M、K为单位，返回容量。-s列出总量。-S列出不包括子目录下的总量。-k以KBytes为单位，返回容量。-m以MBytes为单位，返回容量。使用示例：列出当前目录下的所有文件夹的容量。du效果如下图：列出当前目录下的所有文件夹和文件的容量。du...
- celery-group的使用 配置为子任务配置独立的celery进程from kombu import Exchange, Queuedefault_exchange = Exchange('default', type='direct')concurrency_exchange = Exchange('concurrency', type='direct')app.conf.task_... celery-group的使用 配置为子任务配置独立的celery进程from kombu import Exchange, Queuedefault_exchange = Exchange('default', type='direct')concurrency_exchange = Exchange('concurrency', type='direct')app.conf.task_...
- 信息与通信技术是一个涵盖性术语，覆盖了所有通信设备或应用软件。本文从ICT新技术概览、关键技术趋势与应用分析、ICT岗位介绍这三个层面来阐述ICT行业认知。其中关键技术趋势与应用分析，我们从人工智能、大数据、物联网、混合现实、云计算、５G这六个方面来进行了分析与探讨。 信息与通信技术是一个涵盖性术语，覆盖了所有通信设备或应用软件。本文从ICT新技术概览、关键技术趋势与应用分析、ICT岗位介绍这三个层面来阐述ICT行业认知。其中关键技术趋势与应用分析，我们从人工智能、大数据、物联网、混合现实、云计算、５G这六个方面来进行了分析与探讨。
- 2019 年以来，直播电商开始成为消费者口中热议的话题：“口红一哥”李佳琦创造出5分钟卖出15000支口红的记录， "直播一姐"薇娅在 2019 年双十一就此一天卖出30亿元。而通过分析可以得出，物流成本对着电商成本、客户满意度有着举足轻重的影响。那么本文将介绍各个企业是如何看待新形势下的智慧物流的。 2019 年以来，直播电商开始成为消费者口中热议的话题：“口红一哥”李佳琦创造出5分钟卖出15000支口红的记录， "直播一姐"薇娅在 2019 年双十一就此一天卖出30亿元。而通过分析可以得出，物流成本对着电商成本、客户满意度有着举足轻重的影响。那么本文将介绍各个企业是如何看待新形势下的智慧物流的。
- 国内遥感技术日趋成熟，人工智能独具优势，但在农业领域尚未大规模商用。如何借助卫星加AI技术驱动现代农业升级呢？当卫星与农业数字化同频，当AI与农业智慧化，公正现代农业的发展不再只是盯着一亩三分地。业技术已经有突破，但是要实现行业赋能的可持续性发展，又要如何做呢？数字农业是未来农业的一个发展趋势，是在未来十四五的期间数字经济的一个新的增长点。 农业相对于我们熟悉的工业来讲，他... 国内遥感技术日趋成熟，人工智能独具优势，但在农业领域尚未大规模商用。如何借助卫星加AI技术驱动现代农业升级呢？当卫星与农业数字化同频，当AI与农业智慧化，公正现代农业的发展不再只是盯着一亩三分地。业技术已经有突破，但是要实现行业赋能的可持续性发展，又要如何做呢？数字农业是未来农业的一个发展趋势，是在未来十四五的期间数字经济的一个新的增长点。 农业相对于我们熟悉的工业来讲，他...
- 参加大数据全栈第一期获得不错的奖品和证书，同时还建议配合华为大数据能出一期大数据。果然现在出了大数据全栈第二期，原本还充满信心好好学习，但是在第一和第三考核遇到了问题。既然是我因在8月份参加华为云大数据分析7天训练营，免费试用过DLI，导致现在不能免费试用。还有第三考核还需要到mysql也因配额满了无法购买，按需购买kafka实例不能单买，要三个以上。看到这种情况原本打算放弃了。刚好... 参加大数据全栈第一期获得不错的奖品和证书，同时还建议配合华为大数据能出一期大数据。果然现在出了大数据全栈第二期，原本还充满信心好好学习，但是在第一和第三考核遇到了问题。既然是我因在8月份参加华为云大数据分析7天训练营，免费试用过DLI，导致现在不能免费试用。还有第三考核还需要到mysql也因配额满了无法购买，按需购买kafka实例不能单买，要三个以上。看到这种情况原本打算放弃了。刚好...
- HBase体系结构借鉴了BigTable论文，是典型的Master-Slave模型。系统中有一个管理集群的Master节点以及大量实际服务用户读写的RegionServer节点。除此之外，HBase中所有数据最终都存储在HDFS系统中，这与BigTable实际数据存储在GFS中相对应；系统中还有一个ZooKeeper节点，协助Master对集群进行管理。 1. HBase客户端HBase客户... HBase体系结构借鉴了BigTable论文，是典型的Master-Slave模型。系统中有一个管理集群的Master节点以及大量实际服务用户读写的RegionServer节点。除此之外，HBase中所有数据最终都存储在HDFS系统中，这与BigTable实际数据存储在GFS中相对应；系统中还有一个ZooKeeper节点，协助Master对集群进行管理。 1. HBase客户端HBase客户...
- 1. HBase历史发展要说清楚HBase的来龙去脉，还得从Google当年风靡一时的“三篇论文”——GFS、MapReduce、BigTable说起。 1.1.《 GFS: The Google File System 》2003年Google在SOSP会议上发表了大数据历史上第一篇公认的革命性论文——《 GFS: The Google File System 》，之所以称其为“革命性”... 1. HBase历史发展要说清楚HBase的来龙去脉，还得从Google当年风靡一时的“三篇论文”——GFS、MapReduce、BigTable说起。 1.1.《 GFS: The Google File System 》2003年Google在SOSP会议上发表了大数据历史上第一篇公认的革命性论文——《 GFS: The Google File System 》，之所以称其为“革命性”...
- 说明 在HCS场景下，MRS管理面自动化升级依赖自动化升级框架HCSU，本文档介绍了通过HCSU升级MRS管理面的步骤和操作说明。操作准备已安装配套的HCSU工具并以获取相关信息；已按照软件包下载列表下载配套的MRS软件包并上传至HCSU工具指定路径/opt/cloud/HUAWEI_CLOUD_Stack_Update/src/pkg路径下；已获取环境配套版本账号一览表；已获取目标版本的... 说明 在HCS场景下，MRS管理面自动化升级依赖自动化升级框架HCSU，本文档介绍了通过HCSU升级MRS管理面的步骤和操作说明。操作准备已安装配套的HCSU工具并以获取相关信息；已按照软件包下载列表下载配套的MRS软件包并上传至HCSU工具指定路径/opt/cloud/HUAWEI_CLOUD_Stack_Update/src/pkg路径下；已获取环境配套版本账号一览表；已获取目标版本的...
- 一、试用期场景试用期不影响所有业务1、试用期内所有业务正常操作2、超过试用期，不允许扩容，产品模式不允许运维操作二、扩容时合法性校验1、规则License状态判定：License是否合法，试用期+超期+超限a) 超期限制：截止时间为max(试用期, (过期时间 + 超期上浮天数), 宽限期截止时间)b) 超期提示：vCpu的license已过期，请重新申请license。c) 超量限制：可使... 一、试用期场景试用期不影响所有业务1、试用期内所有业务正常操作2、超过试用期，不允许扩容，产品模式不允许运维操作二、扩容时合法性校验1、规则License状态判定：License是否合法，试用期+超期+超限a) 超期限制：截止时间为max(试用期, (过期时间 + 超期上浮天数), 宽限期截止时间)b) 超期提示：vCpu的license已过期，请重新申请license。c) 超量限制：可使...
- 本报告目的是测试企业内部用的TP-LINK TL-R478G+的性能，是标准的benchmark过程。 这个路由器市场价600块钱左右，定位是中小企业内部使用。 如果是做骨干网级的高端网络设备测试，还有高端的大型硬件网络测试仪。 对于网络设备的测试，在选型、验收这样的目标下，可以参考这篇文章 本报告目的是测试企业内部用的TP-LINK TL-R478G+的性能，是标准的benchmark过程。 这个路由器市场价600块钱左右，定位是中小企业内部使用。 如果是做骨干网级的高端网络设备测试，还有高端的大型硬件网络测试仪。 对于网络设备的测试，在选型、验收这样的目标下，可以参考这篇文章
- Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具，Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。提供Web UI进行可视化的集群管理，简化了大数据平台的安装、使用难度。服务器资源目录ip地址节点组件192.168.186.... Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具，Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。提供Web UI进行可视化的集群管理，简化了大数据平台的安装、使用难度。服务器资源目录ip地址节点组件192.168.186....
- Add Service集群部署选择全部clientNEXT安装完成 Summary 注意提示 Important: After closing this wizard, please restart all services that have the restart indicator next to the service name. 重要提示：关闭此向导后，请重新启动服务名称旁边有重... Add Service集群部署选择全部clientNEXT安装完成 Summary 注意提示 Important: After closing this wizard, please restart all services that have the restart indicator next to the service name. 重要提示：关闭此向导后，请重新启动服务名称旁边有重...
- add service选择StormAdd Server Wizard Nimbus ambari-01 ambari-02 ambari-03 Storm UI Server ambari-03 DRPC Server ambari-03Supervisor自定义Storm的配置 配置选择默认忽略提示信息，点击"PROCEED ANYWAY"D... add service选择StormAdd Server Wizard Nimbus ambari-01 ambari-02 ambari-03 Storm UI Server ambari-03 DRPC Server ambari-03Supervisor自定义Storm的配置 配置选择默认忽略提示信息，点击"PROCEED ANYWAY"D...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签