- 目录 前言 一、使用http的方式访问hdfs 二、hdfs各组件及其作用 三、hdfs中的数据块（Block） 四、java api 操作hdfs 五、java 开发 hdfs 应用时注意的事项 六、DataNode心跳机制的作用 七、NameNode中EditsLog 和FSImage 的作用 八、SecondaryNameNode ... 目录 前言 一、使用http的方式访问hdfs 二、hdfs各组件及其作用 三、hdfs中的数据块（Block） 四、java api 操作hdfs 五、java 开发 hdfs 应用时注意的事项 六、DataNode心跳机制的作用 七、NameNode中EditsLog 和FSImage 的作用 八、SecondaryNameNode ...
- 写在前面：博主是一只经过实战开发历练后投身培训事业的“小山猪”，昵称取自动画片《狮子王》中的“彭彭”，总是以乐观、积极的心态对待周边的事物。本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。同时，博主也想通过此次尝试打造一个完善的技术图书馆，任何与文章技术点有关的异常、错误、注... 写在前面：博主是一只经过实战开发历练后投身培训事业的“小山猪”，昵称取自动画片《狮子王》中的“彭彭”，总是以乐观、积极的心态对待周边的事物。本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。同时，博主也想通过此次尝试打造一个完善的技术图书馆，任何与文章技术点有关的异常、错误、注...
- 一、zookeeper 下载 安装 cdh 版本的 zookeeper 下载地址 http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.7.0.tar.gz 解压 tar -zxvf zookeeper-3.4.5-cdh5.7.0.tar.gz 配置环境变量 export ZK_HOME=/home/h... 一、zookeeper 下载 安装 cdh 版本的 zookeeper 下载地址 http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.7.0.tar.gz 解压 tar -zxvf zookeeper-3.4.5-cdh5.7.0.tar.gz 配置环境变量 export ZK_HOME=/home/h...
- 随着HDFS系列的完结，下面就到了MapReduce系列了，很荣幸各位小伙伴们能够继续一如既往的观看博主的博文。 目录 1. MapReduce的核心思想2. 分布式并行计算框架MapReduce3. MapReduce设计构思1. 如何对付大数据处理：分而治之2. 构建抽象模型：Map和Reduce3. 统一构架，隐藏系统层细节 1.... 随着HDFS系列的完结，下面就到了MapReduce系列了，很荣幸各位小伙伴们能够继续一如既往的观看博主的博文。 目录 1. MapReduce的核心思想2. 分布式并行计算框架MapReduce3. MapReduce设计构思1. 如何对付大数据处理：分而治之2. 构建抽象模型：Map和Reduce3. 统一构架，隐藏系统层细节 1....
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 一、下载 安装cdh 版本 hbase 下载地址 http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.7.0.tar.gz tar -zxvf hbase-1.2.0-cdh5.7.0.tar.gz cd /opt/hbase-1.2.0-cdh5.7.0/conf 修改 hbase-env.sh配置文件... 一、下载 安装cdh 版本 hbase 下载地址 http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.7.0.tar.gz tar -zxvf hbase-1.2.0-cdh5.7.0.tar.gz cd /opt/hbase-1.2.0-cdh5.7.0/conf 修改 hbase-env.sh配置文件...
- Flume 日志收集框架入门 一、 flume 简介 Apache Flume是一个分布式，可靠且可用的系统，用于有效地从许多不同的源收集，聚合和移动大量日志数据到集中式数据存储。 Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的，因此Flume可用于传... Flume 日志收集框架入门 一、 flume 简介 Apache Flume是一个分布式，可靠且可用的系统，用于有效地从许多不同的源收集，聚合和移动大量日志数据到集中式数据存储。 Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的，因此Flume可用于传...
- 全国各大校园即将迎来学校复学大潮，大量学生进入校区都要经过测量体温的程序。针对学校传统考勤以及测温方式的效率低下、数据手动上传、疫情反应不及时等弊端，厦门云脉全力推出校园防疫系统，助力校园防疫工作，严防疫情向校园蔓延。云脉校园防疫系统以AI人脸检测技术和红外热成像仪测温技术为基础，可以实现智能测温门禁管控、人脸识别核验身份、健康自查、高温预警、数据汇总上报、校园考勤、轨迹检测、访客管理等功能... 全国各大校园即将迎来学校复学大潮，大量学生进入校区都要经过测量体温的程序。针对学校传统考勤以及测温方式的效率低下、数据手动上传、疫情反应不及时等弊端，厦门云脉全力推出校园防疫系统，助力校园防疫工作，严防疫情向校园蔓延。云脉校园防疫系统以AI人脸检测技术和红外热成像仪测温技术为基础，可以实现智能测温门禁管控、人脸识别核验身份、健康自查、高温预警、数据汇总上报、校园考勤、轨迹检测、访客管理等功能...
- 全国各大校园即将迎来学校复学大潮，大量学生进入校区都要经过测量体温的程序。为了方便学生尽快入校园复学，厦门云脉基于人脸识别技术及移动开发技术优势，推出了疫情防控神器。人脸识别通过刷脸更智能地识别学生身份，将学生现场采集的照片与数据库中存储的照片进行精准对比，判断非学生本人风险，在校园教学场所发挥快速入园提升效率的价值。访客人员管控，OCR证件识别针对校园外人员进入校园，需严格进行现场登记身份... 全国各大校园即将迎来学校复学大潮，大量学生进入校区都要经过测量体温的程序。为了方便学生尽快入校园复学，厦门云脉基于人脸识别技术及移动开发技术优势，推出了疫情防控神器。人脸识别通过刷脸更智能地识别学生身份，将学生现场采集的照片与数据库中存储的照片进行精准对比，判断非学生本人风险，在校园教学场所发挥快速入园提升效率的价值。访客人员管控，OCR证件识别针对校园外人员进入校园，需严格进行现场登记身份...
- 新三板上市公司元鼎科技（831126）于4月15日披露了2015年度财务报告。依据财报，公司2015年实现营业收入1.73亿元，同比增长70.96%;实现归属于挂牌公司股东的净利润773.16万元，较上年同期增长102.4%。 元鼎科技2015年实现营收和利润双双大增的主要原因，一方面是公司在2015年加大了市场开拓力度，相继获得了联想集团、滴滴打车、内蒙古农村信用社等多个重要项目和新... 新三板上市公司元鼎科技（831126）于4月15日披露了2015年度财务报告。依据财报，公司2015年实现营业收入1.73亿元，同比增长70.96%;实现归属于挂牌公司股东的净利润773.16万元，较上年同期增长102.4%。 元鼎科技2015年实现营收和利润双双大增的主要原因，一方面是公司在2015年加大了市场开拓力度，相继获得了联想集团、滴滴打车、内蒙古农村信用社等多个重要项目和新...
- 一、社区应急系统, 助力疫情防控【背景】基于目前新型冠状病毒感染的肺炎疫情形势严峻，小区开展住户疫情防控排查登记工作。工作人员在小区门口设立疫情防控执勤点，将进出小区的住户拦下登记每个住户家庭成员的信息。由于小区住户较多，工作人员较少，时间紧，任务重，工作效率低。为提高工作进度，避免住户扎堆下来登记有交叉感染的风险，厦门云脉基于OCR技术及移动开发技术优势，推出社区出入管控产品。■人工登记，... 一、社区应急系统, 助力疫情防控【背景】基于目前新型冠状病毒感染的肺炎疫情形势严峻，小区开展住户疫情防控排查登记工作。工作人员在小区门口设立疫情防控执勤点，将进出小区的住户拦下登记每个住户家庭成员的信息。由于小区住户较多，工作人员较少，时间紧，任务重，工作效率低。为提高工作进度，避免住户扎堆下来登记有交叉感染的风险，厦门云脉基于OCR技术及移动开发技术优势，推出社区出入管控产品。■人工登记，...
- 摘要与邀擂：霍金写了《时间简史》，布莱森写了《万物简史》，格雷克写了《信息简史》…。这些简史真的好精彩哟！不但出神入化，而且还能改变读者的世界观！唉～，咱安全界，谁能出面也写部“外行不觉深，内行不觉浅”的《安全简史》来“为百姓明心，为专家见性；为安全写简史，为学科开通论”呀！可惜，论“文”，咱比不过“旅游文学作家”布莱森和“科普畅销书作家”格雷克；论“武”，更不敢比世界顶级科学家霍金。可是，... 摘要与邀擂：霍金写了《时间简史》，布莱森写了《万物简史》，格雷克写了《信息简史》…。这些简史真的好精彩哟！不但出神入化，而且还能改变读者的世界观！唉～，咱安全界，谁能出面也写部“外行不觉深，内行不觉浅”的《安全简史》来“为百姓明心，为专家见性；为安全写简史，为学科开通论”呀！可惜，论“文”，咱比不过“旅游文学作家”布莱森和“科普畅销书作家”格雷克；论“武”，更不敢比世界顶级科学家霍金。可是，...
- 为了能更好地理解数据科学，我们即将翻开历史，检视它所包含的新规则，以及它所带来的新思维，同样，还有它所带来的新变化。数据科学领域的历史“数据科学”这一术语的流行要早于“大数据”的出现（就像“数据”一词要早于“计算机（computer）”400年出现）。1962年，当John W. Tukey写了《数据分析的未来》（The Future of Data Analysis），他预见了数据分析的新... 为了能更好地理解数据科学，我们即将翻开历史，检视它所包含的新规则，以及它所带来的新思维，同样，还有它所带来的新变化。数据科学领域的历史“数据科学”这一术语的流行要早于“大数据”的出现（就像“数据”一词要早于“计算机（computer）”400年出现）。1962年，当John W. Tukey写了《数据分析的未来》（The Future of Data Analysis），他预见了数据分析的新...
- 本节书摘来自华章计算机《工业APP：开启数字工业时代 》 一书中第1章，第1.1节，作者是何 强 李义章 。 本节书摘来自华章计算机《工业APP：开启数字工业时代 》 一书中第1章，第1.1节，作者是何 强 李义章 。
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人；蒋春阳-华为云AI开发者案例开发专家
本期直播内容： AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了：看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签