- 一、概述Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。 二、安装部署序号IP地址主机名系统版本1172.20.2.222... 一、概述Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。 二、安装部署序号IP地址主机名系统版本1172.20.2.222...
- 一、概述Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具,Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。提供Web UI进行可视化的集群管理,简化了大数据平台的安装、使用难度。 二、安装部署 2.1 主机规划序号IP地址... 一、概述Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具,Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。提供Web UI进行可视化的集群管理,简化了大数据平台的安装、使用难度。 二、安装部署 2.1 主机规划序号IP地址...
- 随着数据湖技术从离线向实时的发展,数据湖在业务已逐渐从辅助决策向实时决策,实时干预甚至提前预防的方向发展,同时,随着国家把数据作为第五种生产要素,数据据价值在逐步提升,这样对海量数据湖的可靠性提出了新的要求。本文主要介绍了MRS应对业务和数据可靠性方面的三种解决方案。 随着数据湖技术从离线向实时的发展,数据湖在业务已逐渐从辅助决策向实时决策,实时干预甚至提前预防的方向发展,同时,随着国家把数据作为第五种生产要素,数据据价值在逐步提升,这样对海量数据湖的可靠性提出了新的要求。本文主要介绍了MRS应对业务和数据可靠性方面的三种解决方案。
- 中译语通科技(青岛)有限公司是中译语通科技股份有限公司的全资子公司,自主研发了覆盖数据采集、大数据分析及可视化、知识图谱、机器学习、多语言语音识别等领域的先进技术,并构建了以大数据平台、大数据应用及行业解决方案为核心的跨语言大数据生态体系。在此基础上中译语通深耕垂直领域,推出了工业大数据、智能制造大数据、设备大数据、智能手表、智能数采盒等产品及解决方案,先后为纺织机械、环保产业... 中译语通科技(青岛)有限公司是中译语通科技股份有限公司的全资子公司,自主研发了覆盖数据采集、大数据分析及可视化、知识图谱、机器学习、多语言语音识别等领域的先进技术,并构建了以大数据平台、大数据应用及行业解决方案为核心的跨语言大数据生态体系。在此基础上中译语通深耕垂直领域,推出了工业大数据、智能制造大数据、设备大数据、智能手表、智能数采盒等产品及解决方案,先后为纺织机械、环保产业...
- ConfigCommand 动态配置 ConfigCommand 动态配置
- 前言 Apache DolphinScheduler(海豚调度),是一款分布式易扩展的带有强大可视化 DAG 界面的新一代工作流任务调度系统,致力于“解决大数据任务之间错综复杂的依赖关系,并监控整个数据处理过程”。它能够实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及 Kill 任务等操作。 正文 Apache DolphinScheduler 作为一款分布式易扩展的带有强大 前言 Apache DolphinScheduler(海豚调度),是一款分布式易扩展的带有强大可视化 DAG 界面的新一代工作流任务调度系统,致力于“解决大数据任务之间错综复杂的依赖关系,并监控整个数据处理过程”。它能够实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及 Kill 任务等操作。 正文 Apache DolphinScheduler 作为一款分布式易扩展的带有强大
- 相信每一个程序猿在写Unit Test的时候都会碰到一些令人头疼的问题:如何测试一个rest接口;如何测试一个包含客户端调用服务端的复杂方法;如何测试一个包含从数据库读取数据的复杂方法。。。这些问题mockito都可以帮我们轻松地解决。 相信每一个程序猿在写Unit Test的时候都会碰到一些令人头疼的问题:如何测试一个rest接口;如何测试一个包含客户端调用服务端的复杂方法;如何测试一个包含从数据库读取数据的复杂方法。。。这些问题mockito都可以帮我们轻松地解决。
- 金融数字化转型之路怎么走?华为云分会场这几位大咖是这么说的 金融数字化转型之路怎么走?华为云分会场这几位大咖是这么说的
- 2021年4月21日,中国太平洋保险集团联合华为云完成全球首例大数据集群跨多版本滚动升级,突破传统方案需离线停机多次升级模式,一次性将现网集群由FusionInsight HD C70升级到FusionInsight MRS 8.0.2,横跨C80、6.5.1两个版本,同时完成了大数据集群从物理机向云服务的模式转变,实现同业首例突破,升级过程业务无感,全程集群作业无中断、性能无影响。 2021年4月21日,中国太平洋保险集团联合华为云完成全球首例大数据集群跨多版本滚动升级,突破传统方案需离线停机多次升级模式,一次性将现网集群由FusionInsight HD C70升级到FusionInsight MRS 8.0.2,横跨C80、6.5.1两个版本,同时完成了大数据集群从物理机向云服务的模式转变,实现同业首例突破,升级过程业务无感,全程集群作业无中断、性能无影响。
- MRS3.1.1-LTS版HetuEngine新特性: 新增UDF SQL语法,支持Remote UDF计算下推. 是跨源跨域解决方案的关键部分,满足无限膨胀的第三方异构数据源UDF匹配需求. 同时, 在使用新语法CREATE/DROP FUNCTION语法后,不需要重启任何的服务或者计算集群就能生效, 减少使用的成本。 MRS3.1.1-LTS版HetuEngine新特性: 新增UDF SQL语法,支持Remote UDF计算下推. 是跨源跨域解决方案的关键部分,满足无限膨胀的第三方异构数据源UDF匹配需求. 同时, 在使用新语法CREATE/DROP FUNCTION语法后,不需要重启任何的服务或者计算集群就能生效, 减少使用的成本。
- 北师智慧智学伴教学系统以“教、学、测、评、育”教育全场景的智慧教育解决方案,积极响应国家教育信息化2.0建设要求,帮助地区政府实现教育产业数字化转型发展,让每个孩子得到优质的教育资源,让每个孩子成为最好的自己! 北师智慧智学伴教学系统以“教、学、测、评、育”教育全场景的智慧教育解决方案,积极响应国家教育信息化2.0建设要求,帮助地区政府实现教育产业数字化转型发展,让每个孩子得到优质的教育资源,让每个孩子成为最好的自己!
- 随着技术的普及,越来越多的企业在筹划、推进物联网领域的建设项目,另一方面越来越多的 IT 企业进入到物联网服务领域。相较于其他项目,物联网项目有其特殊性,本文旨在建立起一种实施参考,以有助于项目规划的思考、项目提案的分析、项目建设实施的有序推进等工作。理解物联网技术领域的发展有两个特点:第一是,一批批技术人员前赴后继地推进,每个进展都是在既有技术总和的基础上增加了一层;第二是,伟大的进展是大... 随着技术的普及,越来越多的企业在筹划、推进物联网领域的建设项目,另一方面越来越多的 IT 企业进入到物联网服务领域。相较于其他项目,物联网项目有其特殊性,本文旨在建立起一种实施参考,以有助于项目规划的思考、项目提案的分析、项目建设实施的有序推进等工作。理解物联网技术领域的发展有两个特点:第一是,一批批技术人员前赴后继地推进,每个进展都是在既有技术总和的基础上增加了一层;第二是,伟大的进展是大...
- 在实际的大数据工程部署中,多个业务部门经常需要运行多个数据应用,在搭建Hadoop集群时,经常面临如何划分大数据集群及进行资源隔离的问题。本文分析如何综合使用物理多租和逻辑多租,来进行大数据集群划分和资源管理。 在实际的大数据工程部署中,多个业务部门经常需要运行多个数据应用,在搭建Hadoop集群时,经常面临如何划分大数据集群及进行资源隔离的问题。本文分析如何综合使用物理多租和逻辑多租,来进行大数据集群划分和资源管理。
- 2021年6月18日,华为云TechWave全球技术峰会(人工智能&数据)在上海举行,以“创新普惠”为主题,分享技术创新与行业实践。华为云大力投入数据、人工智能领域,发布数据和AI系列新品,加速千行百业智能升级。华为云FusionInsight智能数据湖在峰会上呈现了创新技术及成功实践案例。 2021年6月18日,华为云TechWave全球技术峰会(人工智能&数据)在上海举行,以“创新普惠”为主题,分享技术创新与行业实践。华为云大力投入数据、人工智能领域,发布数据和AI系列新品,加速千行百业智能升级。华为云FusionInsight智能数据湖在峰会上呈现了创新技术及成功实践案例。
上滑加载中
推荐直播
-
华为云码道-玩转OpenClaw,在线养虾2026/03/11 周三 19:00-21:00
刘昱,华为云高级工程师/谈心,华为云技术专家/李海仑,上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈,华为云码道最新推出 Skill ——开发者只需输入一句口令,即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道,玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力,华为云开发者生态运营总监/姚圣伟,华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发,看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw,让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作:基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟,华为云软件研发工程师/万邵业(万少),华为云HCDE开发者专家
本次直播带来两大实战:华为云码道 Skill-Creator 手把手搭建专属知识库 Skill;如何用码道提效 OpenClaw 小说文本,打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路,一次讲透!
回顾中
热门标签