- Phoenix开源问题贡献社区 Phoenix开源问题贡献社区
- 大数据时代的技术特点导致一个企业的数据分散存储在不同组件甚至不同地域的不同组件之中，为企业数据的高效使用带来挑战。数据虚拟化技术使应用在不关心数据源的数据格式及物理存储位置的情况下以一种统一的方式获取和使用整个组织中所有的数据。华为云原生数据湖MRS HetuEngine就是一款优秀的数据虚拟化引擎，并在众多企业的数字化转型过程中落地实践。 大数据时代的技术特点导致一个企业的数据分散存储在不同组件甚至不同地域的不同组件之中，为企业数据的高效使用带来挑战。数据虚拟化技术使应用在不关心数据源的数据格式及物理存储位置的情况下以一种统一的方式获取和使用整个组织中所有的数据。华为云原生数据湖MRS HetuEngine就是一款优秀的数据虚拟化引擎，并在众多企业的数字化转型过程中落地实践。
- 操作场景默认情况下，HDFS NameNode自动选择DataNode保存数据的副本。在实际业务中，可能存在以下场景：DataNode上可能存在不同的存储设备，数据需要选择一个合适的存储设备分级存储数据。DataNode不同目录中的数据重要程度不同，数据需要根据目录标签选择一个合适的DataNode节点保存。DataNode集群使用了异构服务器，关键数据需要保存在具有高度可靠性的机架组中。对... 操作场景默认情况下，HDFS NameNode自动选择DataNode保存数据的副本。在实际业务中，可能存在以下场景：DataNode上可能存在不同的存储设备，数据需要选择一个合适的存储设备分级存储数据。DataNode不同目录中的数据重要程度不同，数据需要根据目录标签选择一个合适的DataNode节点保存。DataNode集群使用了异构服务器，关键数据需要保存在具有高度可靠性的机架组中。对...
- 概述传统大数据集群中，用户数据明文保存在HDFS中，集群的维护人员或者恶意攻击者可在OS层面绕过HDFS的权限控制机制或者窃取磁盘直接访问用户数据。FusionInsight MRS引入了Hadoop KMS服务并进行增强，通过对接第三方KMS，可实现数据的透明加密，保障用户数据安全。HDFS支持透明加密，Hive、HBase等在HDFS保存数据的上层组件也将通过HDFS加密保护，加密密钥通... 概述传统大数据集群中，用户数据明文保存在HDFS中，集群的维护人员或者恶意攻击者可在OS层面绕过HDFS的权限控制机制或者窃取磁盘直接访问用户数据。FusionInsight MRS引入了Hadoop KMS服务并进行增强，通过对接第三方KMS，可实现数据的透明加密，保障用户数据安全。HDFS支持透明加密，Hive、HBase等在HDFS保存数据的上层组件也将通过HDFS加密保护，加密密钥通...
- 随着时代发展，数据变得更加开放、共享，客户的业务也面临着多元化处理，原有的集群亟待扩容，另外，推到原有小规模集群的烟囱建设，打造一体化数据湖的诉求也越来越迫切。在这一背景下，原本上千规模的集群已经远远无法满足客户的业务诉求，于是，迫切需要建设上万规模的数据湖。 而上万规模的数据湖如何在进行实验室进行功能、性能、可靠性等方面的测试，也成为我们研发团队需要考虑的问题。 ... 随着时代发展，数据变得更加开放、共享，客户的业务也面临着多元化处理，原有的集群亟待扩容，另外，推到原有小规模集群的烟囱建设，打造一体化数据湖的诉求也越来越迫切。在这一背景下，原本上千规模的集群已经远远无法满足客户的业务诉求，于是，迫切需要建设上万规模的数据湖。 而上万规模的数据湖如何在进行实验室进行功能、性能、可靠性等方面的测试，也成为我们研发团队需要考虑的问题。 ...
- dbeaver是免费和开源为开发人员和数据库管理员通用数据库工具。本文介绍如何配置dbeaver对接FusionInsigth MRS Spark2x dbeaver是免费和开源为开发人员和数据库管理员通用数据库工具。本文介绍如何配置dbeaver对接FusionInsigth MRS Spark2x
- 前提条件 MRS集群中包含kafka\flink\redis且各个服务运行正常 数据流向&业务逻辑 本样例是将kafka读的数据通过Flink解析后，统计不同account账号总消费金额，然后将结果缓存进redis，通过Redis查询最终的消费统计结果。 样例数据 {"account": "A6","costs":"35"} {"account": "A7","costs":"36"... 前提条件 MRS集群中包含kafka\flink\redis且各个服务运行正常 数据流向&业务逻辑 本样例是将kafka读的数据通过Flink解析后，统计不同account账号总消费金额，然后将结果缓存进redis，通过Redis查询最终的消费统计结果。 样例数据 {"account": "A6","costs":"35"} {"account": "A7","costs":"36"...
- 获取插件包1. 下载最新版本插件源码包：https://github.com/bells/elasticsearch-analysis-dynamic-synonym/2. 解压源码包并进入代码根目录，执行mvn clean package编译打包，到红框的路径下取插件包，上传到实例节点上。安装插件：1. 使用omm用登录任意esnode1实例主机2. 创建目录 /opt/huawei/Bi... 获取插件包1. 下载最新版本插件源码包：https://github.com/bells/elasticsearch-analysis-dynamic-synonym/2. 解压源码包并进入代码根目录，执行mvn clean package编译打包，到红框的路径下取插件包，上传到实例节点上。安装插件：1. 使用omm用登录任意esnode1实例主机2. 创建目录 /opt/huawei/Bi...
- 将其他关系型数据库中的数据导出成CSV文件，再导入Clickhouse，由于原数据库中的数据许多字段包含双引号以及换行符，为了区分数据内容中的双引号和换行符，需要从原数据库中导出CSV文件时，指定分隔符为特殊字符'ESC'，在导入到Clickhouse时，我们需要指定format_csv_delimiter为该字符。原始的CSV文件中一条数据的格式如图所示：1、首先我们需要先根据所给的数据字... 将其他关系型数据库中的数据导出成CSV文件，再导入Clickhouse，由于原数据库中的数据许多字段包含双引号以及换行符，为了区分数据内容中的双引号和换行符，需要从原数据库中导出CSV文件时，指定分隔符为特殊字符'ESC'，在导入到Clickhouse时，我们需要指定format_csv_delimiter为该字符。原始的CSV文件中一条数据的格式如图所示：1、首先我们需要先根据所给的数据字...
- 1.1 CarbonData如果执行了CarbonData误删除操作，并且core-site.xml中提前配置有fs.trash.interval值（hdfs回收站文件过期时间），并且未超出回收站文件过期时间，则可以分以下场景进行数据恢复。恢复HDFS回收站的数据，需要先知道hdfs回收站目录，一般情况下为“/user/${用户名}/.Trash”。 1.1.1 使用drop table误删... 1.1 CarbonData如果执行了CarbonData误删除操作，并且core-site.xml中提前配置有fs.trash.interval值（hdfs回收站文件过期时间），并且未超出回收站文件过期时间，则可以分以下场景进行数据恢复。恢复HDFS回收站的数据，需要先知道hdfs回收站目录，一般情况下为“/user/${用户名}/.Trash”。 1.1.1 使用drop table误删...
- 1.1.1 Flink任务运行一段时间后卡住但未失败问题现象Flink的运行日志发现，任务运行一段时间后持续打印以下日志：RPC Server Kerberos principal name for service=ClientService is hbase/xxxx.xxxx.xxx.com并且没有出现其它错误。 可能原因HBase在认证过程中缓存中的票据信息没有更新，导致HBase一直... 1.1.1 Flink任务运行一段时间后卡住但未失败问题现象Flink的运行日志发现，任务运行一段时间后持续打印以下日志：RPC Server Kerberos principal name for service=ClientService is hbase/xxxx.xxxx.xxx.com并且没有出现其它错误。 可能原因HBase在认证过程中缓存中的票据信息没有更新，导致HBase一直...
- FusionInsight 产品 之 preinstall 功能简介 及 FAQ##文章摘要本文主要对FusionInsight中preinstall工具功能简单介绍，以及在使用过程中常见的问题进行了简单总结， 目的在于帮助大家对preinstall相关功能有个简单的认识，并在使用过程中方便问题排查。 1. 背景及目的FusionInsight产品在部署时对操作系统、系统软件、OS配置、磁... FusionInsight 产品 之 preinstall 功能简介 及 FAQ##文章摘要本文主要对FusionInsight中preinstall工具功能简单介绍，以及在使用过程中常见的问题进行了简单总结， 目的在于帮助大家对preinstall相关功能有个简单的认识，并在使用过程中方便问题排查。 1. 背景及目的FusionInsight产品在部署时对操作系统、系统软件、OS配置、磁...
- 9月24日华为全联接2021“华为云Stack，使能政企从业务上云到云上创新”专题演讲将在16点30分开始。 其中，清华大学软件学院院长王建民教授，将与华为云Stack总裁尚海峰同台，发表“清华大学携手华为云FusionInsight共筑软件创新体系”演讲，分享由清华大学，携手华为云，共同打造全球大数据社区顶级项目-时序数据库IoTDB，并基于IoTDB成果分享中国软件创新体系实践经验。 9月24日华为全联接2021“华为云Stack，使能政企从业务上云到云上创新”专题演讲将在16点30分开始。 其中，清华大学软件学院院长王建民教授，将与华为云Stack总裁尚海峰同台，发表“清华大学携手华为云FusionInsight共筑软件创新体系”演讲，分享由清华大学，携手华为云，共同打造全球大数据社区顶级项目-时序数据库IoTDB，并基于IoTDB成果分享中国软件创新体系实践经验。
- 2021年，交行通过FusionInsight新版本能力，基于实时数据增量更新入湖、实时计算能力、批流融合，实现海量数据T+0实时供数。离线数据湖全面走向实时数据湖，业务创新更加敏捷。 2021年，交行通过FusionInsight新版本能力，基于实时数据增量更新入湖、实时计算能力、批流融合，实现海量数据T+0实时供数。离线数据湖全面走向实时数据湖，业务创新更加敏捷。
- 9月23日至25日，华为全联接2021在线上正式开幕。其中东华博泰副总经理任东岩，发表“东华博泰携手华为云FusionInsight打造能源大数据解决方案”演讲。 随着我国提出“2030年前碳达峰，2060年前实现碳中和”的目标，东华博泰携手华为云FusionInsight宣布打造能源大数据解决方，打造“五核聚一”的数字化运营架构，共建智慧能源生态圈。 9月23日至25日，华为全联接2021在线上正式开幕。其中东华博泰副总经理任东岩，发表“东华博泰携手华为云FusionInsight打造能源大数据解决方案”演讲。 随着我国提出“2030年前碳达峰，2060年前实现碳中和”的目标，东华博泰携手华为云FusionInsight宣布打造能源大数据解决方，打造“五核聚一”的数字化运营架构，共建智慧能源生态圈。
上滑加载中
推荐直播
-
openEuler Summit 20242024/11/16 周六 09:30-12:00
华为讲师团
2024年11月15日-16日，我们将在北京中关村国际创新中心举办 操作系统大会＆openEuler Summit 2024，本次大会旨在汇聚全球产业发展力量，邀请思想引领者、商业精英、技术专家、合作伙伴以及全球开源基金会等业界同仁，共同探讨操作系统产业发展方向和未来机遇，联合伙伴展示最新合作成果，分享数字化转型实践，以技术驱动创新不断激发新质生产力。
回顾中 -
华为云AI入门课：AI发展趋势与华为愿景2024/11/18 周一 18:20-20:20
Alex 华为云学堂技术讲师
本期直播旨在帮助开发者熟悉理解AI技术概念，AI发展趋势，AI实用化前景，了解熟悉未来主要技术栈，当前发展瓶颈等行业化知识。帮助开发者在AI领域快速构建知识体系，构建职业竞争力。
去报名 -
华为云软件开发生产线（CodeArts）10月新特性解读2024/11/19 周二 19:00-20:00
苏柏亚培 华为云高级产品经理
不知道产品的最新特性？没法和产品团队建立直接的沟通？本期直播产品经理将为您解读华为云软件开发生产线10月发布的新特性，并在直播过程中为您答疑解惑。
去报名
热门标签