- LZO是一种非常高效的压缩算法，相比其它Hadoop支持的压缩算法，它提供极高的解压缩速度，且解压缩速度不受压缩比影响，对压缩包制作索引以后支持文件分片操作，非常适合用于hadoop的分布式处理场景。但由于其开源License问题，MRS和开源Hadoop一样，并没有默认集成hadoop-lzo。下面，我给大家分享一下如何手动编译hadoop-lzo并配置到在Hive服务中。一. 环境准备准... LZO是一种非常高效的压缩算法，相比其它Hadoop支持的压缩算法，它提供极高的解压缩速度，且解压缩速度不受压缩比影响，对压缩包制作索引以后支持文件分片操作，非常适合用于hadoop的分布式处理场景。但由于其开源License问题，MRS和开源Hadoop一样，并没有默认集成hadoop-lzo。下面，我给大家分享一下如何手动编译hadoop-lzo并配置到在Hive服务中。一. 环境准备准...
- 定期清理数据库中垃圾数据、更新统计信息可以提升系统整体运行效率。本文旨在对3种常用的清理和收集命令进行讲解，并汇总整理自动化清理脚本。 定期清理数据库中垃圾数据、更新统计信息可以提升系统整体运行效率。本文旨在对3种常用的清理和收集命令进行讲解，并汇总整理自动化清理脚本。
- 作为本系列的第一篇文章，首先通过对图像分类任务的介绍，指出目前最主流的图像分类模型存在的问题，从而引出度量学习算法。 作为本系列的第一篇文章，首先通过对图像分类任务的介绍，指出目前最主流的图像分类模型存在的问题，从而引出度量学习算法。
- 本文为您介绍如何通过快速购买的方式，创建自己专属的大数据集群。 本文为您介绍如何通过快速购买的方式，创建自己专属的大数据集群。
- Presto 开发UDF：在MRS集群上以插件形式添加自定义函数 Presto 开发UDF：在MRS集群上以插件形式添加自定义函数
- GaussDB (DWS)中的时区分为后台集群时区和客户端时区。后台集群时区默认使用UTC时区，可以通过控制台的集群参数修改页面进行调整。通常情况下集群时区不需要进行修改，设置客户端时区可以对SQL执行产生影响。 查询客户端时区和当前时间。 客户端时区为UTC时区，now()函数返回当前时间。 建立如下数据表CREATE TABLE timezone_test (id int, t1 t... GaussDB (DWS)中的时区分为后台集群时区和客户端时区。后台集群时区默认使用UTC时区，可以通过控制台的集群参数修改页面进行调整。通常情况下集群时区不需要进行修改，设置客户端时区可以对SQL执行产生影响。 查询客户端时区和当前时间。 客户端时区为UTC时区，now()函数返回当前时间。 建立如下数据表CREATE TABLE timezone_test (id int, t1 t...
- 为保证现网数据库稳定运行，需要进行日常例行巡检，以保障系统的软硬件处于良好的工作状态，并能够及时发现可能出现的问题，做好风险预警和问题处理。 为保证现网数据库稳定运行，需要进行日常例行巡检，以保障系统的软硬件处于良好的工作状态，并能够及时发现可能出现的问题，做好风险预警和问题处理。
- MRS 1.8.5及以后的版本，都支持在流式节点上开启LVM特性。LVM特性能有效防止kafka多磁盘场景下topic中因为数据不均导致某个partition流量特别大进而磁盘被写爆。同时开启LVM以后可以做到不重启系统、服务或组件的情况下实现磁盘平滑扩容，保证业务的连续性。下面我就介绍一下如何在开启了LVM的节点上实现Kafka的磁盘扩容操作。1. 购买云硬盘并挂载。a) ... MRS 1.8.5及以后的版本，都支持在流式节点上开启LVM特性。LVM特性能有效防止kafka多磁盘场景下topic中因为数据不均导致某个partition流量特别大进而磁盘被写爆。同时开启LVM以后可以做到不重启系统、服务或组件的情况下实现磁盘平滑扩容，保证业务的连续性。下面我就介绍一下如何在开启了LVM的节点上实现Kafka的磁盘扩容操作。1. 购买云硬盘并挂载。a) ...
- 集群启停问题定位指南1 集群启停基本原理1.1 起停依赖关系描述及图示FIM：集群管理界面，用户可以从FIM界面上下发启动和停止集群操作； cron：系统服务，每一分钟定时查看om_monitor服务是否拉起，如果没有拉起，则拉起；om_monitor：常驻系统，用于拉起cm_agent；cm_agent：起停 cn、dn、gtm、cm_server，以及在停止时，当cn... 集群启停问题定位指南1 集群启停基本原理1.1 起停依赖关系描述及图示FIM：集群管理界面，用户可以从FIM界面上下发启动和停止集群操作； cron：系统服务，每一分钟定时查看om_monitor服务是否拉起，如果没有拉起，则拉起；om_monitor：常驻系统，用于拉起cm_agent；cm_agent：起停 cn、dn、gtm、cm_server，以及在停止时，当cn...
- 1. 通过横向与纵向对比，确定占用空间异常的实例与最小级别目录。（横向对比：单实例或部分实例磁盘使用率异常时，对比不同实例上各目录大小差异；纵向对比：所有实例磁盘使用率异常增高时，与之前的磁盘使用情况进行对比） 2. 确认目录后按照对应场景处理 3. 磁盘使用率达到90%后，处理时需注意集群的只读状态；磁盘使用率达到100%后，直接联系华为工程师 1. 通过横向与纵向对比，确定占用空间异常的实例与最小级别目录。（横向对比：单实例或部分实例磁盘使用率异常时，对比不同实例上各目录大小差异；纵向对比：所有实例磁盘使用率异常增高时，与之前的磁盘使用情况进行对比） 2. 确认目录后按照对应场景处理 3. 磁盘使用率达到90%后，处理时需注意集群的只读状态；磁盘使用率达到100%后，直接联系华为工程师
- 资源管控的目的是基于业务场景和可用资源，进行合理的资源与并发度管控，以保障数据库可以在高负载场景下正常运行，不会因为资源争抢和耗尽出现系统卡死，提升系统整体吞吐量。 资源管控的目的是基于业务场景和可用资源，进行合理的资源与并发度管控，以保障数据库可以在高负载场景下正常运行，不会因为资源争抢和耗尽出现系统卡死，提升系统整体吞吐量。
- 图像配准是计算机视觉中的经典难题之一，在医学领域有重要的作用。本文简要介绍了其传统方法和前沿深度学习方法VoxelMorph。 图像配准是计算机视觉中的经典难题之一，在医学领域有重要的作用。本文简要介绍了其传统方法和前沿深度学习方法VoxelMorph。
- nnU-net（No New U-Net）是一个基于U-Net的自适应分割网络，从Pipline角度对生物医学图像分割问题尝试实现通用型解决方案。nnU-net自2018年正式提出，到2020年依然不断地在完善[1,2,3]。 nnU-net（No New U-Net）是一个基于U-Net的自适应分割网络，从Pipline角度对生物医学图像分割问题尝试实现通用型解决方案。nnU-net自2018年正式提出，到2020年依然不断地在完善[1,2,3]。
- yarn还有资源，为什么我任务启动更多的container； yarn队列资源为什么能使用到200%，超过限制使用值； yarn还有资源，但是提交任务一直处于Pending状态； yarn还有资源，为什么我任务启动更多的container； yarn队列资源为什么能使用到200%，超过限制使用值； yarn还有资源，但是提交任务一直处于Pending状态；
- 数据湖探索（DLI）作为华为云大数据分析平台，计费项有存储费用与计算费用，计费类型有包周期，包套餐和按需。本文简单介绍下DLI的计费，并使用华为云DLI上的实际消费数据（文中涉及账户的信息已脱敏），在DLI的大数据分析平台上分析，找出费用优化的空间，并给出使用DLI过程中降成本的一些措施。一、DLI的计费简介数据湖探索服务目前支持三种作业：SQL作业，Flink作业和Spark作业。SQL作... 数据湖探索（DLI）作为华为云大数据分析平台，计费项有存储费用与计算费用，计费类型有包周期，包套餐和按需。本文简单介绍下DLI的计费，并使用华为云DLI上的实际消费数据（文中涉及账户的信息已脱敏），在DLI的大数据分析平台上分析，找出费用优化的空间，并给出使用DLI过程中降成本的一些措施。一、DLI的计费简介数据湖探索服务目前支持三种作业：SQL作业，Flink作业和Spark作业。SQL作...
上滑加载中
推荐直播
-
OpenHarmony应用开发之网络数据请求与数据解析2025/01/16 周四 19:00-20:30
华为开发者布道师、南京师范大学泰州学院副教授，硕士研究生导师，开放原子教育银牌认证讲师
科技浪潮中，鸿蒙生态强势崛起，OpenHarmony开启智能终端无限可能。当下，其原生应用开发适配潜力巨大，终端设备已广泛融入生活各场景，从家居到办公、穿戴至车载。 现在，机会敲门！我们的直播聚焦OpenHarmony关键的网络数据请求与解析，抛开晦涩理论，用真实案例带你掌握数据访问接口，轻松应对复杂网络请求、精准解析Json与Xml数据。参与直播，为开发鸿蒙App夯实基础，抢占科技新高地，别错过！
回顾中 -
Ascend C高层API设计原理与实现系列2025/01/17 周五 15:30-17:00
Ascend C 技术专家
以LayerNorm算子开发为例，讲解开箱即用的Ascend C高层API
回顾中
热门标签