- 引言在数据分析领域，Pandas 是一个非常强大的 Python 库，它提供了灵活的数据结构和丰富的数据操作方法。然而，当我们面对大规模数据集时，使用 Pandas 进行数据处理可能会遇到性能瓶颈、内存不足等问题。本文将由浅入深地介绍在处理大数据集时常见的问题、报错以及如何避免或解决这些问题，并通过代码案例进行解释。 一、常见问题及解决方案 1. 内存占用过高当数据集非常大时，加载整个数据... 引言在数据分析领域，Pandas 是一个非常强大的 Python 库，它提供了灵活的数据结构和丰富的数据操作方法。然而，当我们面对大规模数据集时，使用 Pandas 进行数据处理可能会遇到性能瓶颈、内存不足等问题。本文将由浅入深地介绍在处理大数据集时常见的问题、报错以及如何避免或解决这些问题，并通过代码案例进行解释。 一、常见问题及解决方案 1. 内存占用过高当数据集非常大时，加载整个数据...
- 玩转数据：初学者的大数据处理工具指南 玩转数据：初学者的大数据处理工具指南
- 简介全球年度模拟 NPP-VIIRS 夜光数据集（1992-2023）SVNL（模拟 VIIRS 夜光）数据集提供了 1992 年至 2023 年统一、连续的全球年度 NPP-VIIRS 类夜光数据。 通过跨传感器校准和深度学习方法，该数据集是目前可用的持续时间最长的 NPP-VIIRS 类夜光数据集，时间跨度超过 32 年。该数据集通过使用夜间光 U-Net 超分辨率网络（NTLSRU... 简介全球年度模拟 NPP-VIIRS 夜光数据集（1992-2023）SVNL（模拟 VIIRS 夜光）数据集提供了 1992 年至 2023 年统一、连续的全球年度 NPP-VIIRS 类夜光数据。 通过跨传感器校准和深度学习方法，该数据集是目前可用的持续时间最长的 NPP-VIIRS 类夜光数据集，时间跨度超过 32 年。该数据集通过使用夜间光 U-Net 超分辨率网络（NTLSRU...
- 简介欧空局CCI全球森林地上生物量该数据集更新至v5.01版，提供了2010、2015、2016、2017、2018、2019、2020和2021年的森林地上生物量估计值。 这些估算值来自哥白尼哨兵-1 号任务、环境卫星的 ASAR 仪器和日本宇宙航空研究开发机构的高级陆地观测卫星（ALOS-1 和 ALOS-2）提供的地球观测数据（视年份而定），以及其他地球观测来源提供的额外信息。该数... 简介欧空局CCI全球森林地上生物量该数据集更新至v5.01版，提供了2010、2015、2016、2017、2018、2019、2020和2021年的森林地上生物量估计值。 这些估算值来自哥白尼哨兵-1 号任务、环境卫星的 ASAR 仪器和日本宇宙航空研究开发机构的高级陆地观测卫星（ALOS-1 和 ALOS-2）提供的地球观测数据（视年份而定），以及其他地球观测来源提供的额外信息。该数...
- 2000 年至 2022 年全球天然/半天然草地的年度概率图，30 米的空间分辨 简介该数据集以 30 米的空间分辨率提供了 2000 年至 2022 年全球天然/半天然草地的年度概率图。 由土地与碳实验室全球牧场观察计划制作，绘制的草地范围包括任何土地覆被类型，其中包含至少 30% 以禾本科和草本植物为主的干性或湿性低植被（小于 3 米），以及：最多 50% 的树冠覆盖（大于 5 米）、... 2000 年至 2022 年全球天然/半天然草地的年度概率图，30 米的空间分辨 简介该数据集以 30 米的空间分辨率提供了 2000 年至 2022 年全球天然/半天然草地的年度概率图。 由土地与碳实验室全球牧场观察计划制作，绘制的草地范围包括任何土地覆被类型，其中包含至少 30% 以禾本科和草本植物为主的干性或湿性低植被（小于 3 米），以及：最多 50% 的树冠覆盖（大于 5 米）、...
- 2000 年至 2022 年全球耕地草地的年概率图30 米的空间分辨率 简介该数据集以 30 米的空间分辨率提供了 2000 年至 2022 年全球耕地草地的年概率图。 由土地与碳实验室全球牧场观察计划制作，绘制的草地范围包括任何土地覆被类型，其中包含至少 30% 的干性或湿性低植被，以禾本科和草本植物为主（小于 3 米），以及：最多 50% 的树冠覆盖（大于 5 米）、最多 70% 的其... 2000 年至 2022 年全球耕地草地的年概率图30 米的空间分辨率 简介该数据集以 30 米的空间分辨率提供了 2000 年至 2022 年全球耕地草地的年概率图。 由土地与碳实验室全球牧场观察计划制作，绘制的草地范围包括任何土地覆被类型，其中包含至少 30% 的干性或湿性低植被，以禾本科和草本植物为主（小于 3 米），以及：最多 50% 的树冠覆盖（大于 5 米）、最多 70% 的其...
- ABoVE: MODIS-derived Maximum NDVI, Northern Alaska and Yukon Territory for 2002-2017简介该数据集提供了 2002-2017 年美国阿拉斯加北部和加拿大育空地区每年 1 公里分辨率的最大归一化差异植被指数 (NDVI)，以及 16 年最大 NDVI 产品。 MODIS 产品 MOD13Q1 和 MYD13Q... ABoVE: MODIS-derived Maximum NDVI, Northern Alaska and Yukon Territory for 2002-2017简介该数据集提供了 2002-2017 年美国阿拉斯加北部和加拿大育空地区每年 1 公里分辨率的最大归一化差异植被指数 (NDVI)，以及 16 年最大 NDVI 产品。 MODIS 产品 MOD13Q1 和 MYD13Q...
- 标题详情作者简介愚公搬代码头衔华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主，腾讯云内容共创官，掘金优秀博主，亚马逊技领云博主，51CTO博客专家等。近期荣誉2022年度博客之星TOP2，2023年度博客之星TOP2，2022年华为云十佳博主，2023年华为云十佳博主，2024年华为云十佳... 标题详情作者简介愚公搬代码头衔华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主，腾讯云内容共创官，掘金优秀博主，亚马逊技领云博主，51CTO博客专家等。近期荣誉2022年度博客之星TOP2，2023年度博客之星TOP2，2022年华为云十佳博主，2023年华为云十佳博主，2024年华为云十佳...
- 标题详情作者简介愚公搬代码头衔华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主，腾讯云内容共创官，掘金优秀博主，亚马逊技领云博主，51CTO博客专家等。近期荣誉2022年度博客之星TOP2，2023年度博客之星TOP2，2022年华为云十佳博主，2023年华为云十佳博主，2024年华为云十佳... 标题详情作者简介愚公搬代码头衔华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主，腾讯云内容共创官，掘金优秀博主，亚马逊技领云博主，51CTO博客专家等。近期荣誉2022年度博客之星TOP2，2023年度博客之星TOP2，2022年华为云十佳博主，2023年华为云十佳博主，2024年华为云十佳...
- 标题详情作者简介愚公搬代码头衔华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主，腾讯云内容共创官，掘金优秀博主，亚马逊技领云博主，51CTO博客专家等。近期荣誉2022年度博客之星TOP2，2023年度博客之星TOP2，2022年华为云十佳博主，2023年华为云十佳博主，2024年华为云十佳... 标题详情作者简介愚公搬代码头衔华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主，腾讯云内容共创官，掘金优秀博主，亚马逊技领云博主，51CTO博客专家等。近期荣誉2022年度博客之星TOP2，2023年度博客之星TOP2，2022年华为云十佳博主，2023年华为云十佳博主，2024年华为云十佳...
- GEE数据集：高分辨率真彩色影像 Red-Green-Blue (RGB) ，0.1m简介数码相机是 NEON 机载观测平台（AOP）上的一套仪器的一部分，该平台还包括全波形激光雷达系统和 NEON 成像分光计。 在正射影像处理过程中，数字图像被重新映射到与同时获取的激光雷达和成像光谱仪数据相同的地理投影图上。 生成的图像与正射光谱仪和激光雷达图像共享相同的地图投影网格空间。 由于数码相... GEE数据集：高分辨率真彩色影像 Red-Green-Blue (RGB) ，0.1m简介数码相机是 NEON 机载观测平台（AOP）上的一套仪器的一部分，该平台还包括全波形激光雷达系统和 NEON 成像分光计。 在正射影像处理过程中，数字图像被重新映射到与同时获取的激光雷达和成像光谱仪数据相同的地理投影图上。 生成的图像与正射光谱仪和激光雷达图像共享相同的地图投影网格空间。 由于数码相...
- 简介NEON AOP 表面定向反射率数据是一种高光谱 VSWIR（可见光到短波红外）数据产品，包含 426 个波段，波长从 ~380 nm 到 2510 nm。 波长在 1340-1445 nm 和 1790-1955 nm 之间的波段设置为-100；这些波段是水蒸气吸收波段，没有有效值。 数据集还包含 QA 栅格波段（B427 - B442）。 主要处理步骤包括正射矫正和大气校正。 数... 简介NEON AOP 表面定向反射率数据是一种高光谱 VSWIR（可见光到短波红外）数据产品，包含 426 个波段，波长从 ~380 nm 到 2510 nm。 波长在 1340-1445 nm 和 1790-1955 nm 之间的波段设置为-100；这些波段是水蒸气吸收波段，没有有效值。 数据集还包含 QA 栅格波段（B427 - B442）。 主要处理步骤包括正射矫正和大气校正。 数...
- 简介NEON AOP 表面定向反射率数据是一种高光谱 VSWIR（可见光到短波红外）数据产品，包含 426 个波段，波长从 ~380 nm 到 2510 nm。 波长在 1340-1445 nm 和 1790-1955 nm 之间的波段设置为-100；这些波段是水蒸气吸收波段，没有有效值。 数据集还包含 QA 栅格波段（B427 - B442）。 主要处理步骤包括正射矫正和大气校正。 数据由... 简介NEON AOP 表面定向反射率数据是一种高光谱 VSWIR（可见光到短波红外）数据产品，包含 426 个波段，波长从 ~380 nm 到 2510 nm。 波长在 1340-1445 nm 和 1790-1955 nm 之间的波段设置为-100；这些波段是水蒸气吸收波段，没有有效值。 数据集还包含 QA 栅格波段（B427 - B442）。 主要处理步骤包括正射矫正和大气校正。 数据由...
- NEON LiDAR 数据导出的地表数字模型 (DSM) 和地形数字模型 (DTM)1m分辨率简介由 NEON LiDAR 数据导出的地表数字模型 (DSM) 和地形数字模型 (DTM)。 DSM： 地表特征（存在植被和人工建筑物的地形信息）。 DTM：裸地高程（去除植被和人工建筑的地形信息）。 图像以平均海平面以上的米为单位，并镶嵌在分辨率为 1 米的空间均匀网格上。Catalog o... NEON LiDAR 数据导出的地表数字模型 (DSM) 和地形数字模型 (DTM)1m分辨率简介由 NEON LiDAR 数据导出的地表数字模型 (DSM) 和地形数字模型 (DTM)。 DSM： 地表特征（存在植被和人工建筑物的地形信息）。 DTM：裸地高程（去除植被和人工建筑的地形信息）。 图像以平均海平面以上的米为单位，并镶嵌在分辨率为 1 米的空间均匀网格上。Catalog o...
- 2013-至今激光雷达点云树冠顶部距裸露地面的高度（树冠高度模型；CHM）1m分辨率 简介树冠顶部距裸露地面的高度（树冠高度模型；CHM）。 CHM 源自激光雷达点云，是通过在激光雷达勘测的整个空间范围内创建一个连续的树冠高度估算面而生成的。 点云被分成代表地面和植被回报的类别。 地面分类点用于生成高度归一化点云，提供植被海拔的相对估算值。 然后利用高度归一化植被点生成一个表面，以生成 C... 2013-至今激光雷达点云树冠顶部距裸露地面的高度（树冠高度模型；CHM）1m分辨率 简介树冠顶部距裸露地面的高度（树冠高度模型；CHM）。 CHM 源自激光雷达点云，是通过在激光雷达勘测的整个空间范围内创建一个连续的树冠高度估算面而生成的。 点云被分成代表地面和植被回报的类别。 地面分类点用于生成高度归一化点云，提供植被海拔的相对估算值。 然后利用高度归一化植被点生成一个表面，以生成 C...
上滑加载中
推荐直播
-
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签