- 刷帖子翻页需要分页查询，搜索商品也需分页查询。当遇到上千万、上亿数据量，怎么快速拉取全量数据呢？比如：大商家拉取每月千万级别的订单数量到自己独立的ISV做财务统计拥有百万千万粉丝的大v，给全部粉丝推送消息 案例常见错误写法SELECT *FROM tablewhere kid = 1342 and type = 1order id asclimit 149420,20;典型的排序+分页查询... 刷帖子翻页需要分页查询，搜索商品也需分页查询。当遇到上千万、上亿数据量，怎么快速拉取全量数据呢？比如：大商家拉取每月千万级别的订单数量到自己独立的ISV做财务统计拥有百万千万粉丝的大v，给全部粉丝推送消息 案例常见错误写法SELECT *FROM tablewhere kid = 1342 and type = 1order id asclimit 149420,20;典型的排序+分页查询...
- 【云驻共创】完全零基础，怎样入门大数据？ 本文从三个方向说明学习过程，可以进行快速入门，当然个人建议大学生们夯实基础，逐一进行，已经工作的可以跳过基础，直接进入第三部分。 1、大数据发展趋势（目的：帮助您坚定思想） 2、大数据基础铺垫（目的：帮助您打牢基础） 3、大数据正式学习（目的：帮助您项目实操） 潜心学习，必有收获。 【云驻共创】完全零基础，怎样入门大数据？ 本文从三个方向说明学习过程，可以进行快速入门，当然个人建议大学生们夯实基础，逐一进行，已经工作的可以跳过基础，直接进入第三部分。 1、大数据发展趋势（目的：帮助您坚定思想） 2、大数据基础铺垫（目的：帮助您打牢基础） 3、大数据正式学习（目的：帮助您项目实操） 潜心学习，必有收获。
- 大家好，我是程序员学长。距离上次更文已经相隔一个多月了，大家不会把我给忘了吧，哈哈~~由于最近一直在忙家里装修的事情，所以就一直没精力去更新文章，好在基本已经搞得差不多了，也可以回归了，等彻底搞定了，给大家分享出来。金三银四马上就要到了，去年更新的高频算法系列基本已经更新完事了，一共有100多道面试高频题，每道题都有详细的解析。如果需要这份pdf，大家可以关注公众号，回复666，可得。资料获... 大家好，我是程序员学长。距离上次更文已经相隔一个多月了，大家不会把我给忘了吧，哈哈~~由于最近一直在忙家里装修的事情，所以就一直没精力去更新文章，好在基本已经搞得差不多了，也可以回归了，等彻底搞定了，给大家分享出来。金三银四马上就要到了，去年更新的高频算法系列基本已经更新完事了，一共有100多道面试高频题，每道题都有详细的解析。如果需要这份pdf，大家可以关注公众号，回复666，可得。资料获...
- 华为云探访帆软软件 | 从一家好公司，做个好产品开始 华为云探访帆软软件 | 从一家好公司，做个好产品开始
- 数字化转型是以支撑主业成功为目标，构建全球高质量竞争力。在过去5年，华为依托丰富的业务场景不断扩大实践范围，从战略决心、业务重构等方面不断推进数字化转型，在追求客户满意的同时实现效率和效益的提升，并通过数字化的引入为华为带来新的商业价值。 数字化转型是以支撑主业成功为目标，构建全球高质量竞争力。在过去5年，华为依托丰富的业务场景不断扩大实践范围，从战略决心、业务重构等方面不断推进数字化转型，在追求客户满意的同时实现效率和效益的提升，并通过数字化的引入为华为带来新的商业价值。
- InceptionV3实战：tensorflow2.X版本，InceptionV3图像分类任务（大数据集） 摘要本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，今天我和大家一起实现tensorflow2，分类的模型使用InceptionV3。本文实现的算法有一下几个特点：1、自定义了图片加载方式，更加灵活高效，不用将图片一次性加载到内存中，节省内存,适合大规模数据集。2... InceptionV3实战：tensorflow2.X版本，InceptionV3图像分类任务（大数据集） 摘要本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，今天我和大家一起实现tensorflow2，分类的模型使用InceptionV3。本文实现的算法有一下几个特点：1、自定义了图片加载方式，更加灵活高效，不用将图片一次性加载到内存中，节省内存,适合大规模数据集。2...
- ResNet实战：tensorflow2.X版本，ResNet50图像分类任务（大数据集） 摘要本例提取了猫狗大战数据集中的部分数据做数据集，演示tensorflow2.X版本如何使用Keras实现图像分类，分类的模型使用ResNet50。本文实现的算法有一下几个特点：1、自定义了图片加载方式，更加灵活高效，不用将图片一次性加载到内存中，节省内存,适合大规模数据集。2、加载模型的预训练权重... ResNet实战：tensorflow2.X版本，ResNet50图像分类任务（大数据集） 摘要本例提取了猫狗大战数据集中的部分数据做数据集，演示tensorflow2.X版本如何使用Keras实现图像分类，分类的模型使用ResNet50。本文实现的算法有一下几个特点：1、自定义了图片加载方式，更加灵活高效，不用将图片一次性加载到内存中，节省内存,适合大规模数据集。2、加载模型的预训练权重...
- 摘要本例提取了猫狗大战数据集中的部分数据做数据集，演示tensorflow2.0以上的版本如何使用Keras实现图像分类，分类的模型使用DenseNet121。本文实现的算法有一下几个特点：1、自定义了图片加载方式，更加灵活高效，节省内存2、加载模型的预训练权重，训练时间更短。3、数据增强选用albumentations。 训练 第一步 导入需要的数据包，设置全局参数import nump... 摘要本例提取了猫狗大战数据集中的部分数据做数据集，演示tensorflow2.0以上的版本如何使用Keras实现图像分类，分类的模型使用DenseNet121。本文实现的算法有一下几个特点：1、自定义了图片加载方式，更加灵活高效，节省内存2、加载模型的预训练权重，训练时间更短。3、数据增强选用albumentations。 训练 第一步 导入需要的数据包，设置全局参数import nump...
- 有不少同学 对 acks 和 min.insync.replicas 的配置存在不少误解. 那么你确定掌握了吗 有不少同学 对 acks 和 min.insync.replicas 的配置存在不少误解. 那么你确定掌握了吗
- 引言 不知道你是否和我有过同样的感受，《计算机组成原理》这门学科学起来如此的艰难：一节课下来，教室黑板上留下了满满的 “足迹”，看上去也挺简单的，不就是 0 和 1 嘛。但这些看起来简简单单的 0 1 码却成为了我当时学习路上的绊脚石。源码、反码、补码等等等等，各种的码制转换令我一头雾水，我曾一度怀疑这就是计算机干的活儿吗？ 随着后面慢慢了解《计算机组成原理》后，我愿称计算机为世界上最... 引言 不知道你是否和我有过同样的感受，《计算机组成原理》这门学科学起来如此的艰难：一节课下来，教室黑板上留下了满满的 “足迹”，看上去也挺简单的，不就是 0 和 1 嘛。但这些看起来简简单单的 0 1 码却成为了我当时学习路上的绊脚石。源码、反码、补码等等等等，各种的码制转换令我一头雾水，我曾一度怀疑这就是计算机干的活儿吗？ 随着后面慢慢了解《计算机组成原理》后，我愿称计算机为世界上最...
- 马上过年了，紧接着就是一年一度的跳槽季，送上一份Spark面试干货，提前预热~~ 马上过年了，紧接着就是一年一度的跳槽季，送上一份Spark面试干货，提前预热~~
- 海量数据实时计算：Spark和Flink引擎如何保证Exactly-Once一致性？ 海量数据实时计算：Spark和Flink引擎如何保证Exactly-Once一致性？
- 今天和大家介绍Spark的内存模型，干货多多，不要错过奥~ 今天和大家介绍Spark的内存模型，干货多多，不要错过奥~
- 技术背景随着互联网高速的发展，云计算、大数据、人工智能AI、物联网等前沿技术已然成为当今时代主流的高新技术，诸如电商网站、人脸识别、无人驾驶、智能家居、智慧城市等等，不仅方面方便了人们的衣食住行，背后更是时时刻刻有大量的数据在经过各种各样的系统平台的采集、清晰、分析，而保证数据的低时延、高吞吐、安全性就显得尤为重要，Apache Avro本身通过Schema的方式序列化后进行二进制传输，一方... 技术背景随着互联网高速的发展，云计算、大数据、人工智能AI、物联网等前沿技术已然成为当今时代主流的高新技术，诸如电商网站、人脸识别、无人驾驶、智能家居、智慧城市等等，不仅方面方便了人们的衣食住行，背后更是时时刻刻有大量的数据在经过各种各样的系统平台的采集、清晰、分析，而保证数据的低时延、高吞吐、安全性就显得尤为重要，Apache Avro本身通过Schema的方式序列化后进行二进制传输，一方...
- 1.Hive 表关联查询，如何解决数据倾斜的问题？1.倾斜原因：map 输出数据按 key Hash 的分配到 reduce 中，由于 key 分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的 reduce 上的数据量差异过大。1）key 分布不均匀;2）业务数据本身的特性;3）建表时考虑不周;4）某些 SQL 语句本身就有数据倾斜;如何避免：对于 key 为空产生的数据倾斜，可... 1.Hive 表关联查询，如何解决数据倾斜的问题？1.倾斜原因：map 输出数据按 key Hash 的分配到 reduce 中，由于 key 分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的 reduce 上的数据量差异过大。1）key 分布不均匀;2）业务数据本身的特性;3）建表时考虑不周;4）某些 SQL 语句本身就有数据倾斜;如何避免：对于 key 为空产生的数据倾斜，可...
上滑加载中
推荐直播
-
CloudPond上的DeepSeek2025/03/07 周五 16:30-17:30
George-华为云CloudPond解决方案经理
比一体机能力更丰满；比公有云距离更亲近；比自己搭建更轻松简单；解读在CloudPond 上部署DeepSeek，选型、方案以及部署维护的细节。
即将直播 -
空中宣讲会 2025年华为软件精英挑战赛2025/03/10 周一 18:00-19:00
宸睿 华为云存储技术专家、ACM-ICPC WorldFinal经验 晖哥
2025华为软挑赛空中宣讲会重磅来袭！完整赛程首曝+命题天团硬核拆题+三轮幸运抽奖赢参赛助力礼包，与全国优秀高校开发者同台竞技，直通顶尖赛事起跑线！
即将直播
热门标签