- 使用大GB的数据集并不罕见,特别是从头开始预训练像BERT或GPT-2这样的Tranformer模型。在这样的情况下,甚至连加载数据都可能是一个挑战。例如,用于预训练GPT-2的WebText语料库包含超过800万份文档和40GB的文本——将其加载到电脑的RAM中,可能会使其炸掉。幸运的是,HuggingFace DataSet 数据集的设计已经克服了这些限制,它通过将数据集视为内存映射文件... 使用大GB的数据集并不罕见,特别是从头开始预训练像BERT或GPT-2这样的Tranformer模型。在这样的情况下,甚至连加载数据都可能是一个挑战。例如,用于预训练GPT-2的WebText语料库包含超过800万份文档和40GB的文本——将其加载到电脑的RAM中,可能会使其炸掉。幸运的是,HuggingFace DataSet 数据集的设计已经克服了这些限制,它通过将数据集视为内存映射文件...
- 在现代Web开发和API设计中,认证机制是确保系统安全的关键组成部分。Bearer Token和API Key是两种广泛使用的认证方式,它们各有特点,适用于不同的场景。本文将深入探讨这两种认证机制的工作原理、实现方式以及最佳实践。 什么是Bearer Token?Bearer Token是一种基于令牌(token)的认证机制,通常用于OAuth 2.0框架中。它允许客户端通过提供令牌来访问受... 在现代Web开发和API设计中,认证机制是确保系统安全的关键组成部分。Bearer Token和API Key是两种广泛使用的认证方式,它们各有特点,适用于不同的场景。本文将深入探讨这两种认证机制的工作原理、实现方式以及最佳实践。 什么是Bearer Token?Bearer Token是一种基于令牌(token)的认证机制,通常用于OAuth 2.0框架中。它允许客户端通过提供令牌来访问受...
- 一、Higress网关:云原生API网关的技术基石 1.1 核心架构与特性Higress是基于Envoy构建的高性能云原生API网关,深度融合了流量网关、微服务网关、安全网关和AI网关的功能。其核心技术特征包括:多协议支持:兼容HTTP/gRPC/WebSocket,并通过Wasm插件扩展支持Go/Rust/JS等语言AI场景优化:内置数十个AI专用插件(如令牌限流、语义缓存),支持通义... 一、Higress网关:云原生API网关的技术基石 1.1 核心架构与特性Higress是基于Envoy构建的高性能云原生API网关,深度融合了流量网关、微服务网关、安全网关和AI网关的功能。其核心技术特征包括:多协议支持:兼容HTTP/gRPC/WebSocket,并通过Wasm插件扩展支持Go/Rust/JS等语言AI场景优化:内置数十个AI专用插件(如令牌限流、语义缓存),支持通义...
- 问题解答项目演示一、本章目标1. 问题解答图片不显示,Brand类没有重写paint方法,有重写但是重写的是print(), 图片地址写错:this.image = ("imgs//"+name+".png");this.grayImage = ("imgs"+name+"_gray.png");灰色图片不显示,imgs后面没有 //。还有一种情况,代码是复制的,“刷子” 两个字重新... 问题解答项目演示一、本章目标1. 问题解答图片不显示,Brand类没有重写paint方法,有重写但是重写的是print(), 图片地址写错:this.image = ("imgs//"+name+".png");this.grayImage = ("imgs"+name+"_gray.png");灰色图片不显示,imgs后面没有 //。还有一种情况,代码是复制的,“刷子” 两个字重新...
- 构建Map对象一、本章目标完成Map地图对象的构建实现多图层展示、图层之间的偏移再论Swing的布局方式执行效果图二、涉及知识点面向对象的分析与设计Collections工具类Swing布局方式详解三、知识点讲解1. 面向对象的分析与设计参考上一章内容List: 队列, 排队做核酸就是一个List ,通过下标访问 Set: 一堆对象, 街上下象棋,都围着棋盘,打麻将围成一圈等, Map: ... 构建Map对象一、本章目标完成Map地图对象的构建实现多图层展示、图层之间的偏移再论Swing的布局方式执行效果图二、涉及知识点面向对象的分析与设计Collections工具类Swing布局方式详解三、知识点讲解1. 面向对象的分析与设计参考上一章内容List: 队列, 排队做核酸就是一个List ,通过下标访问 Set: 一堆对象, 街上下象棋,都围着棋盘,打麻将围成一圈等, Map: ...
- Java8中创建Stream流有哪几种方式在Java 8中,Stream API 是一种新的处理数据的方式,它允许以声明式的方式来处理数据集合。Stream 可以让你以一种非常自然且高效的方式来表达对数据集合的复杂操作。本文将详细介绍在Java 8中创建 Stream 流的几种常见方式。1. 通过Collection系列集合创建Collection 接口... Java8中创建Stream流有哪几种方式在Java 8中,Stream API 是一种新的处理数据的方式,它允许以声明式的方式来处理数据集合。Stream 可以让你以一种非常自然且高效的方式来表达对数据集合的复杂操作。本文将详细介绍在Java 8中创建 Stream 流的几种常见方式。1. 通过Collection系列集合创建Collection 接口...
- 1. 单体的问题微服务:把应用程序功能性分解为一组服务的架构风格。每个服务是一组专注的、内聚的功能职责组成。 每个服务是松耦合的,有自己的私有数据库,通过 API 通信。每个服务可以独立开发,部署,测试和扩展。好处:持续交付和部署容易维护独立部署,扩展团队自治实现和采纳新技术更好的容错性缺点:服务拆分和定义是一项挑战(糟糕的是搞成了分布式单体应用)分布式系统带来的各种复杂性,使开发、部署和测... 1. 单体的问题微服务:把应用程序功能性分解为一组服务的架构风格。每个服务是一组专注的、内聚的功能职责组成。 每个服务是松耦合的,有自己的私有数据库,通过 API 通信。每个服务可以独立开发,部署,测试和扩展。好处:持续交付和部署容易维护独立部署,扩展团队自治实现和采纳新技术更好的容错性缺点:服务拆分和定义是一项挑战(糟糕的是搞成了分布式单体应用)分布式系统带来的各种复杂性,使开发、部署和测...
- 一、引子其实有点小小的标题党啦,毕竟相信各位读者对“高性能”的追求是永无止境的。但如果你确实有打算自研一套API网关,那么我认为了解构建它的基本组成和架构是很有必要的,本篇博客主要是围绕这些东西做一个整体的介绍。 二、基本概念 1.网关的作用简单来说,网关就是客户端与后端服务沟通的桥梁。网关负责接收客户端发来的请求,并将它转发到相应的后端服务上进行处理。因此,网关可以承接来自外部的Http... 一、引子其实有点小小的标题党啦,毕竟相信各位读者对“高性能”的追求是永无止境的。但如果你确实有打算自研一套API网关,那么我认为了解构建它的基本组成和架构是很有必要的,本篇博客主要是围绕这些东西做一个整体的介绍。 二、基本概念 1.网关的作用简单来说,网关就是客户端与后端服务沟通的桥梁。网关负责接收客户端发来的请求,并将它转发到相应的后端服务上进行处理。因此,网关可以承接来自外部的Http...
- 一、引子在06篇中我以查询历史绩效结果这个业务场景,来帮助大家熟悉和掌握相关API的使用,通过查询历史流程和变量来实现这个目的。回到我们本篇的博客,我们依然从业务场景出发,还是这个绩效流程,如果你的上级对你的自评结果不满意,他想要驳回让你重评;或者你自评后发现有遗漏填写数据需要补充,也需要上级给你驳回重填。通过以上的业务场景,我们可以发现其实驳回功能在实际业务中是一个很普遍且有用的功能。因... 一、引子在06篇中我以查询历史绩效结果这个业务场景,来帮助大家熟悉和掌握相关API的使用,通过查询历史流程和变量来实现这个目的。回到我们本篇的博客,我们依然从业务场景出发,还是这个绩效流程,如果你的上级对你的自评结果不满意,他想要驳回让你重评;或者你自评后发现有遗漏填写数据需要补充,也需要上级给你驳回重填。通过以上的业务场景,我们可以发现其实驳回功能在实际业务中是一个很普遍且有用的功能。因...
- 一、引子在05篇中我们学习了如何使用流程变量,如果业务需求为固定的内容,其实流程变量就可以当“表单”使用的,K-V的结构几乎天然支持了这部分。但是,如果你的业务需求需要用户灵活定制流程变量,这里用文字说明可能有的同学不太理解,具体案例大家可以去参考钉钉的工作流,用户可以在每个节点自己定义和管理变量,这种场景流程变量就无法很好地支持了,就需要用到Flowable提供的表单来操作了。上述的内容... 一、引子在05篇中我们学习了如何使用流程变量,如果业务需求为固定的内容,其实流程变量就可以当“表单”使用的,K-V的结构几乎天然支持了这部分。但是,如果你的业务需求需要用户灵活定制流程变量,这里用文字说明可能有的同学不太理解,具体案例大家可以去参考钉钉的工作流,用户可以在每个节点自己定义和管理变量,这种场景流程变量就无法很好地支持了,就需要用到Flowable提供的表单来操作了。上述的内容...
- 一、前情回顾在03篇中,我用Flowable-UI绘制了一个简单的绩效流程并在官方的demo中跑完了整个流程,加深了各位读者对于一个流程中包含的一些基础概念加深了认识,并且在这个过程里也渗透了一些可以应用的知识点。但我们也能想到,在实际业务中我们是要靠后端的接口去控制流程的流转,而不能靠Flowable-UI去控制。因此,本篇文章就是带领读者使用Flowable的Java Api去控制流程... 一、前情回顾在03篇中,我用Flowable-UI绘制了一个简单的绩效流程并在官方的demo中跑完了整个流程,加深了各位读者对于一个流程中包含的一些基础概念加深了认识,并且在这个过程里也渗透了一些可以应用的知识点。但我们也能想到,在实际业务中我们是要靠后端的接口去控制流程的流转,而不能靠Flowable-UI去控制。因此,本篇文章就是带领读者使用Flowable的Java Api去控制流程...
- 背景:C++ 与 C 的互操作性挑战 std::out_ptr:用于输出参数的智能指针适配器 特点 示例代码 std::inout_ptr:用于输入/输出参数的智能指针适配器 特点 示例代码 使用注意事项 总结在 C++23 标准中,std::out_ptr 和 std::inout_ptr 的引入为 C++ 与 C 语言的互操作性带来了显著的改进。这两个工具旨在简化智能指针与 C 风格 ... 背景:C++ 与 C 的互操作性挑战 std::out_ptr:用于输出参数的智能指针适配器 特点 示例代码 std::inout_ptr:用于输入/输出参数的智能指针适配器 特点 示例代码 使用注意事项 总结在 C++23 标准中,std::out_ptr 和 std::inout_ptr 的引入为 C++ 与 C 语言的互操作性带来了显著的改进。这两个工具旨在简化智能指针与 C 风格 ...
- 每逢节假日,“能不能顺利出行” 就成了悬在我心头的巨石。去年国庆计划去云南旅游,我提前半个月就开始做准备,定好闹钟,提前五分钟守在 12306 页面,鼠标不停刷新。可开票瞬间,网页直接卡顿,等恢复时,所有车次都显示 “无票”。不甘心的我,连续三天加入候补大军,手机每一次震动都让我心跳加速,却始终等不来好消息,最后只能无奈取消行程。春节回家时更惨,和亲戚朋友组队抢票,十几个人同时操作,依旧抢不... 每逢节假日,“能不能顺利出行” 就成了悬在我心头的巨石。去年国庆计划去云南旅游,我提前半个月就开始做准备,定好闹钟,提前五分钟守在 12306 页面,鼠标不停刷新。可开票瞬间,网页直接卡顿,等恢复时,所有车次都显示 “无票”。不甘心的我,连续三天加入候补大军,手机每一次震动都让我心跳加速,却始终等不来好消息,最后只能无奈取消行程。春节回家时更惨,和亲戚朋友组队抢票,十几个人同时操作,依旧抢不...
- 前言作为一个天天泡在 GitHub 上扒项目的人,翻译问题简直是我 “挖宝” 路上的头号绊脚石!想研究国外大神的优质开源项目,不是被机翻软件的 “神操作” 气到血压飙升 —— 把 “repository” 译成 “储存库”,代码注释里的变量名直接乱码;就是被收费翻译工具疯狂割韭菜,看个 README 就要充会员。更崩溃的是,好不容易找到个免费插件,翻译速度慢得像龟速,等它翻完,我都快把项目结... 前言作为一个天天泡在 GitHub 上扒项目的人,翻译问题简直是我 “挖宝” 路上的头号绊脚石!想研究国外大神的优质开源项目,不是被机翻软件的 “神操作” 气到血压飙升 —— 把 “repository” 译成 “储存库”,代码注释里的变量名直接乱码;就是被收费翻译工具疯狂割韭菜,看个 README 就要充会员。更崩溃的是,好不容易找到个免费插件,翻译速度慢得像龟速,等它翻完,我都快把项目结...
- 在本案例中,阐述了如何在MaaS服务领取模型体验DeepSeek-R1,并结合FastGPT搭建本地知识库,创建营养师智能体应用。 在本案例中,阐述了如何在MaaS服务领取模型体验DeepSeek-R1,并结合FastGPT搭建本地知识库,创建营养师智能体应用。
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新,构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间,华为云展示了Serverless与MCP融合创新的解决方案,本期访谈直播,由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持,华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中,探讨处理器生态的关键要素及其联系,分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源,3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源,3步轻松管理成本,帮助提升日常管理效率!
回顾中
热门标签