- 关于sparksql Spark SQL是Spark中专门用来处理结构化数据(每一行数据都遵循Schema信息 —— 建表时表的字段及其 类型)的一个模块; 提供了 DataFrame/Dataset 的对分布式数据处理的基本抽象; 是一个分布式的 SQL 引擎。 关于hive 数据仓库,能使用 SQL 读取、写入和管理存在于分布式存储架构上的大数据集; 结构可以映射到已经存储... 关于sparksql Spark SQL是Spark中专门用来处理结构化数据(每一行数据都遵循Schema信息 —— 建表时表的字段及其 类型)的一个模块; 提供了 DataFrame/Dataset 的对分布式数据处理的基本抽象; 是一个分布式的 SQL 引擎。 关于hive 数据仓库,能使用 SQL 读取、写入和管理存在于分布式存储架构上的大数据集; 结构可以映射到已经存储...
- 算子调优一:mapPartitions 普通的 map 算子对 RDD 中的每一个元素进行操作,而 mapPartitions 算子对 RDD 中每一个分区进行操作。如果是普通的 map 算子,假设一个 partition 有 1 万条数据, 那么 map 算子中的 function 要执行 1 万次, 也就是对每个元素进行操作。 图 2-3 map 算子 imag... 算子调优一:mapPartitions 普通的 map 算子对 RDD 中的每一个元素进行操作,而 mapPartitions 算子对 RDD 中每一个分区进行操作。如果是普通的 map 算子,假设一个 partition 有 1 万条数据, 那么 map 算子中的 function 要执行 1 万次, 也就是对每个元素进行操作。 图 2-3 map 算子 imag...
- 项目中所有的源码都可以在此链接的仓库中找到:https://github.com/chenhaoxiang/uifuture-ssm 文章目录 9.4.2 带参数的增删改查方法 DefaultSqlSession类中带参数的增删改查方法 SqlSession增删改查外的方法 ResultHandler接口 9.4.2 带参... 项目中所有的源码都可以在此链接的仓库中找到:https://github.com/chenhaoxiang/uifuture-ssm 文章目录 9.4.2 带参数的增删改查方法 DefaultSqlSession类中带参数的增删改查方法 SqlSession增删改查外的方法 ResultHandler接口 9.4.2 带参...
- 项目中所有的源码都可以在此链接的仓库中找到:https://github.com/chenhaoxiang/uifuture-ssm 文章目录 11.4.1 高级结果映射 查询博客信息SQL 复杂对象模型的ResultMap resultMap元素的子元素说明 resultMap元素属性 11.4.1 高级结果映射 在有... 项目中所有的源码都可以在此链接的仓库中找到:https://github.com/chenhaoxiang/uifuture-ssm 文章目录 11.4.1 高级结果映射 查询博客信息SQL 复杂对象模型的ResultMap resultMap元素的子元素说明 resultMap元素属性 11.4.1 高级结果映射 在有...
- 文章目录 Why PerformanceMySQL PerformanceHow To Optimize MySQLSQL语句优化原理实践使用有问题的SQL分析执行计划优化实战 索引优化选择合适的列构建索引减少索引冗余维护索引 数据库表结构优化选择合适的数据类型范式化与反范式化Schema设计数据库的垂直拆分数据库的水平拆分 系统配置优化服务器系统配置优化MyS... 文章目录 Why PerformanceMySQL PerformanceHow To Optimize MySQLSQL语句优化原理实践使用有问题的SQL分析执行计划优化实战 索引优化选择合适的列构建索引减少索引冗余维护索引 数据库表结构优化选择合适的数据类型范式化与反范式化Schema设计数据库的垂直拆分数据库的水平拆分 系统配置优化服务器系统配置优化MyS...
- 结构化查询语言SQL概述 SQL(Structured Query Language) 是结构化查询语言的缩写。 SQL是在关系数据库上执行数据操作、检索及维护所使用的标准语言,可以用来查询数据,操纵数据,定义数据,控制数据,所有数据库都使用相同或者相似的语言。 SQL可分为: 数据定义语言(DDL) : Data Definition Language 数据操纵语... 结构化查询语言SQL概述 SQL(Structured Query Language) 是结构化查询语言的缩写。 SQL是在关系数据库上执行数据操作、检索及维护所使用的标准语言,可以用来查询数据,操纵数据,定义数据,控制数据,所有数据库都使用相同或者相似的语言。 SQL可分为: 数据定义语言(DDL) : Data Definition Language 数据操纵语...
- 最近在工作中会经常使用到Taskflow这个东西,看起来虽然不是很难,但是遇到各种重写的时候看起来还是有点烦的,这时候就必须来了解一下taskflow这样一个东西了。 声明: 请原谅我自己手工作的图! TaskFlow是OpenStack开源的Python库,它帮助使任务执行变得简单、一致、可伸缩和可靠。它允许创建轻量级任务对象或函数,这些对象或函数以声明... 最近在工作中会经常使用到Taskflow这个东西,看起来虽然不是很难,但是遇到各种重写的时候看起来还是有点烦的,这时候就必须来了解一下taskflow这样一个东西了。 声明: 请原谅我自己手工作的图! TaskFlow是OpenStack开源的Python库,它帮助使任务执行变得简单、一致、可伸缩和可靠。它允许创建轻量级任务对象或函数,这些对象或函数以声明...
- 第二天学习mybatis,发现框架的存在确实是省了我们很多时间,我们完全可以把一些操作简化,或者实现简单的封装提供我们使用。昨天是跟着教程云里雾里的实现了配置,今天再次使用就方便很多。 String resource="conf.xml"; //使用类加载mybatis驱动文件,(他也加载关联的附带文件) InputStream is=Test.class.... 第二天学习mybatis,发现框架的存在确实是省了我们很多时间,我们完全可以把一些操作简化,或者实现简单的封装提供我们使用。昨天是跟着教程云里雾里的实现了配置,今天再次使用就方便很多。 String resource="conf.xml"; //使用类加载mybatis驱动文件,(他也加载关联的附带文件) InputStream is=Test.class....
- 目录 1.数据库表设计 1.1秒杀商品表字段 1.2秒杀订单表字段 1.3秒杀商品详情表字段 1.4秒杀系统用户表字段 1.5秒杀商家表字段 1.6建表SQL语句 2.秒杀系统项目搭建 2.1新建maven项目 2.2添加WEB-INF和web.xml 2.3添加配置文件 2.4创建包结构 1.数据库表设计 1.1秒杀商品表字段 ... 目录 1.数据库表设计 1.1秒杀商品表字段 1.2秒杀订单表字段 1.3秒杀商品详情表字段 1.4秒杀系统用户表字段 1.5秒杀商家表字段 1.6建表SQL语句 2.秒杀系统项目搭建 2.1新建maven项目 2.2添加WEB-INF和web.xml 2.3添加配置文件 2.4创建包结构 1.数据库表设计 1.1秒杀商品表字段 ...
- 1、有3 个表,表结构如下: Student 学生表(学号,姓名,性别,年龄,组织部门) Course 课程表(编号,课程名称) Sc 选课表(学号,课程编号,成绩)。 写一个SQL 语句,查询选修了’计算机原理’的学生学号和姓名。 select student.sno, student.sname from student left join... 1、有3 个表,表结构如下: Student 学生表(学号,姓名,性别,年龄,组织部门) Course 课程表(编号,课程名称) Sc 选课表(学号,课程编号,成绩)。 写一个SQL 语句,查询选修了’计算机原理’的学生学号和姓名。 select student.sno, student.sname from student left join...
- JDBCJava连接MySql数据库 工具准备:Mysql(数据库)、 MyEclipse(开发工具)、Navicat(数据库管理工具) 对应的mysql驱动jar包(我的mql是8.0,所以用mysql-connector-java-8.0.13.jar) mysql-connector-java-8.0.13.jar包下载 1.下载地址:https://dev.... JDBCJava连接MySql数据库 工具准备:Mysql(数据库)、 MyEclipse(开发工具)、Navicat(数据库管理工具) 对应的mysql驱动jar包(我的mql是8.0,所以用mysql-connector-java-8.0.13.jar) mysql-connector-java-8.0.13.jar包下载 1.下载地址:https://dev....
- 1、说明:创建数据库CREATE DATABASE database-name2、说明:删除数据库drop database dbname3、说明:备份sql server--- 创建 备份数据的 deviceUSE masterEXEC sp_addumpdevice 'disk', 'testBack', 'c:\mssql7backup\MyNwin... 1、说明:创建数据库CREATE DATABASE database-name2、说明:删除数据库drop database dbname3、说明:备份sql server--- 创建 备份数据的 deviceUSE masterEXEC sp_addumpdevice 'disk', 'testBack', 'c:\mssql7backup\MyNwin...
- 大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限,博客中难免会有一些错误出现,有纰漏之处恳请各位大佬不吝赐教!暂时只有csdn这一个平台,博客... 大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限,博客中难免会有一些错误出现,有纰漏之处恳请各位大佬不吝赐教!暂时只有csdn这一个平台,博客...
- 大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限,博客中难免会有一些错误出现,有纰漏之处恳请各位大佬不吝赐教!暂时只有csdn这一个平台,博客... 大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限,博客中难免会有一些错误出现,有纰漏之处恳请各位大佬不吝赐教!暂时只有csdn这一个平台,博客...
- 大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限,博客中难免会有一些错误出现,有纰漏之处恳请各位大佬不吝赐教!暂时只有csdn这一个平台,博客... 大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限,博客中难免会有一些错误出现,有纰漏之处恳请各位大佬不吝赐教!暂时只有csdn这一个平台,博客...
上滑加载中
推荐直播
-
华为云码道 × 仓颉编程:工程化AI编码探索2026/05/27 周三 19:00-21:00
刘俊杰-华为云仓颉语言专家/李炎-华为云码道技术专家/王智鹏-OpenCangjie开源社区发起人
本场直播围绕华为云仓颉语言与华为云码道的深度结合,展示华为云智能编程从零基础到高效落地的完整生态能力。以华为云码道为引擎,仓颉语言为载体,带给大家日常提效、趣味创新到极速量产的开发体验。
回顾中 -
一个AI团队帮你写代码:华为云码道Agent Space实战2026/06/25 周四 19:00-21:00
张翰文-华为云码道工程师/郭英旭-青软创新科技集团股份有限公司 软件架构师
本场直播聚焦华为云码道Agent Space两大模式:研发办公、代码开发,亲身体验从需求到代码的AI自动化能力。实操演示基于华为 CodeArts CLI,依托 OpenSpec 规格体系从零搭建业务项目。
回顾中
热门标签