- 本文主要介绍了一些常见的面试题和相关的知识点,如果大佬还在准备面试或者正在学习这一部分,正好可以借此复习哟嘿嘿,快来看看自己能答完整几道吧 本文主要介绍了一些常见的面试题和相关的知识点,如果大佬还在准备面试或者正在学习这一部分,正好可以借此复习哟嘿嘿,快来看看自己能答完整几道吧
- Hive是一个基于hadoop的数据仓库,他可以将Parquet/ORC等结构化数据文件映射成表,并提供类SQL功能(HQL),输入的SQL语句会在处理后转化为MapReduce作业,最后提交到Yarn上运行。特点:简单容易上手,通过提供类似SQL的语言HQL,使得熟悉sql的人可以平滑迁移到hive上来,进行大数据分析。灵活性高,可以自定义用户函数和存储格式为超大的数据集设计的计算和存储能... Hive是一个基于hadoop的数据仓库,他可以将Parquet/ORC等结构化数据文件映射成表,并提供类SQL功能(HQL),输入的SQL语句会在处理后转化为MapReduce作业,最后提交到Yarn上运行。特点:简单容易上手,通过提供类似SQL的语言HQL,使得熟悉sql的人可以平滑迁移到hive上来,进行大数据分析。灵活性高,可以自定义用户函数和存储格式为超大的数据集设计的计算和存储能...
- 现代Java应用架构越来越强调数据存储和处理分离,以获得更好的可维护性、可扩展性以及可移植性,比如火热的微服务就是一种典型。这种架构通常要求业务逻辑要在Java程序中实现,而不是像传统应用架构中放在数据库中。应用中的业务逻辑大都会涉及结构化数据处理。数据库(SQL)中对这类任务有较丰富的支持,可以相对简易地实现业务逻辑。但Java却一直缺乏这类基础支持,导致用Java实现业务逻辑非常繁琐低效... 现代Java应用架构越来越强调数据存储和处理分离,以获得更好的可维护性、可扩展性以及可移植性,比如火热的微服务就是一种典型。这种架构通常要求业务逻辑要在Java程序中实现,而不是像传统应用架构中放在数据库中。应用中的业务逻辑大都会涉及结构化数据处理。数据库(SQL)中对这类任务有较丰富的支持,可以相对简易地实现业务逻辑。但Java却一直缺乏这类基础支持,导致用Java实现业务逻辑非常繁琐低效...
- 5分钟带你了解数据库分库分表 一、前言随着公司业务快速发展,数据库中的数据量猛增,访问性能也变慢了,优化迫在眉睫。原因在于关系型数据库本身比较容易成为系统瓶颈,单机存储容量、连接数、处理能力都有限。当单表的数据量达到 1000W 或 100G 以后,由于查询维度较多,即使添加从库、优化索引,做很多操作时性能仍下降严重。解决上述问题通常有以下两种方案:通过提升服务器硬件能力来提高数据处理能力... 5分钟带你了解数据库分库分表 一、前言随着公司业务快速发展,数据库中的数据量猛增,访问性能也变慢了,优化迫在眉睫。原因在于关系型数据库本身比较容易成为系统瓶颈,单机存储容量、连接数、处理能力都有限。当单表的数据量达到 1000W 或 100G 以后,由于查询维度较多,即使添加从库、优化索引,做很多操作时性能仍下降严重。解决上述问题通常有以下两种方案:通过提升服务器硬件能力来提高数据处理能力...
- ShardingSphere-JDBC 入门教程 一、前言上篇介绍了数据库 分库分表 的基本概念以及演化过程,同时分库分表带来的繁琐问题。本篇就上篇的问题,来介绍和讲解这些问题的解决方案。本篇的主角为 ShardingSphere-JDBC。 二、基本介绍Apache ShardingSphere 是一套开源的分布式数据库解决方案组成的生态圈,它由 JDBC、Proxy 和 Sidecar... ShardingSphere-JDBC 入门教程 一、前言上篇介绍了数据库 分库分表 的基本概念以及演化过程,同时分库分表带来的繁琐问题。本篇就上篇的问题,来介绍和讲解这些问题的解决方案。本篇的主角为 ShardingSphere-JDBC。 二、基本介绍Apache ShardingSphere 是一套开源的分布式数据库解决方案组成的生态圈,它由 JDBC、Proxy 和 Sidecar...
- 本项目通过使用C#(VS2019)+物联网虚拟仿真实验平台实现物联网的智能咖啡馆项目。实现的功能有账号密码比对(使用数据库),预警拍照,实时监测温湿度、烟雾等环境数据、无线控制设备风扇、加湿器、LED等装置,智能控制餐厅、RFID卡识别,会员卡消费充值、无线通信点单(局域网)、会员信息增删改查等功能。 本项目通过使用C#(VS2019)+物联网虚拟仿真实验平台实现物联网的智能咖啡馆项目。实现的功能有账号密码比对(使用数据库),预警拍照,实时监测温湿度、烟雾等环境数据、无线控制设备风扇、加湿器、LED等装置,智能控制餐厅、RFID卡识别,会员卡消费充值、无线通信点单(局域网)、会员信息增删改查等功能。
- 数据治理的那些事 数据治理的那些事
- JOIN 一直是数据库性能优化的老大难问题,本来挺快的查询,一旦涉及了几个 JOIN,性能就会陡降。而且,参与 JOIN 的表越大越多,性能就越难提上来。其实,让 JOIN 跑得快的关键是要对 JOIN 分类,分类之后,就能利用各种类型 JOIN 的特征来做性能优化了。 JOIN 分类有 SQL 开发经验的同学都知道,绝大多数 JOIN 都是等值 JOIN,也就是关联条件为等式的 JOIN。... JOIN 一直是数据库性能优化的老大难问题,本来挺快的查询,一旦涉及了几个 JOIN,性能就会陡降。而且,参与 JOIN 的表越大越多,性能就越难提上来。其实,让 JOIN 跑得快的关键是要对 JOIN 分类,分类之后,就能利用各种类型 JOIN 的特征来做性能优化了。 JOIN 分类有 SQL 开发经验的同学都知道,绝大多数 JOIN 都是等值 JOIN,也就是关联条件为等式的 JOIN。...
- 「 傍晚时分,你坐在屋檐下,看着天慢慢地黑下去,心里寂寞而凄凉,感到自己的生命被剥夺了。当时我是个年轻人,但我害怕这样生活下去,衰老下去。在我看来,这是比死亡更可怕的事。--------王小波」我的需求:需要写一个数据库数据监控的告警小工具,要求:非侵入式的,对监控的数据只有查询权限,没有写权限可以对数据表的部分数据状态,数据数量进行监控告警监控数据,告警条件等是可配置的我需要解决的问题:抽... 「 傍晚时分,你坐在屋檐下,看着天慢慢地黑下去,心里寂寞而凄凉,感到自己的生命被剥夺了。当时我是个年轻人,但我害怕这样生活下去,衰老下去。在我看来,这是比死亡更可怕的事。--------王小波」我的需求:需要写一个数据库数据监控的告警小工具,要求:非侵入式的,对监控的数据只有查询权限,没有写权限可以对数据表的部分数据状态,数据数量进行监控告警监控数据,告警条件等是可配置的我需要解决的问题:抽...
- 问题起源最开始我想做的是通过拦截器拦截SQL执行,比如类似与PageHelper这种插件,通过拦截器或过滤器,手动修改SQL语句,以实现某些业务需求,比如执行分页,或者限制访问的数据权限等等。但是查到资料说过滤器不是干这个的,干这个的是数据库中间件干的事情,比如MyCat等。但是经过测试发现,过滤器至少可以监听每一个SQL的执行与返回结果。因此,将这一次探索过程记录下来。 配置过滤器在jf... 问题起源最开始我想做的是通过拦截器拦截SQL执行,比如类似与PageHelper这种插件,通过拦截器或过滤器,手动修改SQL语句,以实现某些业务需求,比如执行分页,或者限制访问的数据权限等等。但是查到资料说过滤器不是干这个的,干这个的是数据库中间件干的事情,比如MyCat等。但是经过测试发现,过滤器至少可以监听每一个SQL的执行与返回结果。因此,将这一次探索过程记录下来。 配置过滤器在jf...
- 在我的系统里,我通过搭建API服务来访问服务器上的数据库(可参见给自己搭一个金融数据库(六)——通过API远程访问mysql),但运行一段时间后发现服务停止了。1. 服务停止原因:内存溢出查看日志(可参见给自己搭个量化投资系统之一——一次装饰器的应用),可以看到前运行正常,每次操作都在0.01秒级,但到最近急剧飙升,达到了100秒级,最后突然停止,没有显示错误信息。因此,初步怀疑是API服务... 在我的系统里,我通过搭建API服务来访问服务器上的数据库(可参见给自己搭一个金融数据库(六)——通过API远程访问mysql),但运行一段时间后发现服务停止了。1. 服务停止原因:内存溢出查看日志(可参见给自己搭个量化投资系统之一——一次装饰器的应用),可以看到前运行正常,每次操作都在0.01秒级,但到最近急剧飙升,达到了100秒级,最后突然停止,没有显示错误信息。因此,初步怀疑是API服务...
- 现代Java应用架构越来越强调数据存储和处理分离,以获得更好的可维护性、可扩展性以及可移植性,比如火热的微服务就是一种典型。这种架构通常要求业务逻辑要在Java程序中实现,而不是像传统应用架构中放在数据库中。应用中的业务逻辑大都会涉及结构化数据处理。数据库(SQL)中对这类任务有较丰富的支持,可以相对简易地实现业务逻辑。但Java却一直缺乏这类基础支持,导致用Java实现业务逻辑非常繁琐低效... 现代Java应用架构越来越强调数据存储和处理分离,以获得更好的可维护性、可扩展性以及可移植性,比如火热的微服务就是一种典型。这种架构通常要求业务逻辑要在Java程序中实现,而不是像传统应用架构中放在数据库中。应用中的业务逻辑大都会涉及结构化数据处理。数据库(SQL)中对这类任务有较丰富的支持,可以相对简易地实现业务逻辑。但Java却一直缺乏这类基础支持,导致用Java实现业务逻辑非常繁琐低效...
- 本文针对8.1.2版本中的NOT IN场景的Mixed-HashJoin新技术进行介绍。该技术在GaussDB(DWS)与招商银行的联创项目中落地,为招商银行的批量作业带来了总体15%的性能提升。同时,该文件也同时介绍了NOT IN的使用场景和在GaussDB(DWS)中的调优手段,希望各位读者试用该技术。 本文针对8.1.2版本中的NOT IN场景的Mixed-HashJoin新技术进行介绍。该技术在GaussDB(DWS)与招商银行的联创项目中落地,为招商银行的批量作业带来了总体15%的性能提升。同时,该文件也同时介绍了NOT IN的使用场景和在GaussDB(DWS)中的调优手段,希望各位读者试用该技术。
- 第七章 配置MariaDB SQL数据库--自动化部署MariaDB 第七章 配置MariaDB SQL数据库--自动化部署MariaDB
- 第七章 配置MariaDB SQL数据库--创建和恢复MariaDB备份 第七章 配置MariaDB SQL数据库--创建和恢复MariaDB备份
上滑加载中
推荐直播
-
Skill 构建 × 智能创作:基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟,华为云软件研发工程师/万邵业(万少),华为云HCDE开发者专家
本次直播带来两大实战:华为云码道 Skill-Creator 手把手搭建专属知识库 Skill;如何用码道提效 OpenClaw 小说文本,打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路,一次讲透!
回顾中 -
码道新技能,AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动,聚焦两大 AI 开发场景:通过实战教学,带你打造 AI 编程自动生成视频 Skill,并实现对 GitHub 热门开源项目的智能知识抽取,手把手掌握 Skill 开发全流程,用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道:零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据,采用Transformer算法进行时序预测与涨跌分析,并集成DeepSeek API提供智能解读。同时,项目深度结合华为云CodeArts(码道)的代码智能体能力,实现代码一键推送至云端代码仓库,建立起高效、可协作的团队开发新范式。开发者可快速上手,从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签