• [GaussTech] 【GaussTech技术专栏】AI与数据库结合:探讨未来数据库的新面貌
    AI与数据库结合:探讨未来数据库的新面貌随着人工智能技术的迅猛发展,越来越多的领域开始尝试将AI与自身业务相结合,以寻求更高效、更智能的解决方案。数据库作为数据存储和管理的核心组件,在信息化时代扮演着举足轻重的角色。那么,当AI与数据库相遇,未来的数据库会呈现出怎样的新面貌呢?一、智能化查询与优化未来的数据库将借助AI技术实现智能化查询。传统的数据库查询依赖于固定的SQL语句或查询语句,而AI则可以通过学习用户的查询习惯、数据分布和访问模式,自动优化查询语句,提高查询效率。此外,AI还能根据数据的特点和访问模式,自动调整数据库的参数配置,实现性能的自适应优化。二、自动化运维与管理在数据库运维方面,AI将发挥巨大的作用。通过机器学习技术,AI可以预测数据库的故障和性能瓶颈,提前进行预警和干预,降低故障发生的概率。同时,AI还能自动化地完成数据库的备份、恢复、扩容等任务,减轻运维人员的负担,提高数据库的可用性和稳定性。三、数据安全与隐私保护数据安全一直是数据库领域关注的重点。AI技术的引入将进一步提升数据库的安全性和隐私保护能力。通过机器学习算法,AI可以识别并防御各种数据库攻击,如SQL注入、跨站脚本攻击等。此外,AI还能实现数据的加密和解密,确保数据的机密性和完整性,防止数据泄露和滥用。四、数据智能分析与挖掘AI与数据库的结合还将推动数据智能分析与挖掘的发展。借助机器学习算法和深度学习技术,AI可以对数据库中的数据进行深度分析和挖掘,发现数据之间的关联和规律,为业务决策提供有力支持。例如,通过对用户行为数据的分析,AI可以预测用户的消费习惯和需求,为企业的精准营销提供数据支持。五、实时数据处理与响应在实时数据处理方面,AI与数据库的结合将使得数据库能够更快速地响应实时数据变化。AI可以实时分析数据流,自动调整数据处理策略,确保数据的实时性和准确性。这对于需要快速响应的业务场景,如金融交易、物联网应用等,具有重要意义。六、多模态数据融合与处理随着多模态数据的不断涌现,未来的数据库将需要处理包括文本、图像、音频、视频等多种类型的数据。AI技术的引入将有助于实现多模态数据的融合与处理。AI可以通过学习不同模态数据之间的关联和转换规则,实现多模态数据的统一存储和高效查询,为跨模态分析提供有力支持。七、总结AI与数据库的结合将为未来的数据库带来诸多变革和创新。通过智能化查询与优化、自动化运维与管理、数据安全与隐私保护、数据智能分析与挖掘、实时数据处理与响应以及多模态数据融合与处理等方面的应用,未来的数据库将更加智能、高效、安全和易用,为各行各业的发展提供强有力的支持。
  • [技术干货] 多年以后,PageHelper 又深深给我上了一课... 【转】
    多年不用PageHelper了,最近新入职的公司,采用了此工具集成的框架,作为一个独立紧急项目开发的基础。项目开发起来,还是手到擒来的,但是没想到,最终测试的时候,深深的给我上了一课。我的项目发生了哪些奇葩现象?一切的问题都要从我接受的项目开始说起, 在开发这个项目的过程中,发生了各种奇葩的事情, 下面我简单说给你们听听:账号重复注册?你肯定在想这是什么意思? 就是字面意思,已经注册的账号,可以再次注册成功!!!else if (UserConstants.NOT_UNIQUE.equals(userService.checkUserNameUnique(username)) ||"匿名用户".equals(username)){     // 注册用户已存在     msg = "注册用户'" + username + "'失败"; }如上所示: checkUserNameUnique(username)用来验证数据库是否存在用户名:<select id="checkUserNameUnique" parameterType="String" resultType="int">    select count(1) from sys_user where user_name = #{userName} limit 1 </select>正常来说,是不会有问题的,那么原因我们后面讲,接着看下一个问题。查询全部分类的下拉列表只能查出5条数据?如上所示,明明有十多个结果,怎么只能返回5个?我也没有添加分页参数啊?相信用过PageHelper的同学已经知道问题出在哪里了。修改用户密码报错?当管理员在后台界面重置用户的密码的时候,居然报错了?报错信息清晰的告诉了我:sql语句异常,update语句不认识 “Limit 5”到此为止,报错信息已经告诉了我,我的sql被拼接了该死的“limit”分页参数。小结上面提到的几个只是冰山一角,在我使用的过程中,还有各种涉及到sql的地方,会因为这个分页参数导致的问题,我可以分为两种:1)直接导致报错的:明确报错原因的比如insert、update语句等,不支持limit,会直接报错。2)导致业务逻辑错误,但是代码没有错误提示如我上面提到的用户可以重复注册,却没有报错,实际在代码当中是有报错的,但是当前方法对异常进行了throw,最终被全局异常捕获了。不分页的sql被拼接了limit,导致没有报错,但是数据返回量错误。异常不是每次出现,是有一定纪律的,但是触发几率较高,原因在后面会逐渐脱出。PageHelper是怎么做到上面的问题的?PageHelper使用我这里只讲解项目基于的框架的使用方式。代码如下:@GetMapping("/cms/cmsEssayList") public TableDataInfo cmsEssayList(CmsBlog cmsBlog) {     //状态为发布     cmsBlog.setStatus("1");     startPage();     List<CmsBlog> list = cmsBlogService.selectCmsBlogList(cmsBlog);     return getDataTable(list); }使用起来还是很简单的,通过 startPage()指定分页参数,通过getDataTable(list)对结果数据封装成分页的格式。有些同学会问,这也没没传分页参数啊,并且实体类当中也没有,这就是比较有意思的点,下一小结就来聊聊源码。startPage()干啥了?protected void startPage(){     // 通过request去获取前端传递的分页参数,不需控制器要显示接收     PageDomain pageDomain = TableSupport.buildPageRequest();     Integer pageNum = pageDomain.getPageNum();     Integer pageSize = pageDomain.getPageSize();     if (StringUtils.isNotNull(pageNum) && StringUtils.isNotNull(pageSize))     {         String orderBy = SqlUtil.escapeOrderBySql(pageDomain.getOrderBy());         Boolean reasonable = pageDomain.getReasonable();         // 真正使用pageHelper进行分页的位置         PageHelper.startPage(pageNum, pageSize, orderBy).setReasonable(reasonable);     } }PageHelper.startPage(pageNum, pageSize, orderBy).setReasonable(reasonable)的参数分别是:pageNum:页数pageSize:每页数据量orderBy:排序reasonable:分页合理化,对于不合理的分页参数自动处理,比如传递pageNum是小于0,会默认设置为1.继续跟踪,连续点击startpage构造方法到达如下位置:/**  * 开始分页  *  * @param pageNum      页码  * @param pageSize     每页显示数量  * @param count        是否进行count查询  * @param reasonable   分页合理化,null时用默认配置  * @param pageSizeZero true且pageSize=0时返回全部结果,false时分页,null时用默认配置  */ public static <E> Page<E> startPage(int pageNum, int pageSize, boolean count, Boolean reasonable, Boolean pageSizeZero) {     Page<E> page = new Page<E>(pageNum, pageSize, count);     page.setReasonable(reasonable);     page.setPageSizeZero(pageSizeZero);     // 1、获取本地分页     Page<E> oldPage = getLocalPage();     if (oldPage != null && oldPage.isOrderByOnly()) {         page.setOrderBy(oldPage.getOrderBy());     }      // 2、设置本地分页     setLocalPage(page);     return page; }到达终点位置了,分别是:getLocalPage()和setLocalPage(page),分别来看下:getLocalPage()进入方法:/**  * 获取 Page 参数  *  * @return  */ public static <T> Page<T> getLocalPage() {     return LOCAL_PAGE.get(); }看看常量LOCAL_PAGE是个什么路数?protected static final ThreadLocal<Page> LOCAL_PAGE = new ThreadLocal<Page>();好家伙,是ThreadLocal,学过java基础的都知道吧,独属于每个线程的本地缓存对象。当一个请求来的时候,会获取持有当前请求的线程的ThreadLocal,调用LOCAL_PAGE.get(),查看当前线程是否有未执行的分页配置。setLocalPage(page)此方法显而易见,设置线程的分页配置:protected static void setLocalPage(Page page) {     LOCAL_PAGE.set(page); }小结经过前面的分析,我们发现,问题似乎就是这个ThreadLocal导致的。是否在使用完之后没有进行清理?导致下一次此线程再次处理请求时,还在使用之前的配置?我们带着疑问,看看mybatis时如何使用pageHelper的。mybatis使用pageHelper分析我们需要关注的就是mybatis在何时使用的这个ThreadLocal,也就是何时将分页餐数获取到的。前面提到过,通过PageHelper的startPage()方法进行page缓存的设置,当程序执行sql接口mapper的方法时,就会被拦截器PageInterceptor拦截到。PageHelper其实就是mybatis的分页插件,其实现原理就是通过拦截器的方式,pageHelper通PageInterceptor实现分页效果,我们只关注intercept方法:@Override public Object intercept(Invocation invocation) throws Throwable {     try {         Object[] args = invocation.getArgs();         MappedStatement ms = (MappedStatement) args[0];         Object parameter = args[1];         RowBounds rowBounds = (RowBounds) args[2];         ResultHandler resultHandler = (ResultHandler) args[3];         Executor executor = (Executor) invocation.getTarget();         CacheKey cacheKey;         BoundSql boundSql;         // 由于逻辑关系,只会进入一次         if (args.length == 4) {             //4 个参数时             boundSql = ms.getBoundSql(parameter);             cacheKey = executor.createCacheKey(ms, parameter, rowBounds, boundSql);         } else {             //6 个参数时             cacheKey = (CacheKey) args[4];             boundSql = (BoundSql) args[5];         }         checkDialectExists();         //对 boundSql 的拦截处理         if (dialect instanceof BoundSqlInterceptor.Chain) {             boundSql = ((BoundSqlInterceptor.Chain) dialect).doBoundSql(BoundSqlInterceptor.Type.ORIGINAL, boundSql, cacheKey);         }         List resultList;         //调用方法判断是否需要进行分页,如果不需要,直接返回结果         if (!dialect.skip(ms, parameter, rowBounds)) {             //判断是否需要进行 count 查询             if (dialect.beforeCount(ms, parameter, rowBounds)) {                 //查询总数                 Long count = count(executor, ms, parameter, rowBounds, null, boundSql);                 //处理查询总数,返回 true 时继续分页查询,false 时直接返回                 if (!dialect.afterCount(count, parameter, rowBounds)) {                     //当查询总数为 0 时,直接返回空的结果                     return dialect.afterPage(new ArrayList(), parameter, rowBounds);                 }             }             resultList = ExecutorUtil.pageQuery(dialect, executor,                     ms, parameter, rowBounds, resultHandler, boundSql, cacheKey);         } else {             //rowBounds用参数值,不使用分页插件处理时,仍然支持默认的内存分页             resultList = executor.query(ms, parameter, rowBounds, resultHandler, cacheKey, boundSql);         }         return dialect.afterPage(resultList, parameter, rowBounds);     } finally {         if(dialect != null){             dialect.afterAll();         }     } }如上所示是intecept的全部代码,我们下面只关注几个终点位置:设置分页:dialect.skip(ms, parameter, rowBounds)此处的skip方法进行设置分页参数,内部调用方法:Page page = pageParams.getPage(parameterObject, rowBounds);继续跟踪getPage(),发现此方法的第一行就获取了ThreadLocal的值:Page page = PageHelper.getLocalPage();统计数量:dialect.beforeCount(ms, parameter, rowBounds)我们都知道,分页需要获取记录总数,所以,这个拦截器会在分页前先进行count操作。如果count为0,则直接返回,不进行分页://处理查询总数,返回 true 时继续分页查询,false 时直接返回 if (!dialect.afterCount(count, parameter, rowBounds)) {     //当查询总数为 0 时,直接返回空的结果     return dialect.afterPage(new ArrayList(), parameter, rowBounds); }afterPage其实是对分页结果的封装方法,即使不分页,也会执行,只不过返回空列表。分页:ExecutorUtil.pageQuery在处理完count方法后,就是真正的进行分页了:resultList = ExecutorUtil.pageQuery(dialect, executor,         ms, parameter, rowBounds, resultHandler, boundSql, cacheKey);此方法在执行分页之前,会判断是否执行分页,依据就是前面我们通过ThreadLocal的获取的page。当然,不分页的查询,以及新增和更新不会走到这个方法当中。非分页:executor.query而是会走到下面的这个分支:resultList = executor.query(ms, parameter, rowBounds, resultHandler, cacheKey, boundSql);我们可以思考一下,如果ThreadLoad在使用后没有被清除,当执行非分页的方法时,那么就会将Limit拼接到sql后面。为什么不分也得也会拼接?我们回头看下前面提到的dialect.skip(ms, parameter, rowBounds):如上所示,只要page被获取到了,那么这个sql,就会走前面提到的ExecutorUtil.pageQuery分页逻辑,最终导致出现不可预料的情况。其实PageHelper对于分页后的ThreaLocal是有清除处理的。清除TheadLocal在intercept方法的最后,会在sql方法执行完成后,清理page缓存:finally {     if(dialect != null){         dialect.afterAll();     } }看看这个afterAll()方法:@Override public void afterAll() {     //这个方法即使不分页也会被执行,所以要判断 null     AbstractHelperDialect delegate = autoDialect.getDelegate();     if (delegate != null) {         delegate.afterAll();         autoDialect.clearDelegate();     }     clearPage(); }只关注 clearPage():/**  * 移除本地变量  */ public static void clearPage() {     LOCAL_PAGE.remove(); }小结到此为止,关于PageHelper的使用方式就讲解完了。整体看下来,似乎不会存在什么问题,但是我们可以考虑集中极端情况:如果使用了startPage(),但是没有执行对应的sql,那么就表明,当前线程ThreadLocal被设置了分页参数,可是没有被使用,当下一个使用此线程的请求来时,就会出现问题。如果程序在执行sql前,发生异常了,就没办法执行finally当中的clearPage()方法,也会造成线程的ThreadLocal被污染。所以,官方给我们的建议,在使用PageHelper进行分页时,执行sql的代码要紧跟startPage()方法。除此之外,我们可以手动调用clearPage()方法,在存在问题的方法之前。需要注意:不要分页的方法前手动调用clearPage,将会导致你的分页出现问题。还有人问为什么不是每次请求都出错?这个其实取决于我们启动服务所使用的容器,比如tomcat,在其内部处理请求是通过线程池的方式。甚至现在的很多容器是基于netty的,都是通过线程池,复用线程来增加服务的并发量。假设线程1持有没有被清除的page参数,不断调用同一个方法,后面两个请求使用的是线程2和线程3没有问题,再一个请求轮到线程1了,此时就会出现问题了。总结关于PageHelper的介绍就这么多,真的是折磨我好几天,要不是项目紧急,来不及替换,我一定不会使用这个组件。莫名其妙的就会有个方法出现问题,一通排查,发现都是这个PageHelper导致的。虽然我已经全局搜索使用的地方,保证startPage()后紧跟sql命令,但是仍然有嫌犯潜逃,只能在有问题的方法使用clearPage()来打补丁。虽然PageHelper给我带来一些困扰,耗费了一定的时间,但是定位问题的过程中,也学习了mybatis和pagehepler的实现方式,对于热爱源码阅读的同学来说还是有一定的提升的。
  • [技术干货] 【FAQ】数据库2月份干货总结
    1. GaussDB数据库:创建高性能索引cid:link_0 在GaussDB中创建高性能索引时,需要遵循一些准则: 1.选择适当的列:创建索引的列应该是查询中经常用于搜索、排序或过滤的列。选择具有高选择性的列(即具有许多唯一值的列)通常更有效。 2.避免过度索引:每个额外的索引都会占用存储空间,并可能增加维护开销。因此,应避免在不必要的列上创建索引,或创建过多的复合索引。 3.考虑查询模式:了解应用程序的查询模式对于创建有效的索引至关重要。通过分析查询语句和性能瓶颈,可以确定哪些索引将对性能产生最大影响。 4.使用覆盖索引:如果查询只需要从索引中获取数据,而无需访问表中的实际行,则可以使用覆盖索引。这可以进一步提高查询性能。 5.定期维护索引:索引可能会随着时间的推移而变得碎片化,导致性能下降。定期重新构建或重新组织索引可以保持其性能。2. 数据库性能分析工具cid:link_1Sysbench。这是一个跨平台的基准测试工具,可以测试多种系统资源,包括CPU、内存、IO和并发性,对于数据库测试,Sysbench可以用来测试MySQL的性能。LoadRunner。这是一个商业性能测试工具,可以模拟数千个用户并发负载来测试各种应用性能指标,包括吞吐量、响应时间、CPU使用率等,它可以与多种数据库配合使用。JMeter。这是一个开源的负载和性能测试工具,可以模拟大量用户的并发负载来测试应用性能,JMeter可以测试各种基于Java的应用,包括Web应用、SOAP/REST Web服务、数据库等。此外,还有DBTune、TeraSort、TPC-C、TPC-H、Oracle SQL Developer、pgbench等12。可以根据实际需求进行选择。3. openGauss资源池化架构简介cid:link_2 openGauss资源池化架构简介 资源池化架构的来源Shared-Nothing>Shared-Everything适应云原生架构、新型硬件存储池化、内存池化、计算池化,技术趋势高性能、横/纵向扩展高可用读写节点和只读节点共享一份底层存储读写节点和只读节点之间通过TCP或RDMA协议使用DMS组件共享Shared Buffer Pool中的热数据页读写节点和只读节点通过DSS API和DSS Server的协同访问底层共享存储中的持久化的数据4. 初探OpenGauss数据库的使用体验cid:link_3 除了基本的CRUD操作外,OpenGauss还支持许多高级特性,如索引、视图、存储过程、触发器等。这些特性可以大大提高数据库的性能和可维护性。例如,通过创建索引可以加速查询操作;通过视图可以简化复杂的SQL查询;通过存储过程和触发器可以实现业务逻辑的封装和自动化处理。创建数据库和表:CREATE DATABASE mydb; USE mydb; CREATE TABLE mytable (id INT PRIMARY KEY, name VARCHAR(50), age INT);插入数据:INSERT INTO mytable VALUES (1, 'Alice', 25); INSERT INTO mytable VALUES (2, 'Bob', 30);查询数据:SELECT * FROM mytable; SELECT name, age FROM mytable WHERE age > 28;更新和删除数据:UPDATE mytable SET age = 26 WHERE id = 1; DELETE FROM mytable WHERE id = 2;
  • [问题求助] PGReplicationStream的read 方法不阻塞 还 报错FATAL: insufficient data left in message
    主要代码PGReplicationStream stream = pgConnection.getReplicationAPI() .replicationStream() .logical() .withSlotName("test_slot") .withSlotOption("include-xids", false) .withStatusInterval(2000, TimeUnit.SECONDS) .start();在调用 stream.read();方法的时候 报错 org.postgresql.util.PSQLException: FATAL: insufficient data left in messagestream.read() 在正常打印一部分数据 后才报错误,如图:求帮助 ,感谢。
  • [技术干货] 数据库行存储和列存储 介绍
    行存储和列存储的区别行存储和列存储是针对数据在存储介质中的排序形式而言的,行式存储数据按照行的方式依次连续存储,而列式存储则是将数据按照列的方式进行存储。以下是行存储和列存储各自的优缺点以及适用场景:行存储:优点:数据一致性和事务性更容易实现:行式存储更符合关系型数据库的设计理念,强调数据的一致性和事务性,适用于需要高数据一致性和事务性的场景。读取效率较高:由于行式存储的数据是连续存储的,因此读取某一行的数据时,只需要直接定位到这一行的位置进行读取,效率较高。缺点:插入和更新操作较复杂:在进行插入和更新操作时,需要考虑到数据的完整性和一致性,需要进行繁琐的操作来保证数据的一致性,因此插入和更新操作的效率较低。适用场景:适用于需要高数据一致性和事务性的场景,例如金融、银行等行业的核心业务系统。列存储:优点:插入和更新操作较简单:由于列式存储是按照列的方式进行存储,因此在插入和更新数据时,只需要针对需要修改的列进行操作,操作简单,效率较高。数据压缩和查询优化优势:列式存储对于某一列的数据类型和数据量都是相同的,因此可以进行更有效的数据压缩,同时也可以针对每一列进行查询优化,提高查询效率。缺点:数据一致性和事务性较弱:由于列式存储的数据不是连续存储的,因此在进行数据操作时需要考虑每列之间的关联关系,同时对于需要保证数据一致性和事务性的场景,实现起来较为复杂。适用场景:适用于需要高效查询和高并发访问的场景,例如互联网、电商等行业的业务系统。同时列式存储在处理大量读操作的场景下表现出色,例如报表生成、即席查询等场景。使用场景数据库的行存储和列存储根据不同的特点和需求,有不同的适用场景:行存储:行存储适合随机的增、删、改、查操作,需要频繁插入或更新的操作,以及需要在行中选取所有属性的查询操作。这些操作与索引和行的大小更为相关。传统的关系型数据库,如Oracle、DB2、MySQL、SQL SERVER 等,都采用行式存储法。行式存储在读取数据时可能会存在固有的“缺陷”,比如,所选择查询的目标即使只涉及少数几项属性,但由于这些目标数据埋藏在各行数据单元中,而行单元往往又特别大,应用程序必须读取每一条完整的行记录,从而使得读取效率大大降低。对此,行式数据库给出的优化方案是加“索引”。在OLTP类型的应用中,通过索引机制或给表分区等手段,可以简化查询操作步骤,并提升查询效率。列存储:列存储主要针对数据仓库和分布式数据库等场景。在这些场景中,大部分情况下数据是来自各个数据源的汇总数据,然后进行分析和反馈。这些操作大多是围绕同一列属性的数据进行的。当查询某属性的数据记录时,列式数据库只需返回与列属性相关的值,在大数据量查询场景中,列式数据库可在内存中高效组装各列的值,最终形成关系记录集,因此可以显著减少IO消耗,并降低查询响应时间。列存储还有利于对某一列进行高效查找,无需维护索引(任何列都能作为索引),查询过程中能够尽量减少无关IO,避免全表扫描。此外,由于各列独立存储,且数据类型已知,可以针对该列的数据类型、数据量大小等因素动态选择压缩算法,以提高物理存储利用率。如果某一行的某一列没有数据,在列存储时,就可以不存储该列的值,这将比行式存储更节省空间。
  • [问题求助] 我要如何从0到开始学习GaussDB
    目前,我是一名Java后端开发学习人员,对MySQL具有一定的认识,现在我想学习GaussDB,我应该如何做?
  • [技术干货] 数据库中的分区与分片概念
    定义分片和分区在数据库中都是为了提高数据查询和维护的效率,但是它们在数据存储和处理上有一些不同。分区分区是将数据按照某种规则分割成多个分区,在物理数据库设计思路中,分为水平分区和垂直分区。水平分区是将表按照某种规则分割成多个表,每个表存储不同的数据;垂直分区则是将表中的列按照某种规则分割成多个表,每个表存储不同的列。分区可以提高数据查询的效率,减少查询范围,降低查询复杂度。分片分片则是将数据分散存储在多个独立的数据库服务器上,以提高数据处理的并发性和吞吐量。在分布式存储中,当数据量太大,单点存储空间有限时,数据分片的概念产生了。分片是对技术的抽象增强,按一定规则将数据分类存储,数据还没存进数据库之前,对数据分片,存到约定好的地方。分片可以提高数据存储和处理的效率,提高系统的并发性和吞吐量。总结综上所述,分片和分区的主要区别在于数据存储和处理的方式不同。分区主要是对数据进行水平或垂直分割,以优化数据查询效率;而分片则是将数据分散到多个独立的数据库服务器上,以优化数据存储和处理的效率。MySQL实例在MySQL中,分区和分片都是为了提高数据库的性能和可扩展性。下面分别介绍如何在MySQL中进行分区和分片。1. 分区 (Partitioning)MySQL中的分区是指将一个表中的数据按照某种规则分割成多个逻辑上的部分,每个部分存储在不同的物理磁盘上。这可以提高查询效率,减少查询范围,降低查询复杂度。在MySQL中,可以使用PARTITION BY子句来创建分区表。以下是一个示例:CREATE TABLE my_partitioned_table ( id INT, name VARCHAR(100) ) ENGINE=InnoDB PARTITION BY RANGE (id) ( PARTITION p0 VALUES LESS THAN (100), PARTITION p1 VALUES LESS THAN (200), PARTITION p2 VALUES LESS THAN MAXVALUE );在上面的示例中,我们创建了一个名为my_partitioned_table的分区表,按照id字段的范围进行分区。每个分区分别存储小于100、小于200和大于等于200的值。2. 分片 (Sharding)分片是指将数据分散存储在多个独立的数据库服务器上,以提高数据存储和处理的效率,提高系统的并发性和吞吐量。在分布式存储中,当数据量太大,单点存储空间有限时,数据分片的概念产生了。在MySQL中,可以使用中间件来实现分片功能。常见的MySQL分片中间件包括:Mycat:Mycat是一个基于MySQL的高性能分片中间件,可以实现对MySQL数据库的水平扩展和高可用性。它支持多种分片策略,并提供强大的查询路由、事务管理、负载均衡等功能。MaxScale:MaxScale是另一款常用的MySQL分片中间件,它提供了一种高性能的数据分发服务,可以将请求根据路由规则分发到不同的数据库节点上。MaxScale支持多种分片策略,并具有灵活的配置和管理功能。ProxySQL:ProxySQL是一个高性能的MySQL代理服务器,它提供了一种高效的数据分片和查询路由方案。ProxySQL支持多种分片策略,并具有强大的负载均衡、故障转移和监控功能。以上是常见的MySQL分片中间件,可以根据实际需求选择适合的中间件来实现数据的分片功能。需要注意的是,使用分片中间件时需要配置和管理多个数据库节点,增加了系统的复杂度。
  • [问题求助] 非关系型数据库和关系型数据库有什么区别,各有什么优势?
    非关系型数据库和关系型数据库有什么区别,各有什么优势?
  • [高校开发者专区] 基于“华为云”技术的SpringBoot项目实践设计———房屋租赁系统
    基于“华为云”技术的SpringBoot项目实践设计———房屋租赁系统华为云是华为的云服务品牌,将华为30多年在ICT领域的技术积累和产品解决方案开放给客户,提供稳定可靠、安全可信、可持续发展的云服务。华为云致力于让云无处不在,让智能无所不及,共建智能世界的云底座。OBS是什么?对象存储服务 OBS对象存储服务(Object Storage Service)是一款稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据 实践项目介绍本项目(房屋租赁系统)以实际运用为背景,基于华为云和SpringBoot开发,目的是为满足用户查询房屋、预约看房、房屋租赁的需求。关键词:Spring Boot框架,华为云项目架构:B/S结构B/S(浏览器/服务器)结构是目前主流的网络化的结构模式,它能够把系统核心功能集中在服务器上面,可以帮助系统开发人员简化操作,便于维护和使用。它能够结合Web浏览器技术,ActiveX技术以及多种脚本语言等技术。帮助程序开发者节约开发成本。 项目源码下载https://www.aliyundrive.com/t/HM6nVyH6QLXy5oOmf9in系统功能分析本赁系统主要分管理员和租客两大功能模块,下面将详细介绍管理员和租客分别实现的功能。租客功能————租客进入本系统可查看系统信息,包括网站首页、公告信息以及房屋信息,注册登录主要功能模块包括个人中心、看房申请管理、租赁合同管理、收租信息管理、报修信息管理 管理员功能————————管理员可登录系统后台,登录后可对系统进行全面管理,包括个人中心、公告信息管理、租客管理、户主管理、房屋信息管理、看房申请管理、租赁合同管理、收租信息管理、报修信息管理、收租统计管理以及维修数据管理功能简要展示1、主界面 2、租客注册与登录 租客可选择房屋查看房屋详情信息,登录可进行看房申请操作,房屋详情界面展示 租客登录后还可查看租赁合同信息,租赁合同界面展示 租客可进入收租信息界面查看收租信息,收租信息界面展示 2、管理员登陆 管理员可对租户进行管理,处理租户发起的看房、维修申请,以及对租赁合同信息进行增删改查。 管理员可增删改查房屋信息,房屋信息管理界面展示如图5-11所示。——————————————大致功能及结构演示完毕———————————————基于华为云obs实现文件上传下载1.进入obs控制台2.创建桶3.点击创建桶4.获得obs工具参数必要参数罗列 代码如下(示例) private static final String endPoint = "obs.cn-east-3.myhuaweicloud.com"; private static final String ak = "G4NKS1KU4V0Z7Q6RGOCV"; private static final String sk = "RCypypmqmYA4Dv8VHjdgS7mPTwGEx5Hkngmrv71L"; public static String BUCKET_NAME = "myclude-test";//你创建的桶名Maven的获取<dependency> <groupId>com.huaweicloud</groupId> <artifactId>esdk-obs-java</artifactId> <version>3.20.6.2</version> </dependency> 分析工具类文件上传方法//文件上传 public void ObsUpload(String bucketName, String key, InputStream inputStream) throws IOException { // 创建ObsClient实例 ObsClient obsClient = new ObsClient(ak, sk, endPoint); obsClient.putObject(bucketName, key, inputStream); obsClient.close(); }该方法需要桶名,key,输入流Inputstream输入流介绍表示有序的字节流,换句话说,可以将 InputStream 中的数据作为有序的字节序列读取。 这在从文件读取数据或通过网络接收时非常有用。 InputStream 通常连接到某些数据源,如文件,网络连接,管道等 看如下代码片段: public class InputStreamExample { public static void main(String[] args) throws IOException { InputStream inputStream = new FileInputStream("D:\\out.txt"); //do something with data... int data = inputStream.read(); while (data != -1) { System.out.print((char) data); data = inputStream.read(); } inputStream.close(); } } 注意:为了代码清晰,这里并没有考虑处理异常的情况,IO 异常处理有专门的介绍。 文件下载方法 ```java //控制层可调用该方法实现文件下载 public void dowloadFile(HttpServletResponse response, InputStream inputStream, String fileName) { response.setHeader("content-type", "application/octet-stream"); response.setContentType("application/octet-stream"); try { response.setHeader("Content-Disposition", "attachment;filename=" + java.net.URLEncoder.encode(fileName, "UTF-8")); } catch (Exception e) { e.printStackTrace(); } byte[] items = new byte[1024 * 10]; int i = 0; try { BufferedInputStream bufferedInputStream = new BufferedInputStream(inputStream); OutputStream outputStream = response.getOutputStream(); BufferedOutputStream outputStream1 = new BufferedOutputStream(outputStream); while ((i = bufferedInputStream.read(items)) != -1) { outputStream1.write(items, 0, i); outputStream1.flush(); } outputStream1.close(); outputStream.close(); bufferedInputStream.close(); inputStream.close(); } catch (Exception e1) { e1.printStackTrace(); } }### 具体逻辑实现 文件上传 创建一个前端页面,用于获取文件,这里我们要用到bootstrap,js,css等等 ```java <%-- Created by IntelliJ IDEA. User: 28571 Date: 2021/9/7 Time: 1:13 To change this template use File | Settings | File Templates. --%> <%@ page language="java" contentType="text/html; charset=UTF-8" pageEncoding="UTF-8" %> <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8"> <title>我的text</title> </head> <body> <div> <form action="${pageContext.request.contextPath}/upload" method="post" enctype="multipart/form-data"> <input type="submit" class="btn btn-outline-danger" onclick="return checkfile()" value="上传文件"/> <input class="btn btn-outline-primary" type="file" onchange="checkfile()" id="fileupload" name="file" onpropertychange="getFileSize(this.value)"/><br/> </form> </div> </body> <script src="https://code.jquery.com/jquery-3.2.1.min.js"></script> <script type="text/javascript"> var tipMsg = "建议使用chrome firefox ie等浏览器"; var browserCfg = {}; //下面一段鉴别使用者的浏览器 var ua = window.navigator.userAgent; if (ua.indexOf("MSIE") >= 1) { browserCfg.ie = true; } else if (ua.indexOf("Firefox") >= 1) { browserCfg.firefox = true; } else if (ua.indexOf("Chrome") >= 1) { browserCfg.chrome = true; } function checkfile() { try { var obj_file = document.getElementById("fileupload"); var isvip = ${isvip}; if (obj_file.value == "") { alert("请先选择上传文件"); return; } var filesize = 0; if (browserCfg.firefox || browserCfg.chrome) { filesize = obj_file.files[0].size; //chrome等浏览器支持这个方法拿到文件大小 } else if (browserCfg.ie) { var obj_img = document.getElementById('tempimg'); obj_img.dynsrc = obj_file.value; filesize = obj_img.fileSize; } else { alert(tipMsg); return false; } if (filesize == -1) { alert(tipMsg); return false; } else { return true; } } catch (e) { alert(e); return false; } } </script> </html>创建一个控制层FileController,用于获得前端响应设置工具中的全局变量 private static final Logger LOGGER = LoggerFactory.getLogger(OBSUtils.class); private static final String endPoint = "obs.cn-north-4.myhuaweicloud.com"; private static final String ak = "G4NKS1KU4V0Z7Q6RGOCV"; private static final String sk = "RCypypmqmYA4Dv8VHjdgS7mPTwGEx5Hkngmrv71L"; public static String BUCKET_NAME = "myteacher-test";在FilesController创建方法package com.example.demo.Controller; import com.example.demo.Util.OBSUtils; import org.springframework.stereotype.Controller; import org.springframework.web.bind.annotation.*; import org.springframework.web.multipart.commons.CommonsMultipartFile; import javax.servlet.http.HttpServletRequest; import javax.servlet.http.HttpSession; import java.io.IOException; import java.io.InputStream; import static java.lang.System.out; @Controller public class FilesController { //文件下载页面路由 @RequestMapping("/text") public String load(){ return "upfile";//返回upfile.html } //前端请求路由 @RequestMapping("/upload") public String upload(@RequestParam("file") CommonsMultipartFile file, HttpSession Session, HttpServletRequest req) throws IOException { if(file==null) return "/upload"; //将文件存入obs OBSUtils obs = new OBSUtils(); String Key = file.getOriginalFilename(); // out.println(Key); InputStream inputStream = file.getInputStream(); obs.ObsUpload("myteacher-test",Key,inputStream); out.println("上传成功"+Key); return "upfile";//返回upfile.html } }启动项目并测试接下来我们将该项目部署到华为云上1.华为云控制台 -> 我的资源 -> 云服务器以此找到华为云分配的公网IP地址入口2.添加端口添加8080端口(你Sprig Boot项目启动时的端口,如果Spring Boot项目没有设置,默认是8080)添加3308端口(你华为云服务器设置的Mysql端口) 3.测试远程连接是否成功下载 Mysql WorkBench。cid:link_0新建连接 -> 输入Mysql数据库远程地址、端口号、用户名、密码 4.修改Spring Boot项目关于Mysql的连接配置5.编译后端项目为jar文件将后端项目使用Maven进行编译6.上传项目jar文件到云服务器在根目录新建一个文件夹,命名为projects, 然后单击右键上传文件。 上传成功后,运行项目既将房屋租赁系统部署到华为云上完毕使用CodeArts开通CodeArts服务:登陆华为云账号购买CodeArts点击“新建项目”(如果这里已有项目,那我们就点击已又的项目) 选择模版(这里我们选择常用的Scrum) 填写完成后进入项目 CodeArts的功能CodeArts全系列工具,包括需求管理、代码托管、编译构建、代码测试、流水线等的关键特性,开发者在掌握前沿研发理念的同时,也能深度了解CodeArts是如何融合华为在软件开发领域的丰富经验以及开发工具上的能力积累。在团队开发过程中我们可以使用CodeArts为我们整合的功能进行团队合作,协同开发。CodeArts的功能的具体使用这里我们以代码托管为例 新建项目 这就是项目界面 点击右上角“克隆/下载”点击密钥管理查看密钥,(这里我们选择HTTPS) 记下来此密钥,带回Push时要用使用git将代码推入CodeArts远程仓库这里我们以Mac系统的IDEA为例点击菜单栏【VCS】—>【Import into Version Control】—>【Create git Repository】,选择本地项目 这时项目旁边显示Master即表示成功接下来就可以用git来管理了接下来我们将项目推入CodeArts远程仓库点击push填入我们远程仓库的路径之后根据提示填入我们前文保留的用户名和密码Push之后,查看idea提示:即为成功推入。以上便是基于华为云技术,团队协同使用一站式软件开发生产线 CodeArts和华为云obs,并将项目部署的云服务器上的项目实践开发全过程。总结————————————从使用CodeArts进行项目创建,接入华为云obs,到将项目部署到华为云服务器,以及开发过程中团队协同使用CodeArts进行项目构建、代码托管、代码检查以及测试环节。 为新接触华为全套软件发开相关服务的高校学生团队提供一个完整的项目开发模版,帮助其了解全套开发流程,使其能够借助华为云全套软件开发服务为其团队构建起一个完成流畅的工作流。同时也助其减少实际开发工作和高校课程之间的“代沟”,为将来步入实际开发环境打下基础。
  • [问题求助] 使用华为认证手机号登录以后,user不为空,初始化了数据库,创建新的数据对象时提示没有权限,错误码:15。
    使用华为认证手机号登录以后,user不为空,初始化了数据库,创建新的数据对象时提示没有权限,错误码:15。
  • [问题求助] 华为云数据库支持多表相连么?
    华为云数据库支持多表相连么?
  • [问题求助] 刚刚做了华为云的沙箱实验整体来说还可以
    刚刚做了华为云的沙箱实验整体来说还可以但是需要来回跳转页面操作步骤,感觉都是按部就班,如果开发产品是按照自己的产品计划来还是怎么样?实际的产品也是这样么?
  • [问题求助] gaussdb数据库可以处理redis抖动么?
    gaussdb数据库可以处理redis抖动么?
  • [问题求助] 看到小助手回复的华为云数据库种类 这么多种类都是做什么的?
    看到小助手回复的华为云数据库种类 这么多种类都是做什么的?
  • [问题求助] mysql数据库和华为云数据库的区别
    mysql数据库和华为云数据库的区别
总条数:20 到第
上滑加载中