• Hibernate笔记分享
      Hibernate是一个开放源代码的对象关系映射框架,它对JDBC进行了非常轻量级的对象封装,它将POJO与数据库表建立映射关系,是一个全自动的orm框架,hibernate可以自动生成SQL语句,自动执行,使得Java程序员可以随心所欲的使用对象编程思维来操纵数据库。 Hibernate可以应用在任何使用JDBC的场合,既可以在Java的客户端程序使用,也可以在Servlet/JSP的Web应用中使用,最具革命意义的是,Hibernate可以在应用EJB的JavaEE架构中取代CMP,完成数据持久化的重任。1.Hibernate是什么,有什么作用和好处?        Hibernate是一个数据库访问框架,用于实现对数据库的增删改查操作。使用Hibernate框架可以简化数据库访问操作,要程序员将更多的经历放在业务层编写上。       原有JDBC操作数据库存在一些问题,主要有以下几个方面:       a)需要编写大量复杂的SQL语句       b)需要设置大量的SQL参数或者将ResultSet取值封装成实体对象       c)当数据库移值时,需要修改部分SQL语句和操作      使用Hibernate框架可以解决以上问题。2.什么是ORM?ORM(Object Relation Mapping)对象关系映射。意思是将程序中的实体对象和关系数据库表中的一行记录进行映射。这样在程序中使用该工具就可以将一个对象写入数据表,或者将数据表记录自动封装成一个对象返回。(这个也是Hibernate实现的原理)3.Hibernate的几个核心接口?    Configuration类:Configuration用于配置并启动Hibernate。SessionFactory接口:一个SessionFactory对应一个数据源,它是个重量级对象,不可随意生成多个实例。它是线程安全的,同一个实例可以被应用中的多个线程共享。Session接口:Session接口是Hibernate应用中使用最广泛的接口了,它是持久化管理器,提供添加、更新、删除、加载、查询对象。Session不是线程安全的,所以应避免多个线程共享同一个Session实例。Session是轻量级对象,它的创建和销毁不需要太多资源,这意味着在应用中可以经常创建和销毁Session对象。Transaction接口:Transaction是Hibernate的数据库事务接口,它对底层的事务接口进行了封装。Query和Criteria接口:这两个是Hibernate的查询接口,用于向数据库查询对象,以及控制执行查询的过程。4.Hibernate的一级缓存?       是session级别的缓存。        a.当查询某个对象时,Hibernate首先去一级缓存中查找,如果存在将缓存中的对象取出返回。如果不存在才去数据库查询。        b.当查询某个对象时,Hibernate会自动将数据库查询出的对象放入一级缓存。(例如session的load和get方法查出的对象)        c.一级缓存默认启用,一般被称为Session级别的缓存。因此一级缓存随着Session对象创建,随着Session对象释放而销毁。        d.每个Session都有自己一个独立的一级缓存空间,不能访问其他Session的缓存空间。       ----------------------一级缓存的好处-------------------------       在使用同一个Session查询同一个对象若干次的时候,只在第一次时查询数据库,后续几次都会从缓存取出。从而减少对数据库的查询次数。       -----------------------**使用建议(重点)**----------------------------为了将一级缓存的优势更好的发挥出来,建议在处理一个请求时,使用一个Session对象处理。可以使用ThreadLocal技术封装Session.    在Hibernate中,可以 <!-- 指定将session与处理线程绑定,实现线程单例 -->       <property name="current_session_context_class">          thread        </property>5.Hibernate的二级缓存?    二级缓存也称为进程级的缓存或SessionFactory级的缓存,二级缓存可以被所有的session共享 ,可以被多个不Session对象访问,二级缓存的生命周期和SessionFactory的生命周期一致,SessionFactory可以管理二级缓存。6.Hibernate中session的get和load方法区别?    相同点:作用相同,都是按照主键条件查询某个对象。    不同点:1).get方法不使用延迟加载机制,load采用延迟加载机制2).如果没有满足条件的记录,get方法返回null,load则抛出异常3).load方法返回的对象是一个动态代理类(Hibernate框架动态生成的,是实体类的子类型)。4).get方法返回的对象类型就是原实体类型注意:a.在程序中,如果使用上述延迟加载操作,需要避免Session对象过早关闭问题。(could not initialize proxy - no Session)b.为避免上述异常,一般采用OpenSessionInView模式。c.可以将Session关闭采用Filter或Interceptor(Struts2推荐)封装。7.线程单例及其使用线程单例:回到服务器中,只要是服务器,每一个浏览器访问服务器时,服务器会为每个浏览器创建一个线程。假设Some就是Session,如果使用这种机制获取Session,当同一个用户浏览器不论怎么调用session都是同一个(只要在相同的线程中)。这种机制就叫做线程单例。线程单例的实现原理就是如上SomeFactory做的。private static ThreadLocal<Session> tl = new ThreadLocal<Session>0;Session session = tl.get0; if (session == null) {       session = factory.openSession();       tl.set(session); }8.HQL和SQL的区别    Hibernate Query Language(Hibernate查询语言)    结构化查询语言(Structured Query Language)简称SQL       HQL语句结构与SQL语句相似, SQL语句是面向数据表和字段进行查询,而HQL是面向映射后的对象和属性进行查询。因此HQL被称为面向对象查询语句。           HQL语句与SQL相似点如下:            a.HQL语句支持select,from,where,order by ,group by,having子句            b.HQL语句支持分组函数max,min,avg,sum,count            c.HQL语句支持运算符和表达式            d.HQL语句支持>,>=,<,<=,in,not in,like,between... and...,                  <>,!=等查询条件,也支持and,or关键字            e.HQL语句支持inner join,left outer join,full join 等连接           HQL语句与SQL不同点如下:(下面内容为重点)             a.HQL区分大小写(大小写敏感),除关键字之外             b.HQL语句使用的类名和属性名(将SQL表名替换成类名,字段名替换成属性名)             c.HQL不支持select *写法,但支持select count(*)             d.HQL语句不支持表连接的on子句,on关联条件可以通过关联映射自动追加9.Hibernate中操作并发处理?(乐观锁和悲观锁)    Hibernate框架可以使用锁的机制来解决操作并发。    a.悲观锁         在数据查询出来时,就给数据加一个锁,锁定。这样其他用户再执行删、改操作时不允许。当占用着事务结束,锁会自动解除。          Hibernate采用的是数据库锁机制实现悲观锁控制。        缺点:将并发用户操作同步开,一个一个处理。当一个用户处理时间比较长时,效率会比较低。      b.乐观锁         允许同时更新提交,但是最快的会成功,慢的失败。         在记录中追加一个字段值,用该字段值当做版本。当最先提交者提交后,会自动将版本字段值提升,这样其他用户提交,会发现版本低于数据库记录目前版本,因此抛出异常提示失败。    特点:允许用户同时处理,但只能有一个成功,其他失败,以异常方式提示。
  • 微服务架构中确保服务间通信稳定性和响应性措施
    在微服务架构中,确保服务间通信的稳定性和响应性,可以采取以下措施:选择合适的通信方式HTTP/RESTful API:适合快速实现和开放内部端口,适用于简单的同步通信场景。RPC(如gRPC):提供高效和紧密的服务间通信,适用于对性能有较高要求的场景。消息队列:采用异步通信方式,解耦服务之间的直接依赖关系,提供高可靠性和可伸缩性。WebSocket:适用于实时性要求高的场景,如即时聊天、实时通知等。实现服务发现和注册使用工具如Eureka或Consul可以帮助动态发现服务实例,确保服务能够正确通信。使用负载均衡通过负载均衡机制,如NGINX、HAProxy或Spring Cloud LoadBalancer,可以将请求分发到多个服务实例,提高系统的可用性和处理能力。实施熔断机制使用断路器模式(如Hystrix)可以有效地处理服务调用中的异常情况,防止故障扩散。监控与故障处理实施监控和故障处理机制,如Prometheus和Grafana,可以实时监控服务状态,并快速响应故障。数据一致性与事务管理在分布式系统中,使用分布式事务管理工具或补偿机制来确保数据一致性。通过上述措施,可以在微服务架构中实现稳定且响应迅速的服务间通信。
  • [技术干货] 大模型微调时所需数据汇总
    大模型微调时,所需数据通常有以下要求:数据质量:数据应具有高质量,确保准确性和全面性,这对于模型在特定领域的表现至关重要。数据相关性:数据应与微调的任务或领域紧密相关,以便模型能够学习到特定的知识和语言用法。数据格式:数据需要按照模型提供商要求的格式进行准备,例如,可能需要将数据转换为特定的对话或消息格式。数据量:虽然少量数据就能带来性能提升,但数据量的增加在初期会显著改善模型性能。然而,当达到一定数据量后,性能提升会趋于饱和,进一步增加数据对提升效果的边际贡献变小。数据平衡性和多样性:数据集中应包含不同类型的回答,并保持平衡,以确保模型能够在各种情境下都能生成适当的响应。数据预处理:通常需要对数据进行预处理,包括清洗、分词、编码等,以便模型能够更好地理解和学习数据。数据安全性:在某些情况下,企业客户可能需要将数据上传到模型提供商的服务器进行微调,因此数据的安全性和隐私保护也是一个重要考虑因素。在进行微调之前,应仔细考虑这些要求,并根据具体任务和模型的需求进行相应的数据准备和格式化。为了保证大模型微调时数据的质量和相关性,可以采取以下措施:数据质量筛选:使用奖励模型对数据进行质量打分,确保问题和答案的质量达标。多样性和必要性筛选:通过算法选择多样性高且对模型来说必要的数据,以填补模型能力的空白。专业知识和数据收集:收集与微调方向相关的专业知识和数据,确保数据的准确性和全面性。数据格式化:整合数据并使其符合模型提供商的格式要求,确保数据的一致性和模型的兼容性。人工审核:对标注数据进行人工审核,确保标签的一致性和准确性。微调策略:在微调过程中使用适当的学习率、正则化技术和数据增强方法,以提高模型的泛化能力和防止过拟合。通过上述措施,可以有效地提高微调数据的质量和相关性,从而提升微调后模型的性能。
  • SD-WAN小知识
    SD-WAN是软件定义的广域网,通过混合链路,实现企业分支、总部和分支互联,从而简化部署、集中管理和降低成本。SD-WAN(Software Defined Wide Area Network, 软件定义的广域网)将企业的分支、总部和多云之间互联起来,应用在不同混合链路(MPLS,Internet,5G,LTE等)之间选择最优的进行传输,提供优质的上云体验。通过部署SD-WAN可以提高企业分支网络的可靠性、灵活性和运维效率,确保分支网络一直在线,保证业务的连续和稳定。业界标准中的SD-WAN对于SD-WAN的定义,不同SD-WAN的厂商会给你不同的答案,我们来了解一下业界的标准定义。Gartner的定义Gartner明确定义了SD-WAN的基本特性:支持混合链路接入:如MPLS、Internet、LTE等。支持动态调整路径:允许跨WAN连接进行负载分担。管理和业务发放简单:如支持在分支机构的零配置开局,应该与家庭Wi-Fi一样易于设置。支持VPN以及其他增值业务服务:以及其他第三方服务,如WOC(WAN Optimization Controller,广域网优化控制器)、防火墙等。MEF的定义MEF(Metro Ethernet Forum)在MEF-70中给出了第一个SD-WAN的标准化定义。标准中明确定义了SD-WAN组件、能力,并为每个组件的所有接口定义了框架和API的服务规范。华为的SD-WAN华为SD-WAN解决方案,遵循MEF的标准,并满足Gartner对SD-WAN的定义。华为SD-WAN拥有软件、硬件和虚拟计算平台等丰富的软硬件产品组合,丰富的接口类型,基于技术创新带来的差异化优势,在WAN Edge基础设施市场始终保持着强劲的增长势头,在2018~2020年Gartner发布的WAN Edge基础设施魔力象限报告中始终跃居挑战者象限。SD-WAN的好处是什么?针对企业网络当前面临的WAN封闭架构、业务体验难保障、业务部署慢和运维困难的问题,华为SD-WAN解决方案为企业提供分支与分支、分支与数据中心之间提供全场景随需互联,并通过应用级智能选路与智能加速、智能运维,构建更好的业务体验,重塑企业WAN互联全流程的业务体验。华为SD-WAN主要好处如下:5G超宽,随需互联:5G/有线多种上行,随时随地连接到总部和云,大规模灵活组网使能可靠、可扩展的企业分支互联。智能选路,极智体验:通过应用智能选路和优化,保证办公、生产等任意地点分支的本地和云上关键应用的体验。一体管控,智能运维:LAN/WAN统一云管理,简化海量分支业务部署和运维复杂度。SD-WAN的架构,SD-WAN是如何工作的?从逻辑分层及功能角度划分,SD-WAN的逻辑架构主要包括业务呈现层、管理层、控制层以及网络层,每层承担的功能不同,其中又包括若干核心组件,如下图所示。业务呈现层SD-WAN的业务呈现层向下对接网络控制器,对外通过业务Portal界面实现SD-WAN的业务呈现和发放。业务呈现层当前有如下两种形式:自研Portal界面:由SD-WAN解决方案提供商向客户提供SD-WAN端到端的业务配置和处理流程。第三方BSS/OSS:第三方根据业务功能和展示风格需要,借助网络控制器的北向开放API,实现SD-WAN方案的集成和界面的灵活定制。管理层网络控制器是管理层的核心组件,是整个SD-WAN的“智慧大脑”。SD-WAN网络控制器一般有网络编排和管理功能:网络编排:负责SD-WAN面向业务的网络模型抽象、编排和配置自动化发放,主要包括企业WAN组网和各种网络策略相关的业务编排。网络控制器通过对企业WAN进行网络模型的抽象和定义,屏蔽了SD-WAN部署和实现的技术细节,使WAN网络配置和业务发放更加简易、灵活。网络管理:网络控制器的管理组件实现了企业WAN 的网络管理与运维功能,包括但不限于SD-WAN网元的告警和日志等故障信息采集;基于链路、应用、网络的性能数据采集、统计和分析,并对最终客户进行网络拓扑、告警管理、性能等运维信息的多维度统计和呈现。控制层RR(SD-WAN Route Reflector,SD-WAN路由反射器),是控制层的核心组件,主要负责网络控制。RR的功能主要包括:SD-WAN租户VPN路由的分发和过滤,VPN拓扑的创建和修改,站点间Overlay隧道的创建和维护等。相比传统网络完全的分布式控制方式,这种集中式的控制实现了企业WAN控制平面和转发平面的分离,简化了网络运维操作,减少了网络配置错误几率,提升了企业WAN的运维效率。网络层从业务角度讲,企业的分支、总部和数据中心以及在云上部署的IT基础设施等都可以统称为企业的站点。不同企业站点用于WAN互联的网络设备以及中间WAN网络一起构成了SD-WAN网络层。SD-WAN的网络设备,主要包括:Edge和GW两种类型。EdgeEdge,即(SD-WAN Edge)的主要是指企业总部、分支、数据中心或者云站点的出口CPE设备,是SD-WAN隧道的发起和终结点,也可以看做是SD-WAN网络的边界点。Edge之间的Overlay隧道可以构建在任意的有线或者无线的Underlay WAN技术之上,并且通常与某种数据加密技术(如IPSec)结合使用,以确保企业WAN数据传输的安全性。Edge一般可以采用如下设备,在SD-WAN中,CPE可以是硬件形态的传统CPE和uCPE,也可以是软件形态的vCPE。CPE:传统硬件CPE。CPE作为一种网络设备,最早是以硬件盒子的形态部署于站点中。从硬件角度来看,CPE中通常会包含主控板、接口卡、多核CPU以及各种硬件组件。从软件功能角度来看,CPE会提供二层交换和三层路由的功能,可以连接站点的内部网络和外部网络。一般把这种CPE称之为传统CPE(Traditional CPE)。uCPE:随着云计算和NFV技术的发展,云化和虚拟化成为不可阻挡的趋势,传统的专有硬件设备都已经有了软件化的形态,安全、广域加速、负载均衡等功能可以通过VNF(Virtual Network Function,虚拟网络功能)的形式提供。如果能将这些功能都放进CPE里面,既能降低设备成本和能耗,又能实现灵活快速的业务发放。vCPE:如果把传统CPE中的网络功能从硬件盒子中抽离出来,通过纯软件的方式实现,彻底将软件与硬件解耦,这种新的CPE形态就称为vCPE(Virtual CPE)。vCPE可以代替专用的硬件设备,通过软件的方式来实现传统CPE的功能,这样的方式有利于更轻松、更快速的部署业务,同时增强了业务的可伸缩性和可扩展性,并且降低了部署和运营成本。GWGW(SD-WAN GW)是联接企业新的SD-WAN站点和其他传统VPN站点的中间设备。由于老的传统非SD-WAN站点的存在,借助GW实现SD-WAN网络到企业传统分支网络的互通。SD-WAN与MPLS VPN专线有什么关系?在传统的WAN拓扑中,主要通过MPLS专线进行互联。可以有效保证带宽、减少数据包传输的延时。SD-WAN是从MPLS技术演变而来的。SD-WAN支持MPLS、Internet、LTE和5G链路灵活组合进行WAN分支互联。通过如下方面,可以帮助你更好的理解MPLS与SD-WAN之间的关系:成本:MPLS专线费用比较贵。SD-WAN支持MPLS、Internet、LTE和5G链路灵活组合,从而整体降低链路成本。安全:MPLS可以提供安全、可靠的连接,适用于对安全性比较高的应用。在SD-WAN中,优先选用MPLS链路,可以保障连接的安全性。性能:在同等带宽下,Internet的性能比MPLS的性能要低。SD-WAN可以通过将多条Internet链路聚合在一起,形成一条逻辑链路,从而保障性能。稳定性:网络中会存在对时延、丢包率敏感,链路质量比较高的关键业务。MPLS没有提供一个平台来区分优先级,通过SD-WAN提供的策略的管理和智能选路能力,可以实现在发生拥塞时低优先级应用避让高优先级应用,即关键业务的流量通过MPLS进行发送,而其他所有业务的流量则通过高宽带的Internet进行发送。部署效率:传统的MPLS部署可能需要1~6个月,SD-WAN比较短,只需要几个小时。云计算、SaaS等移动应用:MPLS的建网及部署方式很难规模化的应用于云计算及SaaS。为了支持更快地访问在云中运行的应用程序,SD-WAN可以配置流量转向规则,以便为这些应用程序使用Internet连接。因此,云流量从分支机构直接传输到互联网,而不是回程到总部。一些SD-WAN运营商可以从其网关直接访问云数据中心(例如AWS或Microsoft Azure),从而提高托管在这些云上的应用程序的性能和可靠性。SD-WAN使建立混合WAN更加容易,并且可以在成本,可靠性和性能之间找到适当的平衡,以实现各种应用程序流量的混合。如何保障SD-WAN的安全?SD-WAN的安全性可以从系统安全和业务安全两个方面来进行保障。系统安全是SD-WAN解决方案必备的基础安全能力,SD-WAN解决方案系统在初始化之后就应该自动具备这些能力,使其能安全可靠的运转。而业务安全是单独部署的安全功能,要根据企业用户实际的业务安全需求灵活选择合适的安全防护措施。系统安全系统安全涵盖的范围主要包括:SD-WAN解决方案中组件间的通信安全、多租户安全以及组件自身的安全。SD-WAN解决方案系统包含多个组件,组件本身以及组件之间的通信都会受到安全威胁。因此,必须要有安全措施来保证SD-WAN解决方案系统的构建和运转是安全可信的。保证系统安全,即通过身份认证、数据加密、数据验证、权限控制等措施,避免非法接入、信息泄露、数据篡改等安全问题。特别是针对CPE接入的场景,SD-WAN解决方案基于零信任(Zero Trust)的安全理念,严格验证CPE的身份信息,防止身份仿冒,确保只有合法可信的CPE才能接入。业务安全业务安全指的是SD-WAN解决方案所承载业务的安全,部署SD-WAN解决方案的目的是要帮助企业更好地开展业务,根据企业的业务模型,业务安全包括站点间互访业务的安全、站点访问Internet业务的安全、站点入云业务的安全。满足业务安全的需求,就是要针对不同的业务采取相应的安全防护措施。例如,对于站点间互访业务,要加密处理保证其在Internet上传输的安全性;对于站点访问Internet业务,可以使用CPE提供的安全功能,如ACL过滤、防火墙、IPS和URL过滤以及VAS高级安全功能等,防御各类攻击以及入侵行为。需要注意的是,这些安全功能可以基于VPN来配置,即针对同一个租户内的不同部门,实施差异化的业务安全防护措施。另外,SD-WAN解决方案还支持对接第三方云安全网关,利用第三方云安全网关对访问公有云、SaaS的业务流量进行安全防护。SD-WAN与云有什么关系?随着云化时代的到来,越来越多的企业已经将自己的IT系统搬到公有云上。企业WAN也需要能灵活地连接各种云资源,这些云资源主要包括:IaaS 基础云服务以及SaaS云应用。公有云站点的Edge可以部署vCPE软件虚拟CPE设备,并通过VNF(Virtual Network Function,虚拟网络功能)的形式提供软件化的安全、广域加速、负载均衡等功能。将这些功能都放进CPE里面,既能降低设备成本和能耗,又能实现灵活快速的业务发放。为了更高效地访问SaaS 应用,SaaS路径可能存在多种路径选择,通过SD-WAN的智能选路能够实时感知每条可选路径的网络SLA(Service Level Agreements,服务等级协定)
  • 存储服务2024.7月技术干货&资讯合集
    技术干货Linux常用命令英文全称与中文解释https://bbs.huaweicloud.com/forum/thread-0286156695961244013-1-1.html上报的信息回传用户集群知识点https://bbs.huaweicloud.com/forum/thread-02127157192962708041-1-1.htmlCloudbursting在混合云架构中的支持方式https://bbs.huaweicloud.com/forum/thread-0220157193056582036-1-1.htmlCloudbursting全量同步对带宽的影响https://bbs.huaweicloud.com/forum/thread-0207157193256196040-1-1.htmlCloudBursting解决方案的故障转移和容错处理https://bbs.huaweicloud.com/forum/thread-02113157193477132029-1-1.htmlspring中生成数据库主键的方式小技巧https://bbs.huaweicloud.com/forum/thread-02127157710201311056-1-1.htmlKubeEdge在边缘AI场景下提升模型推理效率的方法https://bbs.huaweicloud.com/forum/thread-02127157709634884049-1-1.html边缘计算、边缘AI与云计算的区别https://bbs.huaweicloud.com/forum/thread-02119157709359194056-1-1.htmlKubeEdge安装部署要求https://bbs.huaweicloud.com/forum/thread-0207157709148993058-1-1.htmlKubeEdge的安全性与隐私性保障措施https://bbs.huaweicloud.com/forum/thread-02113157360575162045-1-1.html适合Cloud Bursting的工作负载类型https://bbs.huaweicloud.com/forum/thread-02113157194437212030-1-1.html实现华为云的软件仓库(SWR)镜像同步笔记https://bbs.huaweicloud.com/forum/thread-02127157193625407035-1-1.html资讯资讯|首个!华为云弹性云服务器通过信通院云网质量测评标准https://bbs.huaweicloud.com/forum/thread-02127157708962658052-1-1.html资讯|领跑!华为云位居央国企上云服务商领导者https://bbs.huaweicloud.com/forum/thread-02127157706828322051-1-1.html
  • spring中生成数据库主键的方式小技巧
    在Spring框架中,生成数据库主键的方式主要包括但不限于以下几种:1. 使用@GeneratedValue注解这是Spring中最常用的生成主键的方式之一。通过在实体类的ID字段上添加@GeneratedValue注解,可以指定主键的生成策略。常见的策略包括:GenerationType.IDENTITY: 数据库自增长的策略,适用于MySQL等支持自增长特性的数据库。GenerationType.AUTO: 自动选择最合适的生成策略,通常是根据底层数据库的特性来决定。GenerationType.TABLE: 使用数据库表来保存主键值,适用于跨数据库移植的情况。GenerationType.SEQUENCE: 使用序列来生成主键,适用于Oracle等数据库。GenerationType.UUID: 使用UUID算法生成主键,适用于分布式系统。2. 自定义主键生成策略如果Spring提供的策略不能满足特定需求,可以自定义主键生成策略。这通常涉及到实现Hibernate提供的IdentifierGenerator接口或Assigned策略,然后在实体类中通过@GenericGenerator注解来指定自定义的生成器。3. 使用MyBatis-PlusMyBatis-Plus提供了丰富的主键生成策略,包括但不限于ASSIGN_ID(雪花算法)、ASSIGN_UUID(不含中划线的UUID)、AUTO(数据库ID自增)和INPUT(插入前自行设置主键值)。4. JDBC层面的处理在JDBC层面,可以通过PreparedStatement的executeUpdate方法,结合Statement.RETURN_GENERATED_KEYS参数,在执行插入操作后获取数据库生成的主键。5. 使用Spring Data JPASpring Data JPA提供了更为便捷的主键生成策略,可以通过在实体类中指定@TableId注解来实现。综合分析在实际应用中,选择何种主键生成策略取决于多种因素,包括但不限于数据库类型、系统架构设计、性能考虑等。例如,在分布式系统中,UUID可能是更好的选择,因为它能确保全局唯一性。而在单一数据库环境中,自增长ID可能更加高效。总的来说,Spring框架及其生态圈提供了灵活多样的主键生成策略,开发者可以根据具体需求和上下文环境做出合理的选择。
  • KubeEdge在边缘AI场景下提升模型推理效率的方法
    KubeEdge是一个开源的云原生边缘计算平台,专门设计用来连接云和边缘,以实现资源和服务的高效协同。在边缘AI场景下,KubeEdge通过以下几种方式提升模型的推理效率:边缘AI协同框架Sedna:Sedna是KubeEdge社区建立的子项目,旨在实现AI的跨边云协同训练和协同推理能力。它支持业界主流的AI框架,如TensorFlow、PyTorch、PaddlePaddle和MindSpore,并提供了数据集管理、模型管理等中间服务,帮助现有AI应用无缝下沉到边缘。协同推理:通过协作推理,Sedna能够在边缘资源受限的条件下提升整体推理性能。它允许简单样本在边缘节点直接得到推理结果,而将少数难例样本上传到云端由大模型处理,从而降低推理时延,提高实时性。增量学习:针对小样本和边缘数据异构的问题,Sedna支持模型的自适应优化,使得模型能够在使用过程中不断学习和改进,越用越聪明。联邦学习:针对数据孤岛问题,Sedna支持在边缘训练模型,并将参数在云中聚合,有效解决数据孤岛问题,同时保护数据隐私。模型优化和转换:KubeEdge社区计划支持更多机器学习框架,并集成Serving、Pipeline等现有生态,以优化模型的推理性能和适用性。构建Edge AI Benchmark:为了量化和比较不同边缘AI系统的性能,KubeEdge社区计划构建边缘AI基准测试,以促进技术的发展和优化。通过这些方法,KubeEdge不仅能够提升模型的推理效率,还能够确保数据隐私和安全,同时支持多样化的硬件和AI平台,使得边缘AI应用更加强大和灵活。
  • 边缘计算、边缘AI与云计算的区别
    边缘计算、边缘AI与云计算的区别边缘计算边缘计算是一种分布式计算架构,它将数据处理和存储移动到网络的边缘,即设备或终端节点,以减少网络延迟和提高响应速度。边缘计算的关键技术包括边缘设备、数据处理、数据存储等,侧重于实时处理和本地数据分析。它适用于对延迟敏感、分布式的数据处理和应用程序,如智能家居、自动驾驶等场景.边缘AI边缘AI是指将人工智能技术应用于边缘计算中,将AI算法和模型集成到边缘计算设备中,以实现实时数据处理和智能决策。边缘AI的优势在于提供更快的响应速度、更高的隐私安全性和更低的带宽需求。它允许设备在本地进行数据处理,减少了数据传输的延迟,并提高了用户体验和数据安全性.云计算云计算是一种将计算力、存储和应用服务集中在远程数据中心,通过网络提供给用户的计算模式。云计算的核心技术是虚拟化,通过虚拟机、容器等技术实现计算资源的池化和动态分配。云计算适用于大规模数据处理、存储和高性能计算等场景,如互联网公司、大数据中心等.对比表格对比维度边缘计算边缘AI云计算数据处理地点网络边缘(设备或终端节点)网络边缘(设备或终端节点)远程数据中心技术焦点边缘设备、数据处理、数据存储AI算法和模型集成虚拟化、资源池化应用场景实时处理、低延迟、分布式数据处理实时智能决策、数据隐私保护大规模数据处理、高性能计算响应速度快速响应极快响应取决于网络带宽和延迟数据安全性减少数据泄露风险增强隐私保护依赖于数据中心的安全措施带宽需求低更低高,特别是在集中处理大量数据时延迟敏感性高极高一般较低,但可通过边缘计算优化结论与建议边缘计算、边缘AI和云计算各有其独特的优势和适用场景。边缘计算和边缘AI强调在网络边缘进行数据处理,以减少延迟和提高响应速度,适用于实时性要求高的应用。云计算则提供强大的计算和存储资源,适用于需要集中处理大量数据的场景。在实际应用中,可以根据具体的业务需求和场景,选择单独使用或结合使用这些计算模式,以达到最优的性能和成本效益。随着技术的发展,边缘计算和云计算的融合将越来越广泛,为用户带来更多的机遇和挑战.
  • KubeEdge安装部署要求
    KubeEdge安装部署要求在安装部署KubeEdge之前,您需要确保满足以下要求:服务器节点要求:至少一台机器,推荐使用CentOS 7.x或8.x 64位操作系统。硬件配置建议为2GB RAM或更多,2个CPU或更多,硬盘空间建议30GB或更多。服务器能够访问外网以拉取镜像,如果服务器不能直接上网,需要提前下载镜像并导入节点。禁止使用swap分区,以避免性能问题。KubeEdge特定要求:KubeEdge由云侧和边缘侧组成,需要分别在云端和边缘端部署相应的组件。云端侧需要安装Docker、Kubernetes集群和cloudcore。边缘侧需要安装Docker、MQTT(可以使用内部MQTT代理)和edgecore。网络要求:云端侧需要有外网访问权限,通常需要开放10000-10004端口。边缘侧也需要外网访问权限,以便与云端通信。操作系统和CPU架构:支持多种操作系统,如Ubuntu、CentOS等,以及x86_64、arm64、arm32等CPU架构。版本兼容性:确保KubeEdge的版本与您的Kubernetes版本兼容。例如,如果您的Kubernetes版本是1.23.8,则KubeEdge的版本应该是1.13以上。其他软件依赖:需要安装kubeadm、kubelet和kubectl等Kubernetes管理工具。可能需要安装额外的软件,如CNI网络插件(如Calico或Flannel)来管理Kubernetes网络。配置环境:需要关闭防火墙和SELinux,以避免干扰Kubernetes组件的正常运行。配置主机名和网络设置,确保节点之间可以相互通信。时间同步:确保所有节点的系统时间保持同步,以免影响Kubernetes集群的健康。请注意,这些要求是根据最新的搜索结果得出的,具体安装步骤和配置细节可能会根据KubeEdge的版本和您的环境有所不同.
  • 资讯|首个!华为云弹性云服务器通过信通院云网质量测评标准
    近日,在中国信通院组织的首轮云服务网络质量评估中,华为云弹性云服务器(ECS)凭借卓越的网络质量体验通过了测评标准,华为云成为国内首个通过该项评估的企业。该测评基于中国信通院和华为云联合发起的标准——《基于云网协同的上云业务用户体验质量评价体系第7部分:云服务网络质量评价方法》。在千行万业上云,企业租户或用户访问云的要求越来越高的背景下,企业应用正追求更优的网络体验。该标准立足于行业诉求及痛点,结合对性能测评的研究,设计了一套基于客户体验的云网体验指数CEI(CloudNetwork Experience Indicator)。该体验指数主要基于网络KPI的三个关键参数——网络时延、丢包率、抖动,来综合评估网络质量。针对不同的应用场景,在计算CEI时可以根据场景调整权重占比。从云上的典型场景来看,目前主要有时延敏感型(例如游戏应用)和丢包率敏感型(例如音视频应用)场景。中国信通院和华为云联合发起的标准,建议在时延敏感型场景,采用时延、丢包率、抖动权重占比为7:2:1;在丢包率敏感型场景,采用时延、丢包率、抖动权重占比为2:7:1。华为云已采用CEI测评方法运营网络质量并服务云上客户,通过运营平台承载统一&多维的质量数据,实现以CEI指标的方式,驱动网络规划和优化,旨在为云上客户提供确定性的网络体验。在2024年可信云大会“央国企云、政务云、交通云分论坛”上,翼鸥教育网络运维团队负责人郭路遥进行《云网质量自动化运维及质量测评的最佳实践》专题演讲。郭路遥表示,翼鸥教育(EEO)成立于2014年,致力于用科技“推动教育进步”,旗下拥有全球教与学一体化平台ClassInX等多个产品。近几年,ClassIn全球同时在线用户超过150万用户,覆盖全球150多个国家和3000多家主流运营商用户。为应对全球广域网的实时性、不确定性、复杂性、不稳定性等挑战,ClassIn产品在广域网上,与华为云合作创新,通过网络质量测量、实时路由调度等多个维度实现了共同创新,并且建立了双向质量异常同步机制。基于多维度、实时的质量运营数据,有效发现网络细分地域、ISP维度的网络劣化问题,通过华为云的运营商Peering生态及SDN调度能力实现网络劣化场景的快速切换,助力翼鸥提升ClassIn产品的用户网络体验。在基础设施即服务方面,华为云提供统一架构的全球存算一张网KooVerse,截至目前,已覆盖全球33地理区域的93可用区,为全球用户提供了安全、稳定、低时延的高质量网络选择,围绕全球流量高地打造50毫秒用户优质体验服务圈。
  • 资讯|领跑!华为云位居央国企上云服务商领导者
    近日,中国信通院和弗若斯特沙利文(Frost & Sullivan,简称“沙利文”)发布《央国企上云服务商供应能力矩阵》,该报告显示,华为云位居全量领导者,战略布局、技术能力、市场能力三个维度均领跑。混合云和AI成为重点报告研究表明,当前央国企上云用云有如下趋势:洞察一:市场方面,央国企上云市场呈现集中度高,覆盖面广特点。国内头部云服务商占据了市场主导地位,而央国企上云服务解决方案已广泛渗透至金融、能源、电力、交通等众多行业,呈现出高度的定制化与多样性。洞察二:技术方面,混合多云、全栈应用、AI技术成为央国企用云的重点。混合云部署不仅提升了业务灵活性与安全性,还降低了成本,而AI技术的应用则为央国企带来了智能化、自动化的新机遇。洞察三:战略方面,五大战略方向构筑央国企上云服务竞争力。云原生技术、自主化生态构建、安全合规、双碳战略以及与企业战略的深度融合,构成了央国企上云服务的未来战略方向,共同构筑了其数字化转型的竞争力。央国企上云首选报告主要针对技术能力、市场能力、战略布局三大维度,结合云服务商量化评分与特点,形成全量领导者、技术引领者、战略前瞻者、市场优胜者等多个角色定位,并且为央国企提供了清晰的上云服务商画像。根据报告结果,华为云位居全量领导者,战略布局、技术能力和市场能力三个维度均领跑。聚焦根技术战略投入华为云持续聚焦根技术投入,把多元算力、核心软件能力、数字化转型经验以及最佳实践,都以云服务的形式对外开放,建立起从算力、操作系统、数据库到大模型和开发生产线的全栈技术体系,为央国企数字化提供可持续的坚实云服务底座。华为云携手伙伴启动央国企“双百行动”,共同构筑超100个智能的行业场景化解决方案,加速核心生产业务深度用云,同时,共同打造超100个领先的行业标杆示范项目,联合实践攻克核心技术,形成行业示范效应。“四新”方案加快新型工业化华为云Stack面向工业领域推出云上“四新”方案,助推工业从“1到N”产业化落地。工业新智能:云+AI将成为工业发展的新引擎,华为云Stack推出业界首个大模型混合云,帮助工业企业在本地构建自己的专属大模型。工业新互联:华为基于广泛的行业实践推出了新型工业互联网参考架构,基于云边协同和智能数采技术,打通端、边、中心的工业全域数据,不仅提供实时数据分析能力,更为工业大模型高质量供数。工业新应用:华为云打造CodeArts软件开发生产线和CraftArts硬件开发生产线,提升软硬件供应韧性,加速工业应用创新。工业新要素:华为云基于数智融合底座,结合TICS隐私计算、EDS数据空间等技术,推出工业新要素方案,加速数据产品开发与合规流通。更多央国企选择截至目前,华为云Stack已服务于全球5500+政企客户,其中包括超过55家央企,超200家国企,为70家全球五百强企业提供数字化转型云底座。湖南钢铁与湖南移动、华为深度合作推进人工智能钢铁行业大模型部署。目前,基于盘古大模型的视觉大模型和预测大模型完成了首批模型的开发上线,涵盖钢铁流程中的焦化、烧结、炼铁、炼钢、轧钢、质检等9个专业23个场景。广西电网携手华为运用工业互联网技术,建立了新一代计量自动化系统,实现全省2300万用户用电数据入湖。中国海油通过引入华为云Stack提供的软件开发生产线CodeArts,研发工时节省了30%,智能油田管理系统集成、调试、部署时间从1周缩短为1天,助力产能跃升。长安汽车联合华为构建智慧工厂总体架构,打造统一的数字底座,实现了对六大工艺、七大车间、设计十大主题域的数据贯通和治理,赋能生产排程、全息质量追溯、数字孪生及工厂仿真等各种智能化场景,助力C2M柔性制造。根据IDC相关报告,华为云位居中国混合云和工业互联网平台领导者,斩获中国工业互联网平台、工业自建云、制造大数据解决方案等多个细分行业市场份额第一。更美好的风景永远在前方,华为云将携手央国企客户和伙伴,共同推动产业发展,共同开创更美好的智能未来。转自华为云公众号
  • 【话题交流】物联网IoT知识专题——看看大家物联网IoT知识知多少
    本月话题:物联网IoT知识专题随着IT技术的不断发展,知识的不断更新迭代,大家讨论讨论说说看看大家对物联网IoT方面的知识掌握多少,看看大家对目前物联网IoT的了解看看谁是知识小能手
  • KubeEdge的安全性与隐私性保障措施
    KubeEdge的安全性与隐私性保障措施KubeEdge作为一个开源的云原生边缘计算平台,它通过一系列安全措施来保障数据的安全性与隐私性。以下是KubeEdge在边缘计算环境中保障数据安全性与隐私性的几个关键点:安全认证和授权:KubeEdge实施了TLS/SSL证书加密通信,并使用访问控制策略对边缘设备进行授权,确保只有经过验证的设备和用户才能访问系统。数据加密:KubeEdge的通信通过数字签名证书加密和服务端/客户端双向认证的方式来保障信息交互的机密性和完整性。安全加密协议使用TLS 1.2,并指定加密算法套件白名单,以防止使用不安全的算法。安全审计日志:服务端接收客户端连接时记录连接访问的日志,这些日志可以作为审计日志,帮助管理员及时发现攻击的发生,并采取相应措施。设备身份管理:KubeEdge提供了设备身份管理功能,可以严格限制边缘Device设备的接入,确保只有合法的设备能够连接到边缘节点。安全威胁模型分析:KubeEdge社区完成了对项目的全面安全威胁模型分析,并发布了安全威胁模型及分析报告,这些报告为用户提供了重要的安全实践指导,帮助用户识别和解决潜在的安全威胁。安全加固建议:KubeEdge社区提出了一系列安全加固建议,包括使用安全长度的私钥加密、使用可信来源的CA证书、严格限制边缘节点的用户登录权限等,以进一步增强系统的安全性。通过这些措施,KubeEdge能够在边缘计算环境中提供一个安全的运行平台,保护数据免受未授权访问和各种网络攻击。
  • 适合Cloud Bursting的工作负载类型
    Cloud Bursting是一种云计算服务模式,它允许组织在本地基础设施达到峰值容量时使用云计算资源。这种模式适合那些具有不同需求模式和周期性需求峰值的工作负载。以下是几种类型的工作负载,它们特别适合使用Cloud Bursting:批处理作业:这类工作负载通常需要大量计算资源,但这些资源只在作业执行期间短暂使用。Cloud Bursting可以在本地资源不足以处理这些作业时提供额外的计算能力。在线应用和Web服务:这些应用在特定时间段(如促销活动或高流量时段)可能会经历流量激增。Cloud Bursting可以帮助这些应用在需求高峰期扩展资源,以维持服务水平。科学计算和工程模拟:这些计算密集型任务需要大量的处理能力,但可能不是全天候运行。Cloud Bursting可以在本地集群达到极限时提供必要的额外资源。大数据分析:处理大规模数据集的任务可以受益于Cloud Bursting,尤其是当这些任务不是连续进行时。人工智能和机器学习:训练大型机器学习模型或进行深度学习推理时,可能需要大量的计算资源。Cloud Bursting可以在本地资源不足时提供必要的计算能力。灾难恢复和业务连续性:在本地数据中心发生故障时,Cloud Bursting可以迅速提供额外的计算资源,以确保业务的连续性。根据搜索结果,Cloud Bursting解决方案适用于有批量计算需求的场景,以及在线应用和Web服务等需要横向扩缩容的工作负载。此外,Cloud Bursting可以帮助企业避免维护业务峰值的最大资源量,降低一次性投入与运维成本。因此,任何具有上述特征的工作负载都是Cloud Bursting的潜在候选者。
  • 实现华为云的软件仓库(SWR)镜像同步笔记
    为了实现华为云的软件仓库(SWR)镜像同步,您需要满足以下条件:1. 网络连通性确保您的私有云环境(如Harbor)可以通过公网或专线访问华为云SWR。如果是通过专线连接,需要配置VPC终端节点以便于访问。2. 认证信息您需要准备华为云的访问密钥(Access Key, AK)和秘密密钥(Secret Key, SK),这些密钥用于身份验证,以确保只有授权用户才能进行镜像同步操作。3. 镜像仓库配置在您的私有云环境中配置镜像仓库,并设置SWR作为目标仓库。需要提供正确的SWR镜像仓库地址和认证信息。4. 同步规则配置在您的私有云环境中配置同步规则,定义哪些镜像需要同步到SWR。同步规则可以包含源资源过滤器和目标仓库信息,以及同步的触发模式(手动或定时)。5. 域名解析(如果适用)如果您的私有云环境位于华为云VPC内部,确保已经配置了域名解析,以便可以通过域名访问SWR。如果是非华为云节点,可能需要手动配置hosts文件以解析域名。6. 权限管理确保您有权限在SWR中创建组织和仓库,以及在私有云中创建和管理镜像。7. 工具和API兼容性确保您使用的私有云环境支持与华为云SWR的同步功能,包括必要的API调用和工具支持。8. 网络安全组和防火墙设置调整网络安全组和防火墙规则,以允许从您的私有云环境到华为云SWR的数据流量通过。9. 测试连接在配置同步规则之前,进行测试连接以验证所有配置信息是否正确,确保没有网络或配置错误导致同步失败。10. 监控和维护定期监控同步过程,确保镜像同步顺利进行,并及时处理任何潜在的问题。请根据上述条件检查和配置您的环境,以确保可以成功地将镜像从您的私有云环境同步到华为云SWR。
总条数:261 到第
上滑加载中