• GaussDB的加密解密
    GaussDB能够实现对特定字段(例如密码)的加密存储,并在读取时自动解密。这一功能通过透明数据加密(TDE)技术实现,确保数据在存储和传输过程中的安全性。透明数据加密(TDE)透明数据加密(TDE)是一种数据库安全技术,它允许数据在写入磁盘之前进行加密,并在从磁盘读入内存时自动解密。这样,数据在数据库共享内存中以明文形态存在,而在数据存储介质中则以密文形态存在,有效保护了数据静态存储的安全。GaussDB支持AES256和SM4两种加密算法,对数据进行加密,保护数据安全,有助于解决用户满足法规遵从性的需求。实现原理密钥管理: 用户在创建或备份恢复数据库新实例时,如果打开了TDE开关,数据库服务会向KMS(密钥管理服务)申请生成数据密钥DEK(Data Encryption Key)。DEK在GaussDB的内存中存储,重启场景下重新向KMS进行DEK解密后,再缓存到内存中,继续用于加解密读写工作。加密和解密过程: GaussDB使用DEK在数据写入存储单元前进行加密,从存储单元读入内存时进行解密。对于业务应用,其访问数据库时不感知底层加解密动作;上层业务无需做任何适配动作即可对接TDE加密实例。实际应用案例例如,华为云GaussDB在MetaERP系统中成功部署了密态存储方案,为数据安全筑起了一道坚实可靠的防御线。作为中国首个获得国际CC EAL4+级别认证、首个通过中国信通院防篡改评测和首批全密态评测的数据库系统,GaussDB以纯软密态查询的创新技术,直接在客户端对数据进行加解密,数据源头有保障;数据在传输、查询、处理、存储等全流程中都以密文形式处理,极大减小了敏感信息泄露的攻击面。总结综上所述,GaussDB通过透明数据加密(TDE)技术,能够实现对特定字段(如密码)的加密存储,并在读取时自动解密。这一功能不仅提高了数据的安全性,还确保了业务应用的透明访问,无需额外的适配工作。
  • JdbcTemplate容器注入数据源
    Spring框架都JDBC进行封装,使用JdbcTemplate方便实现对数据库操作。JdbcTemplate是jar包里的类,不是自己创建的。JdbcTemplate中有个属性叫:dataSource,源码中已经为其设置了set方法,所以用的是set方法注入属性JdbcTemplate的属性dataSource注入的正是上面数据库连接池对象,等于说把JdbcTemplate对象和数据库连接起来了在Spring框架中,你可以使用JdbcTemplate来操作数据库。为了将JdbcTemplate容器注入数据源,你需要进行以下步骤:配置数据源。配置JdbcTemplate,并将其注入到你的服务或组件中。以下是一个简单的示例:import org.springframework.context.annotation.Bean;import org.springframework.context.annotation.Configuration;import org.springframework.jdbc.core.JdbcTemplate;import org.springframework.jdbc.datasource.DriverManagerDataSource; import javax.sql.DataSource; @Configurationpublic class DatabaseConfig { @Bean public DataSource dataSource() { DriverManagerDataSource dataSource = new DriverManagerDataSource(); dataSource.setDriverClassName("com.mysql.cj.jdbc.Driver"); dataSource.setUrl("jdbc:mysql://localhost:3306/mydb"); dataSource.setUsername("root"); dataSource.setPassword("password"); return dataSource; } @Bean public JdbcTemplate jdbcTemplate(DataSource dataSource) { return new JdbcTemplate(dataSource); }}在这个配置类中,我们定义了一个dataSource方法来创建一个DriverManagerDataSource实例,并设置了数据库驱动、URL、用户名和密码。然后,我们定义了一个jdbcTemplate方法,它接受DataSource作为参数,并使用它来创建一个JdbcTemplate实例。现在,你可以在你的服务中注入JdbcTemplate:import org.springframework.beans.factory.annotation.Autowired;import org.springframework.jdbc.core.JdbcTemplate;import org.springframework.stereotype.Service; @Servicepublic class MyService { private final JdbcTemplate jdbcTemplate; @Autowired public MyService(JdbcTemplate jdbcTemplate) { this.jdbcTemplate = jdbcTemplate; } // 使用jdbcTemplate进行数据库操作的方法}在这个服务类中,我们通过构造器注入的方式将JdbcTemplate注入到服务中,并可以在方法中使用它来执行数据库操作。
  • GaussDB Join操作时大表位置的性能影响
    GaussDB Join操作时大表位置的性能影响在数据库操作中,尤其是涉及到大型表的JOIN操作时,大表的位置(即作为驱动表还是被驱动表)对性能有着显著的影响。在传统的数据库系统中,通常推荐将小表作为驱动表,以减少不必要的扫描和提高JOIN操作的效率。这是因为小表的全表扫描或索引扫描通常比分析大表的成本要低。对于GaussDB(华为的数据库产品),其性能调优和执行计划的生成也遵循这一原则。在GaussDB中,如果大表作为驱动表,它将进行全表扫描,这可能会导致较高的性能成本。相反,如果小表作为驱动表,它可以更快地定位和返回匹配的行,从而提高整体JOIN操作的效率。在实际应用中,GaussDB的查询优化器会根据表的统计信息和数据分布来生成执行计划,试图选择最优的JOIN顺序。因此,在编写查询时,应当考虑表的大小和索引使用情况,以指导优化器生成更高效的执行计划。如果发现性能不佳,可以通过调整JOIN的顺序、使用索引或重构查询来改善性能。需要注意的是,GaussDB的性能调优不仅仅局限于JOIN操作的表顺序,还包括对存储引擎、查询优化、统计信息收集等多个方面的综合考量。在面对具体的性能问题时,可能需要结合实际的执行计划分析和数据库的具体配置来进行细致的调优。
  • 开发中心的需求管理笔记分享
    需求管理是开发中心集成需求管理(CodeArts Req)服务中“Scrum项目”的和“IPD项目”相关需求管理的能力,是华为多年研发实践沉淀的需求管理与团队协作服务,内置多种开箱即用的场景化需求模型。开发中心的需求管理理解开发中心的需求管理是指在软件开发过程中,对用户需求、业务需求以及项目目标进行系统的识别、分析、记录、跟踪和控制的一系列活动。需求管理的目的是确保开发出来的产品或系统能够满足用户的实际需求,同时符合业务目标和项目范围。需求管理的核心活动需求收集:通过用户访谈、市场调研、工作坊等方式,从客户、用户和其他利益相关者那里收集需求信息。需求分析与分类:对收集到的需求进行分析,明确需求的功能性和非功能性要求,并进行优先级排序,以便于后续的开发工作。需求文档化:将分析后的需求详细记录下来,形成需求规格说明书或需求文档,确保所有团队成员对需求有共同的理解。需求确认与验证:与利益相关者共同审查需求文档,确保需求被正确理解,并通过原型测试等方式验证需求的实现是否满足预期。需求跟踪与变更控制:在项目开发过程中持续监控需求的状态,并对任何需求变更进行严格的评估、审批和记录,以维持项目的稳定性和可控性。沟通与协作:需求管理涉及跨部门的沟通和协作,项目经理和团队成员需要与利益相关者保持密切沟通,确保信息的透明度和团队的协作效率。需求管理的重要性有效的需求管理有助于减少项目风险、提高产品质量、缩短开发周期,并确保项目能够适应市场变化和用户需求的演进。通过需求管理,开发团队可以更好地理解用户的期望,做出更明智的决策,并有效地分配资源。需求管理的挑战和解决方案需求管理面临的挑战包括需求变更的频繁性、需求的不明确性和需求与项目目标之间的不一致性。为了应对这些挑战,开发中心可以采取以下措施:建立清晰的需求管理计划和变更控制流程;使用需求管理工具来协助需求的追踪和版本控制;加强与利益相关者的沟通,确保需求的及时更新和反馈;采用敏捷开发方法,允许需求的灵活性和迭代优化。通过这些方法,开发中心可以更好地掌握需求管理,从而提高项目的成功率和客户满意度。
  • 开发中心的代码仓管理笔记
    开发中心的代码仓管理开发中心的代码仓管理是指在软件开发过程中,对代码进行有效组织、控制和维护的一系列活动。这通常涉及到使用版本控制系统(如Git、SVN等)来存储代码,以及实施一系列最佳实践来确保代码的质量、安全性和可维护性。代码仓管理的目的是为了促进团队成员之间的协作,简化开发流程,加快迭代速度,并确保软件产品的稳定性和可靠性。代码仓库的作用代码仓库是软件开发中的核心组成部分,它不仅是代码的存储库,还是团队成员共享、协作和版本控制的基础设施。通过代码仓库,开发人员可以追踪代码的变更历史,管理不同版本的代码,并通过分支管理并行开发不同的功能或修复。版本控制策略在代码仓管理中,版本控制策略是关键。常见的策略包括分支开发和主干开发。分支开发模式下,每个功能或修复都在独立的分支上进行,完成后合并回主干。主干开发模式则鼓励频繁地将小的变更合并到主干,以保持主干的稳定性和可部署性。持续集成与持续部署(CI/CD)代码仓管理与CI/CD流程紧密结合,通过自动化测试和部署流程,确保代码质量并加速软件交付。CI/CD可以帮助团队实现自动化构建、测试和部署,提高开发效率和软件的市场响应速度。代码仓库的优化和维护为了保持代码仓库的健康和高效运作,开发团队需要定期进行代码审查、合并请求处理、清理无用的分支和合并请求,以及维护代码的质量和风格一致性。此外,团队还需要根据项目的特点和团队的工作流程来选择合适的代码结构和管理模式。安全性和合规性代码仓管理还需要考虑安全性和合规性问题,包括限制对敏感代码的访问、加密存储和传输数据、以及遵守行业标准和法规要求。综上所述,开发中心的代码仓管理是一个多维度的过程,涉及到技术实践、团队协作、流程优化和安全合规等多个方面。通过有效的代码仓管理,开发团队可以建立一个高效、透明和可持续发展的软件开发环境。
  • 开发中心的流水线管理笔记分享
    流水线管理的概念流水线管理是指在软件开发中心中,通过自动化工具和技术将软件开发和运维过程细化为一系列可重复、可执行的阶段,每个阶段都有明确的任务和输出。这些阶段通常包括代码开发、代码审查、测试、部署和监控等。通过自动化工具将这些阶段串联起来,形成一个完整的流水线,使得每个阶段都能够快速、准确地完成,从而提高软件交付的速度和质量。流水线管理的优势流水线管理的优势包括提高效率、减少错误、提高质量、增强团队协作等。自动化工具的使用减少了手动干预和等待时间,促进了团队成员之间的沟通和合作,确保了每个阶段的输出都经过严格的质量控制,从而提高了软件的整体质量。流水线管理的实施步骤实施流水线管理需要以下步骤:确定流程:明确软件开发和运维的流程,并将其细分为可执行的阶段。选择工具:选择适合的自动化工具来串联各个阶段,支持代码管理、构建、测试、部署和监控等功能。构建流水线:使用所选的工具构建完整的流水线,根据确定的流程将各个阶段串联起来,并配置自动化任务。持续集成:在流水线中实施持续集成,确保代码的正确性和一致性。监控与反馈:实施监控和度量,收集关于流水线的性能数据,并通过可视化工具展示流水线的状态和度量数据。持续改进:根据监控和度量数据,以及团队成员的反馈,不断优化和完善流水线。流水线管理的实践经验在实践中,选择合适的工具与技术、强化团队协作与沟通、持续优化与改进、关注性能与稳定性、安全性与合规性是非常重要的。通过这些实践经验,团队可以建立起高效、可靠的流水线,为项目的成功打下坚实的基础。流水线管理的时效性信息根据最新的信息,开发中心的流水线管理不仅关注自动化和效率提升,还涉及到标准化和规范化的流程。例如,华为云发布的流水线服务CodeArts Pipeline旨在提升编排体验,开放插件平台,以及提供标准化的DevOps企业治理模型,将优秀的研发实践赋能给合作伙伴和客户。这些最新的实践和工具的发展表明,流水线管理正变得更加智能化和标准化,以适应不断变化的软件开发需求。
  • 加速GaussDB系统表脏页释放的策略
    加速GaussDB系统表脏页释放的策略在GaussDB数据库中,系统表的脏页(即由于更新或删除操作而标记为已删除但尚未从磁盘页面中移除的数据)会随着时间的推移积累,这可能导致性能下降。执行VACUUM FULL ANALYZE命令可以回收这些脏页,但这个操作可能会非常耗时,尤其是在大型集群环境中。为了加速这个过程,您可以采取以下策略:选择合适的时间窗口:执行VACUUM FULL ANALYZE操作应该在数据库负载较低的时段进行,以减少对生产环境的影响。监控和选择目标表:使用系统视图如PGXC_GET_STAT_ALL_TABLES来监控表的脏页率,并优先选择脏页率较高的系统表进行操作。分批处理:如果集群中有多个节点,可以考虑将VACUUM FULL ANALYZE操作分批在不同的节点上进行,以避免一次性对整个集群造成过大压力。调整配置参数:根据集群的具体情况,调整相关的配置参数,如vacuum_cost_delay,以平衡性能和资源消耗。使用自动清理功能:确保集群的自动清理(AUTOVACUUM)功能已启用,这有助于在后台自动回收空间并更新统计信息,减少手动干预的需要。硬件资源优化:确保数据库服务器拥有足够的CPU和I/O资源来支持VACUUM FULL ANALYZE操作的执行。监控和调整:在执行操作期间,持续监控集群的性能指标,如CPU使用率、I/O吞吐量和锁等待情况,以便及时调整策略。优化表结构:如果系统表经常遭受大量的更新和删除操作,考虑重构表结构或使用分区表来减少脏页的产生。通过上述策略,您可以在GaussDB 200 8.1.1.5版本集群中更有效地加速系统表脏页的释放过程。记得在执行这些操作前充分测试并评估潜在的影响,以确保生产环境的稳定性。在GaussDB中,判断一个表是否应该进行VACUUM FULL ANALYZE操作通常基于以下几个因素:表的脏页率:脏页是指那些已经被标记为删除但尚未从物理存储中移除的数据页。如果一个表的脏页率较高,意味着有很多空间没有被有效利用,这时执行VACUUM FULL可以回收这些空间。表的大小:对于表大小超过特定阈值(例如10GB)的表,即使脏页率不高,也可能需要执行VACUUM FULL来优化性能和空间利用率。表的更新频率:频繁更新的表可能会产生大量的死行(dead tuples),这些死行如果不及时清理,会导致表膨胀和性能下降。对于这类表,定期执行VACUUM FULL是非常有必要的。系统表的特殊考虑:系统表由于其在数据库内部的重要作用,可能需要更频繁地进行VACUUM FULL操作,以确保数据库的整体健康和性能。磁盘空间使用情况:如果数据库的磁盘空间使用率接近临界值,执行VACUUM FULL可以帮助释放空间,防止因空间不足而影响数据库的正常运行。性能瓶颈:如果观察到某个表的查询性能明显下降,可能是由于表碎片化严重,这时执行VACUUM FULL可以改善性能。在实际操作中,可以通过查询系统视图PGXC_GET_STAT_ALL_TABLES来获取表的统计信息,包括脏页率和表大小,以此作为决策依据。此外,还应考虑数据库的维护窗口和业务负载,选择在系统负载较低的时间段执行VACUUM FULL ANALYZE操作,以减少对生产环境的影响。
  • ArrayList组件学习
    ArrayList概述ArrayList是Java中的一个重要组件,属于java.util包,是一种基于数组的列表(List)实现,能够以动态的方式存储对象。与传统数组不同的是,ArrayList允许在运行时动态调整自身的大小,这使得它在处理未知数量元素时非常有用。ArrayList的基本用法添加元素向ArrayList中添加元素是通过add()方法实现的。例如,可以将一个整数添加到ArrayList中:ArrayList<Integer> numbers = new ArrayList<>();numbers.add(12);访问元素可以通过get()方法按索引访问ArrayList中的元素:int firstElement = numbers.get(0);修改元素使用set()方法可以修改指定索引位置的元素:numbers.set(0, 13); // 将索引0的元素修改为13删除元素删除元素可以使用remove()方法,也可以使用clear()方法清空整个ArrayList:numbers.remove(0); // 删除索引为0的元素numbers.clear(); // 清空ArrayListArrayList的特点动态数组:ArrayList是基于数组的,但它允许在运行时动态增加或删除元素,而不需要重新分配数组。线程不安全:ArrayList不是线程安全的,这意味着在多线程环境中,需要采取额外的同步措施来保护ArrayList。随机访问:ArrayList支持快速的随机访问,即O(1)时间复杂度。插入和删除操作:虽然在数组末尾添加或删除元素很快(O(1)),但在数组中间进行插入或删除操作则较慢,时间复杂度为O(n)。扩容机制:当ArrayList达到容量限制时,会自动进行扩容,这个过程可能涉及复制原有数据到一个更大的数组中,这可能会带来性能开销。ArrayList的应用场景ArrayList适用于以下场景:当需要存储大量数据且数量未知时。当需要频繁进行插入和删除操作时。当需要随机访问列表中的元素时。ArrayList与其他数据结构的比较与Arrays比较:与固定大小的数组相比,ArrayList提供了动态调整大小的能力,更适合数据量不确定的情况。与LinkedList比较:LinkedList在插入和删除操作上通常更快,尤其是在列表中间操作时,但随机访问元素的速度较慢。相比之下,ArrayList在随机访问上较快,但在插入和删除操作上较慢。总结ArrayList是Java中一种常用的动态数组实现,它提供了丰富的方法来方便地进行列表操作。了解它的特点和使用场景对于有效地利用ArrayList非常重要。在实际开发中,应根据具体需求选择最合适的数据结构。
  • Kerberos协议学习笔记
    Kerberos协议简介Kerberos是一种网络认证协议,主要用于计算机网络的身份验证(Authentication)。它通过使用加密技术,确保网络通信的安全性。Kerberos的核心组件是密钥分发中心(Key Distribution Center, KDC),它分为两个部分:认证服务器(Authentication Server, AS)和票据授予服务器(Ticket-Granting Server, TGS)。客户端(Client)和服务端(Server)在进行通信之前,需要通过KDC进行身份认证。Kerberos提供了一种安全的方法来避免在网络上明文传输用户凭证,并通过使用“票据”(tickets)来证明用户和服务间的信任关系。Kerberos认证过程Kerberos的认证过程主要包括以下步骤:认证请求:用户(客户端)向AS发送认证请求,包括用户名和加密的时间戳。AS响应:AS验证用户是否在数据库中,如果是,则返回包含会话密钥(session key)和时间戳的响应(AS_REP)。获取TGT:客户端使用AS返回的会话密钥解密时间戳,获取TGT(Ticket Granting Ticket)。请求服务票据:客户端携带TGT向TGS请求服务票据(Ticket)。TGS响应:TGS验证TGT,并返回服务票据。服务验证:客户端使用服务票据向服务端证明身份。Kerberos的特点安全性高:Kerberos使用密码学算法和密钥加密技术,确保认证的安全性。集中管理:Kerberos认证机制采用集中原则,可以管理多个网络或应用程序的访问权限。自主管理:各计算机或应用程序可以自主管理其访问权限,管理自己的密钥和访问权限。Kerberos的局限性依赖时钟同步:Kerberos协议要求用户、KDC和服务间的时钟同步,否则可能导致认证失败。单点故障:KDC是Kerberos协议的核心,如果KDC故障,认证将无法正常进行。密码管理:用户需要妥善管理自己的密码,否则可能引起安全问题。Kerberos的实际应用Kerberos广泛应用于大数据环境、企业网络和企业内部的安全认证。在搭建域环境时,通常会安装Kerberos服务,并在域控制器上配置Kerberos。用户登录域时,会通过Kerberos进行身份验证,以确保网络资源访问的安全性。Kerberos认证过程详解Kerberos认证过程详解涉及多个步骤和技术细节,包括但不限于:AS和TGS的角色:AS负责验证用户身份并发放TGT;TGS负责发放服务票据。票据的有效性:TGT和票据都有有效期,过期后需要重新认证。认证消息的结构:认证消息包括多个加密部分,如AS_REQ、TGS_REQ等。认证过程中的密钥管理:包括会话密钥、TGT和票据中的密钥管理。Kerberos协议的重要性Kerberos协议在网络安全领域发挥着重要作用,它提供了一种安全可靠的身份验证机制,有助于防止未经授权的访问和数据泄露。了解和掌握Kerberos协议对于网络安全专业人士来说非常重要。
  • 云服务器集群时间同步实现
    云服务器集群时间同步实现概述云服务器集群时间同步是指在云服务器集群环境中,确保各个节点服务器的时间保持一致,这对于集群系统的正常运行至关重要。时间同步可以防止因时间不一致导致的数据丢失、服务中断等问题。在云服务器集群中,时间同步通常通过网络时间协议(NTP)或Chrony等时间同步服务来实现。时间同步的重要性时间同步对于云服务器集群来说非常重要,尤其是在涉及分布式计算、日志记录、审计跟踪和其他依赖于时间戳的应用程序中更是如此。时间不一致可能导致服务故障、数据不一致、安全性问题和业务逻辑错误等问题。时间同步的实现NTP服务NTP(Network Time Protocol)是一种用于同步计算机时钟的网络协议。在云服务器集群中,通常会选择一个或多个节点作为NTP服务器,其它节点则同步这些服务器的时钟。配置NTP服务时,需要在每个节点上安装NTP软件,并配置指向NTP服务器的连接。Chrony服务Chrony是另一种常用于Linux系统的时间同步服务,它比NTP更加精确,并且能够处理更广泛的时钟偏差。配置Chrony时,需要在系统中安装Chrony软件,并配置相应的服务器信息。配置步骤安装时间同步服务:在每个节点上安装NTP或Chrony服务。配置时间源:在配置文件中指定时间服务器地址。启动服务:启动NTP或Chrony服务,并确保它们在系统启动时自动运行。检查同步状态:使用相关命令检查时间同步状态,如ntpq -p或chronyc tracking。注意事项确保防火墙设置允许NTP流量通过。定期检查时间同步服务的运行状况。对于重要的服务,建议实施监控和告警机制。结论云服务器集群时间同步是通过时间同步服务实现的,这些服务保证了集群中各节点的时间一致性,从而确保了服务的可靠性和数据的准确性。正确的配置和维护时间同步服务对于云服务器集群的稳定运行至关重要。
  • 存储服务2024.9月技术干货&资讯合集
    技术干货GaussDB、DWS、GaussDB A、GaussDB T、openGauss概念理解https://bbs.huaweicloud.com/forum/thread-0287162528206256028-1-1.htmlLinksoft消费MQS消息获取数据的方法https://bbs.huaweicloud.com/forum/thread-02127162528416254032-1-1.html华为云盘古大模型与通义千问大模型比较分析https://bbs.huaweicloud.com/forum/thread-02127162528592316033-1-1.htmlGaussDB数据库分页查询方式https://bbs.huaweicloud.com/forum/thread-0204162528737718030-1-1.html鲲鹏920服务器BIOS设置中的Cache Mode和Stream Write Mode分析https://bbs.huaweicloud.com/forum/thread-0234162528950048012-1-1.htmlGaussDB(DWS)与GaussDB分布式版的区别https://bbs.huaweicloud.com/forum/thread-0292162529326307033-1-1.html数据库支持数据闪回技术概览https://bbs.huaweicloud.com/forum/thread-0204162529607439031-1-1.htmlGDE、ADC、iStudio的关系https://bbs.huaweicloud.com/forum/thread-0287162529839573029-1-1.htmlGaussDB 200 查看表膨胀率的常用方法https://bbs.huaweicloud.com/forum/thread-0257162704381049040-1-1.html通过Java连接HetuEngine(Password Fabric模式)https://bbs.huaweicloud.com/forum/thread-0257162905303596058-1-1.html盘古大模型与人工智能产品的NLP/CV技术对比分析https://bbs.huaweicloud.com/forum/thread-0234162905585107028-1-1.html热点资讯资讯|任我行&华为云,让更多中小企业跃上云端https://bbs.huaweicloud.com/forum/thread-0210162714387422041-1-1.html资讯|构建根技术新生态,给全球开发者更优选择https://bbs.huaweicloud.com/forum/thread-0210162714461092042-1-1.html资讯|华为云加速企业数智跃迁,以卓越成就卓越https://bbs.huaweicloud.com/forum/thread-0234162714618452019-1-1.html资讯|首届华为云AI用户峰会召开:聚焦行业真难题,引领行业快发展https://bbs.huaweicloud.com/forum/thread-0257162714906869043-1-1.html资讯|求解性能持续全面突破,华为云天筹求解器登顶5项权威榜单https://bbs.huaweicloud.com/forum/thread-0257162715227166044-1-1.html
  • 【话题交流】区块链知识专题——看看大家区块链知识知多少
    本月话题:区块链知识专题目前,随着IT技术的不断发展,知识的不断更新迭代,大家讨论讨论说说看看大家对区块链方面的知识掌握多少,看看大家对目前区块链的了解看看谁是知识小能手!
  • 盘古大模型与人工智能产品的NLP/CV技术对比分析
    盘古大模型与人工智能产品的NLP/CV技术对比分析盘古大模型简介盘古大模型是由华为云推出的一个全面的AI大模型,它涵盖了自然语言处理(NLP)、计算机视觉(CV)等多个领域,旨在为各行各业提供AI赋能。盘古大模型采用了分层解耦的设计,包括L0、L1、L2三层架构,分别对应不同的应用场景和能力。盘古大模型与人工智能产品的NLP技术对比盘古NLP大模型是业界首个超千亿参数的中文预训练大模型,它在权威的中文语言理解评测基准CLUE榜单中排名第一,显示出其卓越的语言理解能力。相比之下,其他人工智能产品如GPT-3等虽然也有强大的语言处理能力,但在中文语境下的表现不如盘古大模型。盘古大模型在多任务学习、多模态交互以及代码生成等方面表现出色,能够更好地适应不同场景的需求。盘古大模型与人工智能产品的CV技术对比在计算机视觉领域,盘古CV大模型首次兼顾了图像判别与生成能力,能够同时满足底层图像处理与高层语义的理解需求。它不仅可以应用于传统的图像分类、目标检测等任务,还可以生成符合物理规律的多模态内容,如自动驾驶合成数据生成。相比其他AI产品,盘古CV大模型在多模态数据处理能力上有明显优势,特别是在处理复杂视觉任务如视觉问答、常识推理等方面。盘古大模型适用场景详解盘古大模型适用于多个行业和场景,包括但不限于政务、金融、医疗、矿业、气象、汽车等领域。例如,在医疗健康领域,盘古大模型助力医疗服务平台构建智慧医疗场景能力,提升医疗服务水平。在矿业领域,盘古采矿模型已在中国多个煤矿得到应用,提高了矿山的智能化水平。在气象领域,盘古气象模型超过了传统的数值天气预报方法,提高了预测速度和准确性。结论综合来看,盘古大模型在NLP和CV技术方面展现出的能力超越了市场上同类的人工智能产品,其多模态、多任务的处理能力以及在多个行业中的应用证明了其在实际场景中的有效性和商业价值。随着技术的不断发展和完善,盘古大模型有望在未来的人工智能领域扮演更加重要的角色。
  • 通过Java连接HetuEngine(Password Fabric模式)
    通过Java连接HetuEngine(Password Fabric模式)要通过Java连接HetuEngine并使用Password Fabric模式进行认证,您需要遵循以下步骤:添加依赖:确保您的项目中包含了HetuEngine的JDBC驱动依赖。配置连接字符串:设置JDBC连接字符串,包括服务发现模式(对于Password Fabric模式,通常是serviceDiscoveryMode=hsbroker)和其他必要的参数。设置用户名和密码:在连接属性中设置您的HetuEngine用户名和密码。加载驱动:在代码中通过Class.forName()方法加载HetuEngine的JDBC驱动类。建立连接:使用DriverManager.getConnection()方法根据配置的连接字符串和属性建立数据库连接。执行SQL语句:一旦连接建立,就可以创建Statement或PreparedStatement对象来执行SQL语句。处理结果集:执行SQL语句后,处理返回的ResultSet对象以获取查询结果。关闭资源:在操作完成后,关闭ResultSet、Statement和Connection对象释放资源。以下是一个简化的Java代码示例,展示了如何连接HetuEngine并执行SQL语句:import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLException;import java.util.Properties;public class HetuEngineConnection { public static void main(String[] args) { // 配置连接属性 Properties properties = new Properties(); properties.setProperty("user", "your_username"); // 替换为您的HetuEngine用户名 properties.setProperty("password", "your_password"); // 替换为您的HetuEngine密码 properties.setProperty("serviceDiscoveryMode", "hsbroker"); // 加载HetuEngine JDBC驱动 try { Class.forName("io.trino.jdbc.TrinoDriver"); } catch (ClassNotFoundException e) { e.printStackTrace(); return; } // 建立连接 String url = "jdbc:trino://host1:port1,host2:port2,.../catalog/schema"; // 替换为您的HetuEngine连接信息 try (Connection connection = DriverManager.getConnection(url, properties)) { // 创建并执行SQL语句 String sql = "SELECT * FROM your_table"; // 替换为您要执行的SQL语句 try (PreparedStatement statement = connection.prepareStatement(sql)) { try (ResultSet resultSet = statement.executeQuery()) { // 处理查询结果 while (resultSet.next()) { // 处理每一行数据 } } } } catch (SQLException e) { e.printStackTrace(); } }}请确保将上述代码中的占位符(如your_username、your_password、host1:port1等)替换为您的实际HetuEngine连接信息。在实际应用中,您可能需要根据您的具体环境和安全要求进行调整。
  • 资讯|求解性能持续全面突破,华为云天筹求解器登顶5项权威榜单
    华为云天筹求解器(简称“天筹”,OptVerse)在近日更新的国际权威数学优化求解器榜单Hans Mittelmann benchmark上再次实现突破,5项重量级榜单荣登榜首。天筹求解器在混合整数线性规划(MIPLIB2017,以下简称MILP)榜单上获得突破,首次荣登榜首,在反映MILP求解稳定性的病态MILP(MILP pathological,以下简称MILP-Path)榜单上也同样取得第一佳绩。二阶锥优化(Second Order Cone Programming, 以下简称SOCP)榜单首次打榜便勇夺第一,凸二次连续规划(Convex Continuous QPLIB,以下简称QP)榜单重回第一,大规模网络流单纯形法(Large Network Linear Programming,以下简称Large Network-LP)持续领先第二名近20%。此外,线性规划最优顶点解(以下简称LPOpt)和最优数值解(以下简称LPFeas)双榜性能均大幅提升近50%,综合性能稳居行业前列。混合整数线性规划荣登榜首混合整数线性规划(MILP)是应用范围最广的问题类型。诸如企业生产计划与车间排程、货物运输与配送过程中的路径规划、关键设施的选址等决策场景均可建模成一个混合整数线性规划问题求解,获得业务约束范围内的最优决策。本次华为天筹求解器参与的MIPLIB2017榜单共包含240个问题,由数学优化社区从7000+来自实际应用的候选问题中精选得出,被认为是最具代表性、难度最高的数学优化求解器榜单之一。华为天筹团队通过对困难场景的针对性突破和持续算法创新,本次榜单可求解问题数增加20个,在240个问题中总求解数达到222个,SGM(Scaled Geometric Mean)缩短至100以内,求解性能提升超过100%,在可求解问题数和平均求解时间两个维度均排名第一;在病态榜单MILP-Path和不可行榜单MILP-Infeasible两个反映求解器鲁棒性的榜单,本次天筹分别获得TOP1和TOP2的好成绩,平均性能分别提升130%和78%。天筹在高效性和鲁棒性方面齐头并进,综合性能取得显著提升,为MILP领域的相关应用提供了强有力的支持。SOCP首次打榜勇夺第一连续凸QPLIB登临榜首二次规划(QP)、二次约束规划(QCP)以及二次锥规划(SOCP)均为凸优化问题的常见类型,在金融、工程设计、通信、能源系统等领域中有广泛的应用。例如,在金融投资组合优化中,最小化投资风险(方差)和最大化收益的Markowitz模型通过求解QP和QCP问题来获取最优投资组合。在工程优化、自动控制等领域中,SOCP被广泛用于处理存在不确定性参数的场景,使得最优解在不确定性条件下具有鲁棒性。本次华为云天筹求解器同时参与了连续凸QPLIB榜单(包含QP和QCP问题)和大规模SOCP榜单的评测,并取得双榜第一。其中,SOCP榜单为天筹求解器首次上榜,可求解全部18个榜单问题,平均求解时间领先第二名9%。连续凸QPLIB榜单天筹求解器重回榜首,可求解全部42个榜单问题,平均求解器时间领先第二名23%。线性规划双榜求解性能大幅提升网络流持续领先线性规划(LP)是最基础且应用非常广的一类优化问题类型,广泛应用于金融、供应链、能源、航空航天等领域。天筹团队通过算法创新和持续打磨,提升LP求解器的通用性、求解精度、及增量求解时的热启动效率。本次华为云天筹求解器参与了全部三个LP榜单评测,分别为LPfeas、LPopt、和大规模网络流LP榜单。其中大规模网络流LP榜单包含25个网络流LP问题,LPfeas榜单和LPopt榜单均包含65个通用LP问题,前者旨在测试LP求解器寻找原始对偶可行解的性能,后者旨在测试寻找最优基解的性能。天筹求解器在三个榜单上均名列前茅,其中大规模网络流LP榜单再次登顶,领先第二名16%;LPfeas和LPopt均位列榜单第二,成绩较上次分别提升40%和20%。大模型AI技术加持做最智能的数学优化求解器产品天筹团队结合盘古大模型率先打造运筹优化领域的AI智能建模能力,结合具体的应用场景,通过智能建模能力赋能制造相关领域,取得了显著的应用推广成果。例如,在公司内部制造排班项目中,针对传统静态建模求解系统无法快速响应多样调整诉求的局限,依托大模型和智能建模技术,打造了一站式智能排班平台。该平台支持用户进行口语化的交互,还能智能识别用户意图,自动调整排班模型,融合天筹进行求解,1分钟左右便能呈现调整后的最优排班方案,相较于以往需耗时数小时的传统排班流程,实现了工作效率的质的飞跃,该解决方案最终带来了超过千万的年收益。同时,团队开创性地打造了一套全方位的求解器算法自动发现框架,涵盖了外层超参数自动推荐、高层算子协同调度、中层算法自演化和底层公式发现技术,实现了AI算法嵌入和自调优的功能,用户可轻松构建适用于自己领域的定制求解器。例如,基于大模型的启发式算法自演化技术,成功寻找到更优的算法并嵌入求解器,有效实现部分难例求解时间缩短70%+;并通过集成图神经网络深度学习技术与启发式搜索策略构建的Neural Heuristic方法,支撑天筹在MIPLIB 2017 open problem榜单中找到了46个问题的当前最优解。深耕实业,携手合作伙伴助力行业数智化转型合作伙伴是华为云取得成功的关键,天筹求解器团队携手伙伴深耕实体行业,通过自身的技术创新、行业实践和生态合作,利用AI和求解器技术帮助千行万业的客户“解难题,做难事”,助力行业数智化转型,赋能企业新质生产力。家电行业某家电企业园区传统智能配车调度时经常发生车等货、货等车现象,华为云团队与客户基于天筹求解器携手打造了“车、单、货、线”最优匹配方案,输出小时级发运计划,下单到交货承诺准确率提升6.7%,装车时长下降50%,足车率提升9.6%。玻璃行业天筹团队联合悠桦林团队在某玻璃龙头行业,以高级生产排程场景为核心,将天筹求解器与悠桦林“智能供应链计划与排程一体化计划平台”形成深度融合,构建集团计划管控体系,实现智能供应链计划体系的打通,以及与上下游系统的无缝联动,打造了行业内第一家真正意义上的无人工厂。服装行业面料裁剪是服装生产核心环节之一,因此使用更少的面料完成裁剪任务,是企业降本增效的关键之一。天筹团队联合深圳布易科技有限公司,共同打造核心排唛引擎,在某大型服装企业场景中,相比已有方案,平料面料利用率提升0.5%,可节省面料成本上亿元。轮胎行业天筹团队联合宏达科技团队为某轮胎企业提供了强大的技术支持,通过优化硫化和成型工序的协同排产,实现了生产流程的一体化,给出最优化的月度排产作业计划,实现将轮胎生产过程中的换型次数减少了5%,胎胚库存降低了10%,并最终实现产量提升,极大提升产能利用率以及订单交付效率。园区物流针对工厂内部仓储和车间物流自动化配送的全场景,天筹团队联合华为内部团队开发出工业物流机器人调度系统,致力于解决智能工厂园区的物流相关机器人和设备间的智能统一调度。团队聚焦异构多机器人调度算法,以路径规划和选车为突破口,综合效率相比现有方案提高40%,具备稳定运行框架,经历华为制造内部100+场景、3000+AGV充分验证,库区内全自动储运,实现交付周期减半。家居行业天筹团队联合三维家团队共同孵化家居行业板材切割解决方案,在板材AI切割算法上进行创新,围绕家居制造中的电子锯切割场景研发全新板材切割方案,为用户提高2%-4%的板材利用率,减少板材切割工序中的材料浪费。全新的AI开料优化算法正在向全行业普及,一年就能为整个中国的家居产业节省几百亿的原材料利用成本。电子行业天筹团队联合赛意团队共同孵化电子行业供应链解决方案,在某PCB生产企业中联合打造数字化供应链智能计划引擎,实现供应链计划的最优解。同时,在某大型物流服务企业,运用天筹求解器的智能决策能力构建“多式联运智慧大脑”,实现物流报价测算与多式联运调度算法的最佳调度。交通行业天津港与华为云合作,利用天筹求解器,开发了新一代的港口智能计划平台。通过智能计划平台,完成整个计划仅仅需要10分钟,计划速度提升144倍,设备利用率提高15%,堆场翻倒率降低20%,大幅度地提升了港口运转效率和作业效率,进而缩短船舶在港时间10%。通过全局优化,真正地实现了天津港资源调度最大化。深圳机场与华为团队合作,基于天筹求解器,使得机位分配千余架次航班机位分配从原来的4小时缩短为1分钟,每年将会有260万旅客不再坐摆渡车;行李转盘等资源的计划调度,减少了旅客聚集,提升旅客体验。除了上述行业和领域,天筹求解器还广泛应用于交通行业、钢铁生产、金属加工、化工生产、公共服务等领域,随着各行各业数字化和智能化转型的推进,运筹优化与AI技术将应用于更多的领域,也将面临更多的挑战。华为云天筹求解器团队将持续总结经验,深耕技术,创新进步,为客户提供世界一流的决策优化解决方案,赋能千行万业。转自华为云公众号
总条数:240 到第
上滑加载中