-
MySQL test 框架参考https://dev.mysql.com/doc/dev/mysql-server/latest/PAGE_TESTING_TOOLS.html测试框架程序文件mysql-test-run.pl测试主程序 调用mysqltest测试单个用例(单个测试文件)mysqltest测试单个用例,被mysql-test-run.pl调用mysql_client_test用来测试无法被mysqltest测试的MySQL client APImysql-stress-test.pl用于MySQL压力测试unit-testing facility 用于创建测试存储引擎或插件的单独的单元测试测试suite程序文件所在目录mysqltest源码cc在client目录下,编译结果在bin目录下mysql_client_test源码cc在testclients目录下,编译结果在bin目录下其他测试程序 源码在mysql-test目录下,编译结果在install目录下的mysql-test目录install/mysql-test目录结构```bash-rw-r--r--. asan.suppdrwxr-xr-x. collections # 集成与发布测试时使用,保留在源码仓中以供参考drwxr-xr-x. extradrwxr-xr-x. include # 主要版本default_xxx.cnf文件及一些将被test文件包含的.inc文件drwxr-xr-x. lib # 保存了一些.pm .t .pl文件,将作为mysql-test-run.pl的模块被调用-rw-r--r--. lsan.supplrwxrwxrwx. mtr -> ./mysql-test-run.pl # 别名或副本-rwxr-xr-x. mysql-stress-test.pl # 压力测试lrwxrwxrwx. mysql-test-run -> ./mysql-test-run.pl # 别名或副本-rwxr-xr-x. mysql-test-run.pl # 用来一次测试drwxr-xr-x. r # 存放.result期望结果文件、.reject(与.result不一致的)实际结果文件-rw-r--r--. README-rw-r--r--. README.gcov-rw-r--r--. README.stressdrwxr-xr-x. std_data # 包含一些测试使用的数据文件drwxr-xr-x. suite # 每个子目录代表一个以文件件命名的test suitedrwxr-xr-x. t # 存放测试输入文件 .cnf .inc .opt .test等文件-rw-r--r--. valgrind.suppdrwxr-xr-x. var # 存放各种测试结果信息```t目录t包含了测试case的输入文件,对于一个用例ABC可能有文件ABC.cnf指定测试case的附加配置信息ABC-client.opt提供客户端的配置ABC-master.opt即使没有涉及主从复制,也加master,如果当前运行的server的配置和-master.opt的不一样,mysql-test-run.pl就会重启server;mysql-test-run.pl也会按照opt文件的配置重启server。每个bootstrap变量必须作为--initialize选项的参数,mysql-test-run.pl才能在服务器初始化的时候识别出需要使用的变量ABC-slave.opt有主从复制是才需要ABC.testABC.resultABC.combinations为每次测试case运行提供选项段ABC-master.sh在main server启动前将被执行,win不支持,将来可能被其他机制替换ABC-slave.sh在slave server启动前将被执行,win不支持,将来可能被其他机制替换suite.opt为所有该suite内的test case提供配置,如果一个test运行多个server,则suite.opt对所有这些server都有效。该文件中的选项会被-master.opt、-slave.opt中的同选项覆盖disabled.def用来配置将被延期或禁止运行的test case,如果由于server有bug致使一些test会失败,想忽略这些test,不被mysql-test-run.pl执行,可以将这些test列到这个文件中cnf文件可以包含基础或其他配置文件!include include/default_my.cnf [mysqld.1] # 可以使用.1/.2等组后缀名区分不同server组,每个server启动的时候都默认带有组后缀名(defaults-group-suffix)Options for server mysqld.1 [mysqld.2]Options for server mysqld.2 [mysqltest] # 测试客户端的配置选项ps-protocol ......... [ENV] # 指定测试case的环境变量SERVER_MYPORT_1= @mysqld.1.port # 定义一个SERVER_MYPORT_1环境变量,值为上段mysqld.1中的port的值SERVER_MYPORT_2= @mysqld.2.portr目录可能包含的文件ABC.resultABC.test文件的期望输出内容ABC.reject如果test case是由于输出不一致而失败的(非其他原因失败),则.reject文件中包含test case的实际输出如果--check-testcases选项打开,若test文件没有对应result文件时,mtr将对其标记为失败。--check-testcases作用检查测试用例是否有副作用。 这是通过在每个测试用例之前和之后检查系统状态来完成的。 如果有任何差异,则测试用例因此被标记为失败。类似地,当启用 --check-testcases 选项时,MTR 会对丢失的 .result 文件进行额外检查,并且没有相应 .result 文件的测试用例被标记为失败。默认情况下启用此检查。 要禁用它,请使用 --nocheck-testcases 选项。var目录用来存放各种测试运行中生成的结果文件:log文件、temp文件、trace文件、Unix socket文件等。这个目录不能被同时跑的测试所共享。suite目录该目录下每个子文件夹代表一个与文件夹同名的test suite。 每个test suite可能包含如下部分t目录r目录include目录一个combinations格式的文件,为每次测试运行提供配置段(Controlling the Binary Log Format Used for an Entire Test Run)一个cnf格式的文件,为本suite中的所有测试提供配置项,同配置项内容会被test_name.cnf文件的所覆盖。collections目录此目录包含我们在集成和发布测试期间运行的测试运行的集合。这些文件在此上下文之外没有直接用处,但需要成为源码仓的一部分并包含在内以供参考。每个文件包含零行或多行,每行都调用一次 mysql-test-run.pl。这些调用是这样编写的假设perl在环境搜索路径中原则上任何集合都可以作为shell脚本或批处理文件运行mysql-test目录是当前工作目录。每行格式例如 perl mysql-test-run.pl --force --timer --big-test --testcase-timeout=90 --parallel=auto --experimental=collections/default.experimental --comment=normal-big --vardir=var-normal-big --report-features --skip-test-list=collections/disabled-daily.list --unit-tests-reportunittest目录单元测试相关目录,相关于存储引擎和插件的附加文件可能存在于storage或plugin目录的子目录下。在顶层Makefile中有多个targets可用于运行测试集。make test只运行单元测试(?),其他测试集见Makefile文件。 一个“test case”是单个文件,case中可能包含多个测试命令,任意一个测试命令没有产生预期的结果都认为整个测试用例失败(预期结果包括测试某种预期的错误,例如语法错误)。test case的输出内容(test result, 和.result文件进行diff)包括输入的SQL语句及其输出信息mysqltest命令(例如echo、exec)的输出结果,而命令本身不输出到结果。disable_query_log和enable_query_log命令控制是否logging输出SQL语句(.result?) disable_result_log和enable_result_log命令控制是否logging输出SQL语句的结果包括warning、error信息(.result?)mysqltest默认从其标准输入读入test case,也可以使用--test-file或-X选项显式地给定一个test case文件名。mysqltest默认向其标准输出写入test case的结果,也可以使用--result-file或-R选项来显式地指定result文件的位置。 这个配置项和--record选项共同确定mysqltest如何处理一个test case的实际和预期测试结果。如果一个test没有输出result,mysqltest会带着error信息退出,除非--result-file指定的文件名为空如果--result-file没有给出,mysqltest将发送结果到标准输出如果有--result-file但没有--record选项mysqltest从指定的文件中读取期望的result文件,并且和期望的result结果做比较。如果结果不匹配,mysqltest就将实际结果写到log目录下.reject文件中,并error退出,只要有可用的diff工具,就会再输出实际与预期的diff结果。如果--result-file和--record都给出了,则mysqltest将用实际测试结果更新到给出的文件中,该文件不需要预先存在(最开始的result文件自动生成)。mysqltest程序本身对t/r目录一无所知,这些目录下的文件,约定由mysql-test-run.pl使用,由该pl文件为每个test case以适当的参数调用mysqltest,告诉mysqltest从哪里读取输入和向哪里输出。需要C++运行时库mysqltest和mysql_client_test程序是用C++编写的,可以在任何可以编译MySQL本身的系统上使用,或者可以使用二进制MySQL发行版。需要perl测试框架的其他部分,例如 mysql-test-run.pl 是 Perl 脚本,应该在安装了 Perl 的系统上运行。需要diffmysqltest使用diff程序来比较预期和实际测试结果。 如果未找到diff,mysqltest会写入错误消息并转储 .result 和 .reject 文件的全部内容,以便您可以尝试确定测试未成功的原因。 如果您的系统没有diff,您可以从以下站点之一获取它: http://www.gnu.org/software/diffutils/diffutils.html http://gnuwin32.sourceforge.net/packages/diffutils.htm目录不能带空格如果从完整路径包含空格字符的目录中启动,mysql-test-run.pl 将无法正常运行,因为这将会使在所有引用这个路径的不同上下文中正确处理它变得很复杂。参考 https://dev.mysql.com/doc/dev/mysql-server/latest/PAGE_MYSQL_TEST_RUN_PL.html尽可能多收集错误信息,再上报bughttps://dev.mysql.com/doc/refman/8.0/en/bug-reports.html.确保包含了mysql-test-run.pl的输出、var/log中所有的.reject文件以及diff报告检查单独跑这个用例是否失败cd mysql-test./mysql-test-run.pl test_name如果还失败,再继续检查是否自己编译MySQL使用了--with-debug选项且运行mysql-test-run.pl是否使用了--debug选项。如果这样还失败,则连带var/tmp/master.trace文件一起上报(顺带包含系统描述、mysqld版本、如何编译该mysqld文件)。运行mysql-test-run.pl带--force选项,查看是否还有其他test case失败。Result length mismatch或者Result content mismatch,就表示可能有bug或该mysql版本在某些情况下产生的结果略有不同。如果一个test case完全失败,应该检查var/log目录中的logs文件中的错误信息。如果自己编译的debug版本MySQL,出现test case失败的情况,可以运行mysql-test-run.pl加--gdb和--debug选项来调试失败原因。在CMake时可以使用-DWITH_DEBUG来指定编译debug版本的MySQL
-
面向对象三大特性:继承,封装,多态封装3中修饰符:public,private,protected,给位于同一个或不同包中的对象赋予了不同的访问权限封装的一些好处通过隐藏对象的属性来保护对象内部的状态提高代码的可用性,可维护性提高模块化继承给对象提供从基类获取字段和方法的能力,基础提高代码的重用性,可以在不修改类的情况下添加新的特性多态多态就是同一函数在不同类中有不同的实现;面向对象的多态性,即“一个接口,多个方法”。多态性体现在基类中定义的属性和方法被子类继承后,可以具有不同的属性或表现方式。多态性允许一个接口被多个同类使用,弥补了单继承的不足。final,finally,finalize的区别finalfinal可以修饰类、变量、方法,修饰类表示该类不能被继承、修饰方法表示该方法不能被重写、修饰变量表示该变量是一个 常量不能被重新赋值。finallyfinally一般作用在try-catch代码块中,在处理异常的时候,通常我们将一定要执行的代码放入finally代码块中,表示不管是 否出现异常,该代码块都会执行,一般用来存放一些关闭资源的代码。finalizefinalize是一个方法,属于Object类的一个方法,而Object类是所有类的父类,该方法一般由垃圾回收器来调用,当我们调 用System.gc() 方法的时候,由垃圾回收器调用finalize(),回收垃圾,一个对象是否可回收的最后判断。int和integer的区别intint是基本数据类型integerinteger是其包装类,是一个类为了在各种类型中转换,通过各种方法调用int a = 0; String result = Integer.toString(a); //将int转换为String重载与重写的区别override重写overload重载抽象类和接口的区别接口时公开的,不能有私有的方法和变量,抽象类可以有私有的方法或私有的变量抽象类和接口的区别反射的用途以及实现反射机制所提供的功能在运行时创造一个类的对象;判断一个类所具有的成员变量和方法调用一个对象的方法生成动态代理Java反射的主要功能:确定一个对象的类取出类的modifiers,数据成员,方法,构造类,超类在运行时刻调用动态对象的方法.创建数组,数组大小和类型反射机制的理解和应用自定义注解的场景及实现登陆、权限拦截、日志处理,以及各种Java 框架,如Spring,Hibernate,JUnit 提到注解就不能不说反射,Java自定义注解是通过运行时靠反射获取注解。实际开发中,例如我们要获取某个方法的调用日志,可以通过AOP(动态代理机制)给方法添加切面,通过反射来获取方法包含的注解,如果包含日志 注解,就进行日志记录。http请求的get和post方式的区别原理区别一般我们在浏览器输入一个网址访问网站都是GET请求;再FORM表单中,可以通过设置Method指定提交方式为GET或者POST提交方式,默认为GET提交方式。HTTP定义了与服务器交互的不同方法,其中最基本的四种:GET,POST,PUT,DELETE,HEAD,其中GET和HEAD被称为安全方法,因为使用GET和HEAD的HTTP请求不会产生什么动作。不会产生动作意味着GET和HEAD的HTTP请求不会在服务器上产生任何结果。但是安全方法并不是什么动作都不产生,这里的安全方法仅仅指不会修改信息。根据HTTP规范,POST可能会修改服务器上的资源的请求。比如CSDN的博客,用户提交一篇文章或者一个读者提交评论是通过POST请求来实现的,因为再提交文章或者评论提交后资源(即某个页面)不同了,或者说资源被修改了,这些便是“不安全方法”。请求的区别GET方法会把名值对追加在请求的URL后面。因为URL对字符数目有限制,进而限制了用在 客户端请求的参数值的数目。并且请求中的参数值是可见的,因此,敏感信息不能用这种方式传递。POST方法通过把请求参数值放在请求体中来克服GET方法的限制,因此,可以发送的参数的数目是没有限制的。最后,通过POST请求传递的敏感信息对外部客户端是不可见的。参考:get和post请求方式的区别seesion与cookie的区别cookie数据存放在客户的浏览器上,session数据放在服务器上.cookie不是很安全,别人可以分析存放在本地的COOKIE并进行COOKIE欺骗考虑到安全应当使用session。设置cookie时间可以使cookie过期。但是使用session-destory(),我们将会销毁会话。session会在一定时间内保存在服务器上。当访问增多,会比较占用你服务器的性能考虑到减轻服务器性能方面,应当使用cookie。单个cookie保存的数据不能超过4K,很多浏览器都限制一个站点最多保存20个cookie。(Session对象没有对存储的数据量的限制,其中可以保存更为复杂的数据类型)JDBC流程加载JDBC驱动程序:在连接数据库之前,首先要加载想要连接的数据库的驱动到JVM(Java虚拟机), 这通过java.lang.Class类的静态方法forName(String className)实现。例如:try{ //加载MySql的驱动类 Class.forName("com.mysql.jdbc.Driver") ; }catch(ClassNotFoundException e){ System.out.println("找不到驱动程序类 ,加载驱动失败!"); e.printStackTrace() ; 成功加载后,会将Driver类的实例注册到DriverManager类中。提供JDBC连接的URL连接URL定义了连接数据库时的协议、子协议、数据源标识。书写形式:协议:子协议:数据源标识协议:在JDBC中总是以jdbc开始 子协议:是桥连接的驱动程序或是数据库管理系统名称。数据源标识:标记找到数据库来源的地址与连接端口。例如:jdbc:mysql://localhost:3306/test? useUnicode=true&characterEncoding=gbk;useUnicode=true;(MySql的连接URL)表示使用Unicode字符集。如果characterEncoding设置为 gb2312或GBK,本参数必须设置为true 。characterEncoding=gbk:字符编码方式。创建数据库的连接java.sql.DriverManager Connection代表一个数据库的连接。使用DriverManager的getConnectin(String url , String username , String password )方法传入指定的欲连接的数据库的路径、数据库的用户名和 密码来获得。例如: //连接MySql数据库,用户名和密码都是rootString url = "jdbc:mysql://localhost:3306/test" ; String username = "root" ; String password = "root" ; try{ Connection con = DriverManager.getConnection(url , username , password ) ; }catch(SQLException se){ System.out.println("数据库连接失败!"); se.printStackTrace() ; • 要执行SQL语句,必须获得java.sql.Statement实例,Statement实例分为以下3 种类型:1、执行静态SQL语句。通常通过Statement实例实现。2、执行动态SQL语句。通常通过PreparedStatement实例实现。3、执行数据库存储过程。通常通过CallableStatement实例实现。具体的实现方式:Statement stmt = con.createStatement() ; PreparedStatement pstmt = con.prepareStatement(sql) ; CallableStatement cstmt = con.prepareCall("{CALL demoSp(? , ?)}") ;执行SQL语句Statement接口提供了三种执行SQL语句的方法:executeQuery 、executeUpdate 和execute1、ResultSet executeQuery(String sqlString):执行查询数据库的SQL语句 ,返回一个结果集(ResultSet)对象。2、int executeUpdate(String sqlString):用于执行INSERT、UPDATE或 DELETE语句以及SQL DDL语句,如:CREATE TABLE和DROP TABLE等3、execute(sqlString):用于执行返回多个结果集、多个更新计数或二者组合的 语句。 具体实现的代码:ResultSet rs = stmt.executeQuery(“SELECT * FROM …”) ; int rows =stmt.executeUpdate(“INSERT INTO …”) ; boolean flag = stmt.execute(String sql) ;处理结果两种情况:1、执行更新返回的是本次操作影响到的记录数。2、执行查询返回的结果是一个ResultSet对象。• ResultSet包含符合SQL语句中条件的所有行,并且它通过一套get方法提供了对这些 行中数据的访问。• 使用结果集(ResultSet)对象的访问方法获取数据:while(rs.next()){String name = rs.getString(“name”) ;String pass = rs.getString(1) ; // 此方法比较高效}(列是从左到右编号的,并且从列1开始)关闭JDBC对象操作完成以后要把所有使用的JDBC对象全都关闭,以释放JDBC资源,关闭顺序和声 明顺序相反:1、关闭记录集2、关闭声明3、关闭连接对象 if(rs!=null){ // 关闭记录集 try{ rs.close(); }catch(SQLException e){e.printStackTrace(); } }try{ stmt.close(); } }catch(SQLException e){e.printStackTrace(); } if(conn!=null){ // 关闭连接对象 try{ conn.close(); }catch(SQLException e){ e.printStackTrace();20} }MVC思想M:Model 模型V:View 视图C:Controller控制器模型就是封装业务逻辑和数据的一个一个的模块,控制器就是调用这些模块的(java中通常是 用Servlet来实现,框架的话很多是用Struts2来实现这一层),视图就主要是你看到的,比如JSP 等.当用户发出请求的时候,控制器根据请求来选择要处理的业务逻辑和要选择的数据,再返回去 把结果输出到视图层,这里可能是进行重定向或转发等.equals 与 == 的区别值类型(int,char,long,boolean等)都是用==判断相等性。对象引用的话,判断引用所指的对象 是否是同一个。equals是Object的成员函数,有些类会覆盖(override)这个方法,用于判 断对象的等价性。例如String类,两个引用所指向的String都是"abc",但可能出现他们实际对应的对象并不是同一个(和jvm实现方式有关),因此用 ==判断他们可能不相等,但用equals判断一定是相等的。线程创建线程的方法及实现Java中创建线程主要有三种方式:一、继承Thread类创建线程类(1) 定义Thread类的子类,并重写该类的run方法,该run方法的方法体就代表了线程要完成的任务。因此把run()方法称为执行体。(2) 创建Thread子类的实例,即创建了线程对象。(3) 调用线程对象的start()方法来启动该线程。package com.thread; public class FirstThreadTest extends Thread{ int i = 0; //重写run方法,run方法的方法体就是现场执行体public void run() { for(;i<100;i++){ System.out.println(getName()+" "+i); } } public static void main(String[] args) { for(int i = 0;i< 100;i++) { System.out.println(Thread.currentThread().getName()+" "+i): if(i==20) { new FirstThreadTest().start(); new FirstThreadTest().start(); } } }二、通过Runnable接口创建线程类(1) 定义runnable接口的实现类,并重写该接口的run()方法,该run()方法的方法体同样是该线程的线程执行体。(2) 创建 Runnable实现类的实例的target来创建Thread对象,该Thread对象才是真正的线程对象。(3)调用线程对象的start()方法来启动该线程package com.thread; public class RunnableThreadTest implements Runnable { private int i; public void run() { for(i = 0;i <100;i++) { System.out.println(Thread.currentThread().getName()+" "+i); } } public static void main(String[] args) { for(int i = 0;i < 100;i++) { System.out.println(Thread.currentThread().getName()+" "+i); if(i==20) { RunnableThreadTest rtt = new RunnableThreadTest(); new Thread(rtt,"新线程1").start(); new Thread(rtt,"新线程2").start(); } } } } 三、通过Callable和Future创建线程(1) 创建Callable接口的实现类,并实现call()方法,该call()方法将作为线程执行体,并且有返回值。(2) 创建Callable实现类的实例,使用FutureTask类来包装Callable对象,该FutureTask对象封装了该Callable对象的call()方法的返回值。(3) 使用FutureTask对象作为Thread对象的target创建并启动新线程。(4) 调用FutureTask对象的get()方法来获得子线程执行结束后的返回值package com.thread; import java.util.concurrent.Callable; import java.util.concurrent.ExecutionException; import java.util.concurrent.FutureTask; public class CallableThreadTest implements Callable<Integer> { public static void main(String[] args) { CallableThreadTest ctt = new CallableThreadTest(); FutureTask<Integer> ft = new FutureTask<>(ctt); 13 for (int i = 0; i < 100; i++) { System.out.println(Thread.currentThread().getName() + " 的循 环变量i的值" + i); if (i == 20) { new Thread(ft, "有返回值的线程").start(); } } try { System.out.println("子线程的返回值:" + ft.get()); } catch (InterruptedException e) { e.printStackTrace(); } catch (ExecutionException e) { e.printStackTrace(); } } @Override public Integer call() throws Exception 34 { int i = 0; for (; i < 100; i++) { System.out.println(Thread.currentThread().getName() + " " + i); } return i; } }采用实现Runnable、Callable接口的方式创见多线程时,优势是:线程类只是实现了 接口或 接口,还可以继承其他类。在这种方式下,多个线程可以共享同一个target对象,所以非常适合多个相同线程来处理同 一份资源的情况,从而可以将CPU、代码和数据分开,形成清晰的模型,较好地体现了面 向对象的思想。劣势是:编程稍微复杂,如果要访问当前线程,则必须使用Thread.currentThread()方法。使用继承Thread类的方式创建多线程时优势是:编写简单,如果需要访问当前线程,则无需使用Thread.currentThread()方法,直接使用this 即可获得当前线程。劣势是:线程类已经继承了Thread类,所以不能再继承其他父类。sleep() 、join()、yield()的区别一、sleep()在指定的毫秒数内让当前正在执行的线程休眠(暂停执行),此操作受到系统计时器和调度 程序精度和准确性的影响。 让其他线程有机会继续执行,但它并不释放对象锁。也就是如 果有Synchronized同步块,其他线程仍然不能访问共享数据。注意该方法要捕获异常比如有两个线程同时执行(没有Synchronized),一个线程优先级为MAX_PRIORITY,另一 个为MIN_PRIORITY,如果没有Sleep()方法,只有高优先级的线程执行完成后,低优先级 的线程才能执行;但当高优先级的线程sleep(5000)后,低优先级就有机会执行了。总之,sleep()可以使低优先级的线程得到执行的机会,当然也可以让同优先级、高优先级的 线程有执行的机会。二、join()Thread的非静态方法join()让一个线程B“加入”到另外一个线程A的尾部。在A执行完毕之前, B不能工作。保证当前线程停止执行,直到该线程所加入的线程完成为止。然而,如果它加入的线程没有 存活,则当前线程不需要停止。三、yield()yield()方法和sleep()方法类似,也不会释放“锁标志”,区别在于,它没有参数,即yield()方 法只是使当前线程重新回到可执行状态,所以执行yield()的线程有可能在进入到可执行状态 后马上又被执行,另外yield()方法只能使同优先级或者高优先级的线程得到执行机会,这也 和sleep()方法不同。再给大家推荐一本书:Java并发编程想要电子版也可以私信我线程池的几种方式newFixedThreadPool(int nThreads)创建一个固定长度的线程池,每当提交一个任务就创建一个线程,直到达到线程池的最大数 量,这时线程规模将不再变化,当线程发生未预期的错误而结束时,线程池会补充一个新的线程newCachedThreadPool()创建一个可缓存的线程池,如果线程池的规模超过了处理需求,将自动回收空闲线程,而当 需求增加时,则可以自动添加新线程,线程池的规模不存在任何限制newSingleThreadExecutor()这是一个单线程的Executor,它创建单个工作线程来执行任务,如果这个线程异常结束,会 创建一个新的来替代它;它的特点是能确保依照任务在队列中的顺序来串行执行newScheduledThreadPool(int corePoolSize)创建了一个固定长度的线程池,而且以延迟或定时的方式来执行任务,类似于Timer。private static final Executor exec=Executors.newFixedThreadPool(50); Runnable runnable=new Runnable(){ public void run(){ ... } } exec.execute(runnable); Callable<Object> callable=new Callable<Object>() { public Object call() throws Exception { return null; } } Future future=executorService.submit(callable); future.get(); // 等待计算完成后,获取结果 future.isDone(); // 如果任务已完成,则返回 true future.isCancelled(); // 如果在任务正常完成前将其取消,则返回 true future.cancel(true); // 试图取消对此任务的执行,true中断运行的任务,false 允许正在运行的任务运行完成线程的生命周期新建(New)、就绪(Runnable)、运行(Running)、阻塞(Blocked)和死亡(Dead)5种状态(1)生命周期的五种状态新建(new Thread)当创建Thread类的一个实例(对象)时,此线程进入新建状态(未被启动)。例如:Thread t1=new Thread();就绪(runnable)线程已经被启动,正在等待被分配给CPU时间片,也就是说此时线程正在就绪队列中排队 等候得到CPU资源。例如:t1.start();运行(running)线程获得CPU资源正在执行任务(run()方法),此时除非此线程自动放弃CPU资源或者有 优先级更高的线程进入,线程将一直运行到结束。死亡(dead)当线程执行完毕或被其它线程杀死,线程就进入死亡状态,这时线程不可能再进入就绪状态 等待执行。自然终止:正常运行run()方法后终止异常终止:调用**stop()**方法让一个线程终止运行堵塞(blocked)由于某种原因导致正在运行的线程让出CPU并暂停自己的执行,即进入堵塞状态。正在睡眠:用sleep(long t) 方法可使线程进入睡眠方式。一个睡眠着的线程在指定的时间过去可进入就绪状态。正在等待:调用wait()方法。(调用motify()方法回到就绪状态)被另一个线程所阻塞:调用suspend()方法。(调用resume()方法恢复)锁机制线程安全线程安全是指要控制多个线程对某个资源的有序访问或修改,而在这些线程之间没有产生冲 突。在Java里,线程安全一般体现在两个方面:1、多个thread对同一个java实例的访问(read和modify)不会相互干扰,它主要体现在关 键字synchronized。如ArrayList和Vector,HashMap和Hashtable(后者每个方法前都有synchronized关键字)。如果你在interator一个List对象时,其它线程remove一个element, 问题就出现了。2、每个线程都有自己的字段,而不会在多个线程之间共享。它主要体现在java.lang.ThreadLocal类,而没有Java关键字支持,如像static、transient那样。volatle实现原理深入分析 Volatile 的实现原理悲观锁,乐观锁是一种思想。可以用在很多方面。比如数据库方面。悲观锁就是for update(锁定查询的行)乐观锁就是 version字段(比较跟上一次的版本号,如果一样则更新,如果失败则要重复读比较写的操作。)JDK方面:悲观锁就是sync乐观锁就是原子类(内部使用CAS实现)本质来说,就是悲观锁认为总会有人抢我的。乐观锁就认为,基本没人抢。乐观锁是一种思想,即认为读多写少,遇到并发写的可能性比较低,所以采取在写时先读出 当前版本号,然后加锁操作(比较跟上一次的版本号,如果一样则更新),如果失败则要重 复读比较写的操作。CAS是一种更新的原子操作,比较当前值跟传入值是否一样,一样则更新,否则失败。CAS顶多算是乐观锁写那一步操作的一种实现方式罢了,不用CAS自己加锁也是可以的。乐观锁的业务场景及实现方式每次获取数据的时候,都不会担心数据被修改,所以每次获取数据的时候都不会进行加锁, 但是在更新数据的时候需要判断该数据是否被别人修改过。如果数据被其他线程修改,则不 进行数据更新,如果数据没有被其他线程修改,则进行数据更新。由于数据没有进行加锁, 期间该数据可以被其他线程进行读写操作。乐观锁:比较适合读取操作比较频繁的场景,如果出现大量的写入操作,数据发生冲突的可 能性就会增大,为了保证数据的一致性,应用层需要不断的重新获取数据,这样会增加大量 的查询操作,降低了系统的吞吐量。最后都看到这了,给孩子一个三连支持一下吧,Java对初学者很友好;Java资源丰富,因为它可以解决不同的问题;Java有一个庞大而友好的社区;Java无处不在,因此更容易找到第一份工作;Java开发人员缺口大,薪水很高。只要你具备能力,薪资待遇你敢要公司就敢给。链接:https://bbs.huaweicloud.com/blogs/336625
-
在作业开发页面“合作方数据”一栏可查看此联盟合作方共享的数据集。数据集第一级是合作方名称,第二级是数据集名称。SQL语句中用“合作方名.数据集名”表示一张表。SQL语法支持关键词:select 、from 、where 、inner join/join/left outer join/right outer join、group by 、order by、limit、on 、as、union all;逻辑表达式: <、 >、 = 、<= 、>=、 <>、 between and、 in、 like、 exists;运算符:+、-、*、/ 和 case when;数据类型:字符串、 整型、 浮点型、 decimal、日期(date)、 时间(timestamp);聚合函数:max、min、sum、avg、count;系统函数:包含时间日期函数、字符串函数、数学函数。使用介绍如表1所示。通配符:%;--与like配合使用;编写SQL语句时,您可以参考编辑器右侧的“系统函数”,在SQL语句中输入并使用系统函数。表1 系统函数介绍系统函数类型函数命令格式命令说明参数说明返回值说明数学函数ABSint abs(int <number>)计算number的绝对值。number:必填。参数类型支持INT、BIGINT、FLOAT、DOUBLE、DECIMAL、STRING。如果输入为STRING类型,则隐式转换为DECIMAL类型后参与运算。输入为INT、BIGINT、FLOAT、DOUBLE、DECIMAL、STRING,则返回对应输入参数的数据类型。当输入非INT、BIGINT、FLOAT、DOUBLE、DECIMAL、STRING六种类型,返回报错。LNdouble ln(number)计算number的自然对数。number:必填。参数类型支持INT、BIGINT、FLOAT、DOUBLE、DECIMAL、STRING。如果输入为STRING类型,则隐式转换为DECIMAL类型后参与运算。当number为INT、BIGINT、FLOAT、DOUBLE、DECIMAL、STRING类型时返回DOUBLE类型。当number为负数或0时,返回报错。RANDdouble rand(seed)返回随机数,返回值区间是0~1。seed:选填。参数类型支持INT、BIGINT、FLOAT、DOUBLE、DECIMAL、STRING。如果输入为STRING类型,则隐式转换为DECIMAL类型后参与运算。返回DOUBLE类型。字符串操作函数CHAR_LENGTHint char_length(string)计算字符串string的长度。string:必填。参数类型为STRING类型。如果输入为非STRING类型,则隐式转换为STRING类型后参与运算。返回INT类型。CHARACTER_LENGTHint character_length(string)计算字符串string的长度。同CHAR_LENGTH。string:必填。参数类型为STRING类型。如果输入为非STRING类型,则隐式转换为STRING类型后参与运算。返回INT类型。LOWERstring lower(string)将字符串string中的大写字符转换为对应的小写字符。string:必填。参数类型为STRING类型。如果输入为非STRING类型,则隐式转换为STRING类型后参与运算。返回STRING类型。UPPERstring upper(string)将字符串string中的小写字符转换为对应的大写字符。string:必填。参数类型为STRING类型。如果输入为非STRING类型,则隐式转换为STRING类型后参与运算。返回STRING类型。SUBSTRINGstring substring(string from start[ for length])返回字符串string从start开始,长度为length的子串。string:必填。参数类型为STRING类型。如果输入为非STRING类型,则隐式转换为STRING类型后参与运算。start: 必填。参数类型为INT类型。起始位置为1(起始位置0作1处理)。当start为负数时,表示开始位置是从字符串的尾部向前倒数。length:选填。参数类型为INT类型。表示子串的长度。值必须大于0。返回STRING类型。时间日期函数YEARint year(date)返回日期date的年。date:必填。DATE或TIMESTAMP类型,格式为yyyy-mm-dd或yyyy-MM-dd HH:mm:ss。返回INT类型。date为非DATE或TIMESTAMP类型,返回报错。MONTHint month(date)返回日期date的月。date:必填。DATE或TIMESTAMP类型,格式为yyyy-mm-dd或yyyy-MM-dd HH:mm:ss。返回INT类型。date为非DATE或TIMESTAMP类型,返回报错。WEEKint week(date)返回日期date位于当年的第几周。date:必填。DATE或TIMESTAMP类型,格式为yyyy-mm-dd或yyyy-MM-dd HH:mm:ss。返回INT类型。date为非DATE或TIMESTAMP类型,返回报错。HOURint hour(date)返回日期date的小时部分的值。date:必填。DATE或TIMESTAMP类型,格式为yyyy-mm-dd或yyyy-MM-dd HH:mm:ss。返回INT类型。date为非DATE或TIMESTAMP类型,返回报错。MINUTEint minute(date)返回日期date的分钟部分的值。date:必填。DATE或TIMESTAMP类型,格式为yyyy-mm-dd或yyyy-MM-dd HH:mm:ss。返回INT类型。date为非DATE或TIMESTAMP类型,返回报错。SECONDint second(date)返回日期date的秒数部分的值。date:必填。DATE或TIMESTAMP类型,格式为yyyy-mm-dd或yyyy-MM-dd HH:mm:ss。返回INT类型。date为非DATE或TIMESTAMP类型,返回报错。SQL语句示例:SELECTcolumn_A--字段名是租户别名.数据集名.字段名column_B as alias--支持别名SUM(column_C) AS alias--支持针对列名的聚合函数cloumn_A + column_B*2 as alias--支持select中加计算式FROMpartner1.dataset1 table_A---表名是租户别名.数据集名, 后面可以加一个表别名tableAJOIN--支持的JOIN类型详见语法支持。partner2.dataset2 table_BONtable_A.ID = table_B.IDWHEREtable_A.uid = ${uid}GROUP BYtable_A.IDORDER BYtable_A.IDLIMIT${limit_count}SQL语句开发完成, 可点击页面上方“格式化”来对排版进行美化,完成后单击“保存”。图3 编写SQL语句
-
>摘要:一般都是设计联合索引,很少用单个字段做索引,因为还是要尽可能让索引数量少,避免磁盘占用太多,影响增删改性能。本文分享自华为云社区《[联合索引查询原理及生效规则](https://bbs.huaweicloud.com/blogs/332783?utm_source=csdn&utm_medium=bbs-ex&utm_campaign=other&utm_content=content)》,作者:JavaEdge。 一般都是设计联合索引,很少用单个字段做索引,因为还是要尽可能让索引数量少,避免磁盘占用太多,影响增删改性能。 有个表存储学生成绩,id是自增主键,包含学生班级、学生姓名、科目名称、成绩分数四个字段,平时查询,可能比较多的就是查找某个班的某个学生的某个科目的成绩。 所以,我们可以针对【学生班级,学生姓名,科目名称】建立一个联合索引。 有两个数据页: - 第一个数据页里有三条数据,每条数据都包含联合索引的三个字段的值和主键值,数据页内部按序排:先按班级排序,若一样则按姓名排序,若再一样,则按科目名排序。所以数据页内部都是按照三个字段值排序,组成单链表。 - 数据页之间有序。第二个数据页里的三个字段的值一定都>上一个数据页里三个字段的值,比较方法也是按班级名称、学生姓名、科目名依次比较,数据页间组成双向链表 索引页里就是两条数据,分别指向两个数据页,索引存放的是每个数据页里最小的那个数据的值,大家看到,索引页里指向两个数据页的索引项里都是存放了那个数据页里最小的值! 索引页内部的数据页是组成单向链表有序的,如你有多个索引页,索引页之间也有序,组成双向链表。 假设搜索:1班+张小强+数学的成绩,你可能写 `select * from student_score where class_name='1班' and student_name='张小强' and subject_name='数学'` 涉及索引使用规则,where条件里的几个字段都是等值查询且where条件里的几个字段名称和顺序也跟你的联合索引一样!此时就是等值匹配规则,上面的SQL百分百可以用联合索引查询。 # 查询过程 首先到索引页找,索引页里有多个数据页的最小值记录,在索引页二分查找,先根据【班级名称】找6班对应数据页,定位到其所在数据页  在数据页内部本身也是单向链表,直接二分查找,先找6班,发现几条数据都是6班,此时就按张三姓名来二分查找,此时会发现多条数据都是张小强,接着就按科目名称数学二分查找。 定位到下图中的一条数据,6班的张三数学,其对应id=127:  然后就根据主键id=127到聚簇索引里按照一样的思路,从索引根节点开始二分查找迅速定位下个层级的页,再不停找,很快就可以找到id=127的那条数据,然后从里面提取所有字段,包括分数,就可以了。 # 总结 如上就是联合索引的查找过程以及全值匹配规则,假设你的SQL语句的where条件里用的几个字段的名称和顺序,都跟你的索引里的字段一样,同时你还是用等号在做等值匹配,那么直接就会按照上述过程来找。 联合索引就是依次按照各个字段来进行二分查找,先定位到第一个字段对应的值在哪个页里,然后如果第一个字段有多条数据值都一样,就根据第二个字段来找,以此类推,一定可以定位到某条或者某几条数据。 # 索引使用规则 有了联合索引后,SQL怎么写才能让他的查询使用索引? ## 等值匹配规则 where语句中的几个字段名称和联合索引的字段完全一样,而且都是基于等号的等值匹配,那百分百会用上我们的索引。即使你where语句里写的字段的顺序和联合索引里的字段顺序不一致,也没关系,MySQL会自动优化为按联合索引的字段顺序去找。 ## 最左侧列匹配 假设我们联合索引是KEY(class_name, student_name, subject_name),那不一定必须要在where语句里根据三个字段来查,其实只要根据最左侧的部分字段来查,也可以。 比如你可以写 `select * from student_score where class_name='' and student_name=''` 但是假设你写一个 `select * from student_score where subject_name=''` 就不行了,因为联合索引的B+树里,必先按class_name查,再按student_name查,不能跳过前面两个字段,直接按最后一个subject_name查。 若如下SQL: `select * from student_score where class_name='' and subject_name=''` 那么只有class_name的值可以在索引里搜索,剩下的subject_name是没法在索引里找的,道理同上。 所以在建立索引的过程中,你必须考虑好联合索引字段的顺序,以及你平时写SQL的时候要按哪几个字段来查。 ## 最左前缀匹配原则 如果你要用like语法来查,比如 `select * from student_score where class_name like '1%'` 查找所有1打头的班级的分数,那么也是可以用到索引的。 因为你的联合索引的B+树里,都是按照class_name排序的,所以你要是给出class_name的确定的最左前缀就是1,然后后面的给一个模糊匹配符号,那也是可以基于索引来查找的,这是没问题的。 但是你如果写class_name like ‘%班’,在左侧用一个模糊匹配符,那他就没法用索引了,因为不知道你最左前缀是什么,怎么去索引里找啊? ## 范围查找规则 这个意思就是说,我们可以用select * from student_score where class_name>‘1 班’ and class_name'5班’这样的语句来范围查找某几个班级的分数。 这个时候也是会用到索引的,因为我们的索引的最下层的数据页都是按顺序组成双向链表的,所以完全可以先找到’1 班’对应的数据页,再找到’5班’对应的数据页,两个数据页中间的那些数据页,就全都是在你范围内的数据了! 但 是 如 果 你 要 是 写 select * from student_score where class_name>‘1 班 ’ and class_name‘5 班 ’ and student_name>’’,这里只有class_name是可以基于索引来找的,student_name的范围查询是没法用到索引的! 这也是一条规则,就是你的where语句里如果有范围查询,那只有对联合索引里最左侧的列进行范围查询才能用到索引! ## 等值匹配+范围匹配的规则 如果你要是用 `select * from student_score where class_name='1班' and student_name>'' and subject_name''` 那么此时你首先可以用class_name在索引里精准定位到一波数据,接着这波数据里的student_name都是按照顺序排列的,所以student_name>’‘也会基于索引来查找,但是接下来的subject_name’'是不能用索引的。 综上,一般写SQL都是: - 用联合索引的最左侧的多个字段来进行等值匹配+范围搜索 - 或基于最左侧的部分字段来进行最左前缀模糊匹配 - 或基于最左侧字段来进行范围搜索
-
【功能模块】由于需要做数据统计的功能需要使用union的字段将两个表数据进行合并,采使用了union字段之前这个字段使用没有问题,现在使用这个字段控制台直接报错,在脚本里面执行union的sql不会报错但是select的数据是只有一个表的数据问一下这个字段能不能用啊,之前是可以用的,怎么现在不能用了【操作步骤&问题现象】1、2、【截图信息】【日志信息】(可选,上传日志内容或者附件)
-
本讲分两部分,第一部分Sql进阶,详细讲解了GaussDB(DWS)的数据字典,数据类型,函数操作符,存储过程等,第二部分应用程序应用指南,从数据库驱动概念,基于ODBC/JDBC的应用程序开发。
-
WAF(Web应用防火墙)通过对HTTP(S)请求进行检测,识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入等攻击,所有请求流量经过WAF时,WAF会记录攻击和访问的日志,可实时决策分析、对设备进行运维管理以及业务趋势分析。前提条件购买并使用华为云WAF实例。限制条件仅云模式支持全量日志功能。支持全量日志功能的区域为:华北-北京一、华北-北京四、华东-上海一、华东-上海二、中国-香港、亚太-曼谷、亚太-莫斯科、华北-乌兰察布一 、华南-广州。设置步骤在WAF添加防护网站。登录管理控制台。在控制台左上角单击,选择区域和项目。在系统首页左上角单击,选择“安全与合规 > Web应用防火墙 WAF”,进入Web应用防火墙管理控制台。根据添加防护域名添加需要防护的网站,使网站流量切入WAF。开启全量日志功能,将WAF日志记录到LTS,详细操作请参见开启全量日志。在Web应用防火墙管理控制台,单击“防护事件”,选择“全量日志”页签。开启全量日志,选择已创建的日志组与日志流。如未创建日志组与日志流,请先创建日志组和创建日志流。单击“确定”,全量日志配置成功。 图1 配置全量日志 在日志流详情页面,单击左侧导航栏“配置中心”,选择“结构化配置”,进入日志结构化配置页面,选择“JSON”提取方式,根据业务需求选择日志,配置相关参数,具体操作请参见日志结构化。图2 配置JSON格式日志在日志流详情页面,单击“可视化”页签,进行SQL查询与分析,如需要多样化呈现查询结果,请参考日志结构化进行配置。统计1周内攻击次数,具体SQL查询分析语句如下所示:select count(*) as attack_times图3 攻击次数查询结果统计1天不同攻击类型的分布,具体SQL查询分析语句如下所示:select attack,count(*) as times group by attack查询结构有五种呈现形式依上而下分别为表格、柱状图、折线图、饼图、数字,如下图为饼图结果。图4 不同攻击类型的分布查询结果
-
使用ESCAPE定义转义符 在使用LIKE关键字进行模糊查询时,“%”、“_”和“[]”单独出现时,会被认为是通配符。为了在字符数据类型的列中查询是否存在百分号 (%)、下划线(_)或者方括号([])字符,就需要有一种方法告诉DBMS,将LIKE判式中的这些字符看作是实际值,而不是通配符。关键字 ESCAPE允许确定一个转义字符,告诉DBMS紧跟在转义字符之后的字符看作是实际值。如下面的表达式:LIKE '%M%' ESCAPE ‘M'使用ESCAPE关键字定义了转义字符“M”,告诉DBMS将搜索字符串“%M%”中的第二个百分符(%)作为实际值,而不是通配符。当然,第一个百分符(%)仍然被看作是通配符,因此满足该查询条件的字符串为所有以%结尾的字符串。类似地,下面的表达式:LIKE 'AB&_%' ESCAPE ‘&'此时,定义了转义字符“&”,搜索字符串中紧跟“&”之后的字符,即“_”看作是实际字符值,而不是通配符。而表达式中的“%”,仍然作 为通配符进行处理。该表达式的查询条件为以“AB_”开始的所有字符串。通过此文希望能帮助到大家,谢谢大家对本站的支持!转载自https://www.jb51.net/article/93208.htm
-
需要实现:12345if not exists(select * from ErrorConfig where Type='RetryWaitSeconds')begin insert into ErrorConfig(Type,Value1) values('RetryWaitSeconds','3')end只能用:123insert into ErrorConfig(Type,Value1)select 'RetryWaitSeconds','3'where not exists(select * from ErrorConfig where Type='RetryWaitSeconds')因为 SQLite 中不支持SP补充:sqlite3中NOT IN 不好用的问题在用sqlite3熟悉SQL的时候遇到了一个百思不得其解的问题,也没有在google上找到答案。虽然最后用“迂回”的方式碰巧解决了这个问题,但暂时不清楚原理是什么,目前精力有限,所以暂时记录下来,有待继续研究。数据库是这样的:1234567891011121314151617181920212223CREATE TABLE book ( id integer primary key, title text, unique(title));CREATE TABLE checkout_item ( member_id integer, book_id integer, movie_id integer, unique(member_id, book_id, movie_id) on conflict replace, unique(book_id), unique(movie_id));CREATE TABLE member ( id integer primary key, name text, unique(name));CREATE TABLE movie ( id integer primary key, title text, unique(title));该数据库包含了4个表:book, movie, member, checkout_item。其中,checkout_item用于保存member对book和movie的借阅记录,属于关系表。问一:哪些member还没有借阅记录?SQL语句(SQL1)如下:1SELECT * FROM member WHERE id NOT IN(SELECT member_id FROM checkout_item);得到了想要的结果。问二:哪些book没有被借出?这看起来与上一个是类似的,于是我理所当然地运行了如下的SQL语句(SQL2):1SELECT * FROM book WHERE id NOT IN(SELECT book_id FROM checkout_item);可是——运行结果没有找到任何记录! 我看不出SQL2与SQL1这两条语句有什么差别,难道是book表的问题?于是把NOT去掉,运行了如下查询语句:1SELECT * FROM book WHERE id IN(SELECT book_id FROM checkout_item);正确返回了被借出的book,其数量小于book表里的总行数,也就是说确实是有book没有借出的。接着google(此处省略没有营养的字),没找到解决方案。可是,为什么member可以,book就不可以呢?它们之前有什么不同?仔细观察,发现checkout_item里的book_id和movie_id都加了一个unique,而member_id则没有。也许是这个原因?不用id了,换title试试:1234SELECT * FROM book WHERE title NOT IN( SELECT title FROM book WHERE id IN( SELECT book_id FROM checkout_item));确实很迂回,但至少work了。。。问题原因:当NOT碰上NULL事实是,我自己的解决方案只不过是碰巧work,这个问题产生跟unique没有关系。邱俊涛的解释是,“SELECT book_id FROM checkout_item”的结果中含有null值,导致NOT也返回null。当一个member只借了movie而没有借book时,产生的checkout_item中book_id就是空的。解决方案是,在选择checkout_item里的book_id时,把值为null的book_id去掉:1SELECT * FROM book WHERE id NOT IN(SELECT book_id FROM checkout_item WHERE book_id IS NOT NULL);总结我在解决这个问题的时候方向是不对的,应该像调试程序一样,去检查中间结果。比如,运行如下语句,结果会包含空行:1SELECT book_id FROM checkout_item而运行下列语句,结果不会包含空行:1SELECT member_id FROM checkout_item这才是SQL1与SQL2两条语句执行过程中的差别。根据这个差别去google,更容易找到答案。当然了,没有NULL概念也是我“百思不得其解”的原因。转载自https://www.jb51.net/article/203321.htm
-
GaussDB(DWS)项目实践--实践系列文章汇总,请大家阅读鉴赏,欢迎在评论区交流探讨~序号主题分类标题链接1实践系列windows下使用ODBC连接DWS查询大数据量结果后报out of memory while reading tupleshttps://bbs.huaweicloud.com/forum/thread-176933-1-1.html2实践系列 GaussDB(DWS)实践系列-低效业务脚本检测指导https://bbs.huaweicloud.com/forum/thread-151360-1-1.html3实践系列GaussDB(DWS)实践系列-函数实现JSON类型解析https://bbs.huaweicloud.com/forum/thread-151349-1-1.html4实践系列GaussDB(DWS)实践系列-RoaringBitmap替换方案https://bbs.huaweicloud.com/forum/thread-151119-1-1.html5实践系列GaussDB(DWS)实践系列-List行转列函数实现https://bbs.huaweicloud.com/forum/thread-148308-1-1.html6实践系列GaussDB(DWS)实践系列-分区表TTL管理实现https://bbs.huaweicloud.com/forum/thread-147907-1-1.html7实践系列GaussDB(DWS)实践系列-ClickHouse->GaussDB(DWS)迁移https://bbs.huaweicloud.com/forum/thread-146686-1-1.html8实践系列GaussDB(DWS)实践系列-日常硬件巡检指导https://bbs.huaweicloud.com/forum/thread-146654-1-1.html9实践系列GaussDB DWS中的内存资源配置实践https://bbs.huaweicloud.com/forum/thread-144730-1-1.html10实践系列DWS性能点赞https://bbs.huaweicloud.com/forum/thread-134124-1-1.html11实践系列通过sql查询获取表字段详细信息https://bbs.huaweicloud.com/forum/thread-133428-1-1.html12实践系列通过sql查询快速获取分区表的的分区键https://bbs.huaweicloud.com/forum/thread-133424-1-1.html13实践系列处理执行sql文件时,某个sql语句报错,需要继续执行其余sql,直至所有sql执行完毕。https://bbs.huaweicloud.com/forum/thread-132498-1-1.html14实践系列GaussDB(DWS) 【低效SQL分析案例】https://bbs.huaweicloud.com/forum/thread-131969-1-1.html15实践系列GaussDB(DWS) 【查询包含某个字段的所有表清单方法】https://bbs.huaweicloud.com/forum/thread-131778-1-1.html16实践系列GaussDB(DWS) 【多值列场景的处理方法】https://bbs.huaweicloud.com/forum/thread-131777-1-1.html17实践系列GaussDB(DWS) 【并发测试脚本】https://bbs.huaweicloud.com/forum/thread-131776-1-1.html18实践系列GaussDB(DWS) 【常用对象赋权方法】https://bbs.huaweicloud.com/forum/thread-131775-1-1.html19实践系列GaussDB(DWS) 【角色权限相关视图使用方法】https://bbs.huaweicloud.com/forum/thread-131774-1-1.html20实践系列GaussDB(DWS) 【查询对象所有权限属性的两种方法】https://bbs.huaweicloud.com/forum/thread-131772-1-1.html21实践系列GaussDB(DWS)【用SQL方式查询所有带主键的表的主键字段方法】https://bbs.huaweicloud.com/forum/thread-131771-1-1.html22实践系列GaussDB(DWS)【通过SQL方式查询分区表的的分区字段方法】https://bbs.huaweicloud.com/forum/thread-131770-1-1.html23实践系列GaussDB(DWS)【查找视图依赖的表对象方法】https://bbs.huaweicloud.com/forum/thread-131377-1-1.html24实践系列GaussDB(DWS)实践系列-两级用户权限管理实践https://bbs.huaweicloud.com/forum/thread-131122-1-1.html25实践系列华为DWS数仓配置教程及初体验https://bbs.huaweicloud.com/forum/thread-130907-1-1.html26实践系列GaussDB(DWS)实践系列-GaussDB(DWS)如何查询对象(表)的创建时间?https://bbs.huaweicloud.com/forum/thread-130767-1-1.html27实践系列GaussDB(DWS)实践系列-行级访问策略优化实践https://bbs.huaweicloud.com/forum/thread-130766-1-1.html28实践系列DWS VARCHAR存放字符即VARCHAR(1)存放1个汉字https://bbs.huaweicloud.com/forum/thread-129571-1-1.html29实践系列GaussDB(DWS)--基于用户的空间管理方法https://bbs.huaweicloud.com/forum/thread-128924-1-1.html30实践系列GaussDB(DWS)实践系列-工作负载管理交付指南(线上版本)https://bbs.huaweicloud.com/forum/thread-128276-1-1.html31实践系列GaussDB(DWS)实践系列-工作负载管理交付指南(线下版本)https://bbs.huaweicloud.com/forum/thread-128274-1-1.html32实践系列GaussDB(DWS)倾斜表查询实践https://bbs.huaweicloud.com/forum/thread-127754-1-1.html33实践系列GaussDB(DWS)集群运维巡检保障指导书https://bbs.huaweicloud.com/forum/thread-127747-1-1.html34实践系列GaussDB(DWS)数据库审计方案https://bbs.huaweicloud.com/forum/thread-127727-1-1.html35实践系列GaussDB(DWS)数据库安全方案https://bbs.huaweicloud.com/forum/thread-127724-1-1.html36实践系列DWS对接DLI Flink实现实时数据接入https://bbs.huaweicloud.com/forum/thread-124688-1-1.html37实践系列【实践系列】GaussDB(DWS)存储过程中实现作业执行过程日志记录方法https://bbs.huaweicloud.com/forum/thread-124684-1-1.html38实践系列DWS开发技术规范https://bbs.huaweicloud.com/forum/thread-122979-1-1.html39实践系列GaussDB(DWS)实践系列-常用命令FAQhttps://bbs.huaweicloud.com/forum/thread-122916-1-1.html40实践系列逻辑集群中的用户权限https://bbs.huaweicloud.com/forum/thread-121664-1-1.html41实践系列GaussDB(DWS)记录数据表操纵日志--系统日志提取方案https://bbs.huaweicloud.com/forum/thread-120445-1-1.html42实践系列数据仓库服务(DWS)事件管理记录为空的问题解决方案https://bbs.huaweicloud.com/forum/thread-119839-1-1.html43实践系列GaussDB(DWS) &TD;分区表设计原理和使用对比https://bbs.huaweicloud.com/forum/thread-119610-1-1.html44实践系列DWS 多表关联创建PCK提升性能https://bbs.huaweicloud.com/forum/thread-119538-1-1.html45实践系列MPP架构下数据倾斜率分析https://bbs.huaweicloud.com/forum/thread-119460-1-1.html46实践系列GaussDB(DWS)实践系列-由两个问题引发的对GaussDB(DWS)负载均衡的思考https://bbs.huaweicloud.com/forum/thread-119451-1-1.html47实践系列数据仓库双集群系统方案探讨https://bbs.huaweicloud.com/forum/thread-119450-1-1.html48实践系列GaussDB(DWS)实践系列--常见的三种公共模式https://bbs.huaweicloud.com/forum/thread-119445-1-1.html49实践系列GaussDB(DWS)集群安装过程及部分问题解决方案https://bbs.huaweicloud.com/forum/thread-119438-1-1.html50实践系列GaussDB(DWS)审计日志转储实践https://bbs.huaweicloud.com/forum/thread-119436-1-1.html51实践系列GaussDB(DWS)实践系列-数据仓库日常巡检策略总结https://bbs.huaweicloud.com/forum/thread-118246-1-1.html52实践系列GaussDB(DWS)实践系列-业务表拆分显示策略分享https://bbs.huaweicloud.com/forum/thread-118244-1-1.html53实践系列GaussDB(DWS)实践系列-SQL语句上线验收操作指导https://bbs.huaweicloud.com/forum/thread-118242-1-1.html54实践系列GaussDB(DWS)实践系列-性能优化最佳实践https://bbs.huaweicloud.com/forum/thread-118241-1-1.html55实践系列GaussDB(DWS)实践系列-资源管控方案技术实战分享https://bbs.huaweicloud.com/forum/thread-118238-1-1.html56实践系列GaussDB(DWS)实践系列—关于释放磁盘异常占用空间的经验总结https://bbs.huaweicloud.com/forum/thread-118236-1-1.html57实践系列Gauss DB(DWS)迁移系列-TD迁移DDL差异-字段标题属性设置Titlehttps://bbs.huaweicloud.com/forum/thread-117986-1-1.html58实践系列GaussDB(DWS)通过GDS导出的文件竟然无法重新导入到源表https://bbs.huaweicloud.com/forum/thread-117975-1-1.html59实践系列GaussDB(DWS)对被视图引用的表进行DDL操作步骤https://bbs.huaweicloud.com/forum/thread-117973-1-1.html60实践系列Gauss DB(DWS)迁移系列-含右空格的varchar字符型”=与<>”等值比较https://bbs.huaweicloud.com/forum/thread-117943-1-1.html61实践系列【GaussDB(DWS)实践系列】 SQL下盘导致磁盘IO高问题分析https://bbs.huaweicloud.com/forum/thread-117932-1-1.html62实践系列【GaussDB(DWS)实践系列】华为商城(Vmall)背后的黑科技https://bbs.huaweicloud.com/forum/thread-117931-1-1.html63实践系列配置SQL ON OBS桶策略,实现DWS访问分离https://bbs.huaweicloud.com/forum/thread-117771-1-1.html64实践系列GaussDB(DWS)中GTM组件对sequence管理https://bbs.huaweicloud.com/forum/thread-117769-1-1.html65实践系列【GaussDB(DWS)实践系列】数据倾斜检查与修改方法https://bbs.huaweicloud.com/forum/thread-117767-1-1.html66实践系列SQL执行流程图https://bbs.huaweicloud.com/forum/thread-117765-1-1.html67实践系列Gauss DB(DWS)迁移系列-char类型差异性说明https://bbs.huaweicloud.com/forum/thread-117662-1-1.html68实践系列Gauss DB(DWS)迁移系列-TD幂运算替代https://bbs.huaweicloud.com/forum/thread-117657-1-1.html69实践系列【易运维】快速提取锁等待SQL语句 lock waithttps://bbs.huaweicloud.com/forum/thread-116218-1-1.html70实践系列【易运维】自定义视图快速了解个人用户登陆信息https://bbs.huaweicloud.com/forum/thread-116124-1-1.html71实践系列视图依赖层级快速获取实践https://bbs.huaweicloud.com/forum/thread-116037-1-1.html72实践系列GaussDB(DWS) 【对接数据可视化工具Grafana】https://bbs.huaweicloud.com/forum/thread-114960-1-1.html73实践系列GaussDB(DWS)字符集浅谈https://bbs.huaweicloud.com/forum/thread-114882-1-1.html74实践系列DWS SQL 查询的几点建议https://bbs.huaweicloud.com/forum/thread-112506-1-1.html75实践系列DWS 分区表简介https://bbs.huaweicloud.com/forum/thread-112487-1-1.html76实践系列DWS 局部聚簇(Partial Cluster Key)选取规则https://bbs.huaweicloud.com/forum/thread-112478-1-1.html77实践系列DWS 开发过程中SQL编写建议https://bbs.huaweicloud.com/forum/thread-112471-1-1.html78实践系列DWS coordinator部署规划推荐规则https://bbs.huaweicloud.com/forum/thread-112461-1-1.html79实践系列【GaussDB(DWS)实践系列】低效SQL的排查和清理https://bbs.huaweicloud.com/forum/thread-111522-1-1.html80实践系列【GaussDB(DWS)实践系列】数据倾斜检查与修改方法https://bbs.huaweicloud.com/forum/thread-111395-1-1.html81实践系列DWS 泰山服务器未做配置加固影响性能的问题https://bbs.huaweicloud.com/forum/thread-110780-1-1.html82实践系列DWS 参数设置不合理导致作业下盘影响性能的问题https://bbs.huaweicloud.com/forum/thread-110776-1-1.html83实践系列DWS 统计信息不准触发nestloop导致查询语句执行缓慢https://bbs.huaweicloud.com/forum/thread-110543-1-1.html84实践系列DWS SQL语句中in常量优化https://bbs.huaweicloud.com/forum/thread-110535-1-1.html85实践系列DWS 语句中not in触发NestLoop导致SQL执行慢的问题https://bbs.huaweicloud.com/forum/thread-110506-1-1.html86实践系列DWS语句不下推问题分析https://bbs.huaweicloud.com/forum/thread-110436-1-1.html87实践系列DWS 集群出现很多dn报内存不可用问题定位https://bbs.huaweicloud.com/forum/thread-109095-1-1.html88实践系列DWS 以TPCH Q7为例,简单介绍Hang问题基本定位过程https://bbs.huaweicloud.com/forum/thread-109083-1-1.html89实践系列DWS INSERT语句疑似HANG住问题https://bbs.huaweicloud.com/forum/thread-109080-1-1.html90实践系列DWS DDL HANG问题,长时间无法返回!https://bbs.huaweicloud.com/forum/thread-109062-1-1.html91实践系列为何时间戳数据写入和查询的值相差8小时https://bbs.huaweicloud.com/forum/thread-109028-1-1.html92实践系列DWS系统性能问题集锦https://bbs.huaweicloud.com/forum/thread-105345-1-1.html93实践系列"最大并发数" 真的能控制住并发 ?https://bbs.huaweicloud.com/forum/thread-105251-1-1.html94实践系列GaussDB的递归https://bbs.huaweicloud.com/forum/thread-101514-1-1.html95实践系列解决表过多导致的 PGXC_GET_STAT_ALL_TABLES 查询慢问题https://bbs.huaweicloud.com/forum/thread-101196-1-1.html96实践系列行转列的一个函数https://bbs.huaweicloud.com/forum/thread-100204-1-1.html97实践系列DWS内存参数调优https://bbs.huaweicloud.com/forum/thread-99652-1-1.html98实践系列DWS 硬件瓶颈点分析https://bbs.huaweicloud.com/forum/thread-99630-1-1.html99实践系列【程序猿的世界没有单身汪,数仓界达芬奇带您手动设计心仪对象】-12.22直播相关答疑FAQhttps://bbs.huaweicloud.com/forum/thread-98119-1-1.html100实践系列常用的日期操作https://bbs.huaweicloud.com/forum/thread-92120-1-1.html101实践系列如何快速识别被阻塞的SQL语句是不是被其他语句持有锁导致的?https://bbs.huaweicloud.com/forum/thread-90184-1-1.html102实践系列查看表及索引大小https://bbs.huaweicloud.com/forum/thread-87142-1-1.html103实践系列DWS 服务器选型很重要!!!!!!!!!!!!!!!https://bbs.huaweicloud.com/forum/thread-86286-1-1.html104实践系列DWS分页排序https://bbs.huaweicloud.com/forum/thread-81754-1-1.html105实践系列一种获取表结构的方法https://bbs.huaweicloud.com/forum/thread-81612-1-1.html106实践系列表空间提取 - schema维度提取表大小及倾斜率https://bbs.huaweicloud.com/forum/thread-81495-1-1.html107实践系列终止运行时间过长的sql session的方法https://bbs.huaweicloud.com/forum/thread-81492-1-1.html108实践系列记一次单表查询慢的定位过程https://bbs.huaweicloud.com/forum/thread-81113-1-1.html109实践系列行存表和Btree索引的应用实现语句的秒级返回https://bbs.huaweicloud.com/forum/thread-76279-1-1.html110实践系列DataStudio工具如何设置保存登录密码?https://bbs.huaweicloud.com/forum/thread-76084-1-1.html111实践系列数据库开发技巧之数据库表长度限制https://bbs.huaweicloud.com/forum/thread-76019-1-1.html112实践系列WITH 中用多个CTEhttps://bbs.huaweicloud.com/forum/thread-75517-1-1.html113实践系列GaussDB(DWS)角色赋予角色后关系字典查询https://bbs.huaweicloud.com/forum/thread-75276-1-1.html114实践系列GaussDB(DWS) 【生成随机字符串的方法】https://bbs.huaweicloud.com/forum/thread-74944-1-1.html115实践系列DWS for GaussDB 生成随机字符串的方法https://bbs.huaweicloud.com/forum/thread-74942-1-1.html116实践系列GaussDB(DWS) 【in 与join 在遇到重复数据时的区别】https://bbs.huaweicloud.com/forum/thread-74913-1-1.html117实践系列upsert语句怎么改写?https://bbs.huaweicloud.com/forum/thread-73699-1-1.html118实践系列GaussDB多值入参场景实现方法https://bbs.huaweicloud.com/forum/thread-71314-1-1.html119实践系列GaussDB(DWS)多行转一行(列转行)聚合函数listagghttps://bbs.huaweicloud.com/forum/thread-71153-1-1.html120实践系列使用latin1存储了汉字,怎么按照汉字做匹配运算?https://bbs.huaweicloud.com/forum/thread-70943-1-1.html121实践系列存储过程中获取当前schemahttps://bbs.huaweicloud.com/forum/thread-70770-1-1.html122实践系列GaussDB(DWS) 【表脏页率查询方法】https://bbs.huaweicloud.com/forum/thread-66043-1-1.html123实践系列GaussDB(DWS) 【使用窗口函数去重方法】https://bbs.huaweicloud.com/forum/thread-65645-1-1.html124实践系列GaussDB(DWS) 【中找出那些表没有做过analyze】https://bbs.huaweicloud.com/forum/thread-64751-1-1.html125实践系列GaussDB(DWS) 【判断表是否做过update或者delete操作】https://bbs.huaweicloud.com/forum/thread-64426-1-1.html126实践系列GaussDB(DWS) 【TopSql 抓取方法】https://bbs.huaweicloud.com/forum/thread-64238-1-1.html127实践系列GaussDB(DWS)【维度表修改为复制表提升查询性能】https://bbs.huaweicloud.com/forum/thread-64061-1-1.html128实践系列GaussDB(DWS) 【视图依赖的表名发生rename后DWS与ORACLE的不同表现】https://bbs.huaweicloud.com/forum/thread-64055-1-1.html129实践系列GaussDB(DWS)实践系列- 数据仓库自动化清理功能实现https://bbs.huaweicloud.com/forum/thread-60626-1-1.html130实践系列GaussDB(DWS) 【子查询中包含不存在列时在DWS&mysql;&postgres;的表现】https://bbs.huaweicloud.com/forum/thread-59594-1-1.html131实践系列GaussDB(DWS) 【存储过程中查询一张表的结果(多个字段)分别附给多个变量的方法】https://bbs.huaweicloud.com/forum/thread-59402-1-1.html
-
>摘要:GaussDB(DWS)提供了两个集群级别的视图快速识别和查询锁等待和分布式死锁信息,可实现此类问题的秒级问题的定位和分析。本文分享自华为云社区《[GaussDB(DWS)运维 -- 一键式锁等待和分布式死锁检测](https://bbs.huaweicloud.com/blogs/331625?utm_source=csdn&utm_medium=bbs-ex&utm_campaign=ei&utm_content=content)》,作者:譡里个檔。 锁是GaussDB(DWS)实现并发管理的关键要素,GaussDB(DWS)锁类别有表级锁、分区级锁(和表级锁一致)、事务锁、咨询锁等,当前业务最常用的是表级锁、分区级锁(和表级锁一致)、事务锁。不同的SQL语句执行时需要申请并持有对应的锁,当这些锁资源存在互斥时,对应的业务SQL就会产生等待;这种等待会产生下面几种后果: 1. 持锁的一方释放锁(一般对应的动作为持锁的事物提交),等待锁的一方申请到锁,然后继续执行 2. 持锁的一方事物长时间未提交,等待锁的一方因为锁等待超时导致作业报错 3. A实例上持锁事物和申请锁的事物在B实例上角色互换,产生分布式死锁(具体见下文介绍)。这种场景下需要首先达到锁等待超时的事物报错回滚时释放锁资源,然后另外一个事物申请到才能正常进行 从上述的描述可以看到,锁等待特别是分布式死锁对业务影响很大,轻则产生等待导致业务性能抖动和下降,甚至业务报错。GaussDB(DWS)提供了两个集群级别的视图快速识别和查询锁等待和分布式死锁信息,可实现此类问题的秒级定位和分析。 # 1)锁等待检测视图pgxc_lock_conflicts 【功能】查询当前库里面不同节点上的锁等待信息  【解析】执行如下查询结果 postgres=# SELECT * FROM pgxc_lock_conflicts ORDER BY nodename,dbname,locktype,nspname,relname,partname; locktype | nodename | dbname | nspname | relname | partname | page | tuple | transactionid | username | gxid | xactstart | queryid | query | pid | mode | granted -----------+----------+----------+---------+-----------------------+----------+------+-------+---------------+-----------+----------+-------------------------------+--------------------+----------------------------------------------------------+-----------------+---------------------+--------- partition | cn_5001 | postgres | public | table_partition_num_3 | p1 | | | | dfm | 24097147 | 2022-02-17 17:56:03.113194+08 | 104145741383084190 | alter table table_partition_num_3 truncate partition p1; | 140160505136896 | AccessExclusiveLock | f partition | cn_5001 | postgres | public | table_partition_num_3 | p1 | | | | dfm | 24102679 | 2022-02-17 18:41:36.580348+08 | 0 | alter table table_partition_num_3 truncate partition p1; | 140160568055552 | AccessExclusiveLock | t relation | cn_5002 | postgres | public | xxx | | | | | dfm | 24102679 | 2022-02-17 18:41:36.580348+08 | 175921860444402398 | truncate xxx; | 140418767369984 | AccessShareLock | f relation | cn_5002 | postgres | public | xxx | | | | | dfm | 24097147 | 2022-02-17 17:56:03.113194+08 | 0 | truncate xxx; | 140420489144064 | AccessExclusiveLock | t (4 rows) 如上的SQL显示 - 在节点cn_5001的postgres里面的表public.table_partition_num_3的分区p1上存在分区级别(partition)的锁冲突。在当前的锁冲突中线程140160568055552持有锁(mode = true),锁级别是AccessExclusiveLock,执行语句为alter table table_partition_num_3 truncate partition p1。线程140160568055552在等待(mode = false)AccessExclusiveLock锁,等待锁的语句也是alter table table_partition_num_3 truncate partition p1。 - 在节点cn_5002的postgres里面的表http://public.xxx上存在表级别(relation)的锁冲突。线程140420489144064持有锁AccessExclusiveLock(mode = true),线程140418767369984在等待(mode = false)AccessShareLock锁 # 2)分布式锁等待检测视图pgxc_deadlock 【功能】查询当前库里面不同节点上的分布式死锁信息  【解析】执行如下查询结果 postgres=# SELECT * FROM pgxc_deadlock ORDER BY nodename,dbname,locktype,nspname,relname,partname; locktype | nodename | dbname | nspname | relname | partname | page | tuple | transactionid | waitusername | waitgxid | waitxactstart | waitqueryid | waitquery | waitpid | waitmode | holdusername | holdgxid | holdxactstart | holdqueryid | holdquery | holdpid | holdmode ----------+----------+----------+---------+---------+----------+------+-------+---------------+--------------+----------+-------------------------------+--------------------+-----------------------------------------------------+-----------------+-----------------+--------------+----------+-------------------------------+-------------+--------------+-----------------+--------------------- relation | cn_5001 | postgres | public | t2 | | | | | j00565968 | 24112406 | 2022-02-17 20:01:57.421532+08 | 104145741383110084 | EXECUTE DIRECT ON(dn_6003_6004) 'SELECT * FROM t2'; | 140160505136896 | AccessShareLock | j00565968 | 24112465 | 2022-02-17 20:02:24.220656+08 | 0 | TRUNCATE t2; | 140160421234432 | AccessExclusiveLock relation | cn_5002 | postgres | public | t1 | | | | | j00565968 | 24112465 | 2022-02-17 20:02:24.220656+08 | 175921860444446866 | EXECUTE DIRECT ON(dn_6001_6002) 'SELECT * FROM t1'; | 140418784151296 | AccessShareLock | j00565968 | 24112406 | 2022-02-17 20:01:57.421532+08 | 0 | TRUNCATE t1; | 140421763163904 | AccessExclusiveLock (2 rows) 如上的SQL显示,在postgres库里面 - 节点cn_5001上 事务24112465通过线程140160421234432持有表public.t2的AccessExclusiveLock锁 事务24112406通过线程140160505136896在等待申请表public.t2的AccessShareLock锁 - 节点cn_5002上 事务24112465通过线程140418784151296在等待申请表public.t1的AccessShareLock锁 事物24112406通过线程140421763163904持有表public.t1的AccessExclusiveLock锁 如果我们把资源的持有情况按照持有到申请定义一个防线的话,可以形成如下表格  从上述可以看出,事务24112465在节点cn_5001持有表public.t2的AccessExclusiveLock锁,等待申请申请表public.t1的AccessShareLock锁;事务24112406在节点cn_5002上持有表public.t1的AccessExclusiveLock锁,等待申请申请表public.t2的AccessShareLock锁;事务24112406和事务24112465只有等待彼此提交才能申请到锁资源,让自己继续执行,这种在多个实例上的分布式等待关系形成了一个环状,我们称这种现象为分布式死锁。 # 3) 锁等待和分布式死锁的区别 对于分布式死锁,只能一个事务因为锁等待(参数lockwait_timeout)超时回滚的时候,另外一个事务才能进行下去;或者人工干预kill或者cancel其中一个事务,让另外一个事务进行下去。 对于没有分布式死锁的锁等待,这种一般不需要人工干涉,等待持锁事务正常执行完成之后另外一个事务就可以正常执行;但是如果事务持锁时间超过锁等待超时参数(参数lockwait_timeout),等待锁的事务会因为锁等待超时失败。
-
原文链接:https://blog.csdn.net/wangyuxiang946/article/details/122996953一、数值型注入前台页面输入的参数是「数字」。比如下面这个根据ID查询用户的功能。后台对应的SQL如下,字段类型是数值型,这种就是数值型注入。select * from user where id = 1;二、字符型注入前台页面输入的参数是「字符串」。比如下面这个登录功能,输入的用户名和密码是字符串。后台对应的SQL如下,字段类型是字符型,这种就是字符型注入。select * from user where username = 'zhangsan' and password = '123abc';字符可以使用单引号包裹,也可以使用双引号包裹,根据包裹字符串的「引号」不同,字符型注入可以分为:「单引号字符型」注入和「双引号字符型」注入。1)单引号字符型注入参数使用「单引号」包裹时,叫做单引号字符型注入,比如下面这个SQL,就是单引号字符型注入。select * from user where username = 'zhangsan';2)双引号字符型注入参数使用「双引号」包裹时,叫做双引号字符型注入,比如下面这个SQL,就是双引号字符型注入。select * from user where username = "zhangsan";3)带有括号的注入理论上来说,只有数值型和字符型两种注入类型。SQL的语法,支持使用一个或多个「括号」包裹参数,使得这两个基础的注入类型存在一些变种。a. 数值型+括号的注入使用括号包裹数值型参数,比如下面这种SQL。select * from user where id = (1);select * from user where id = ((1));包裹多个括号……b. 单引号字符串+括号的注入使用括号和单引号包裹参数,比如下面这种SQL。select * from user where username = ('zhangsan');select * from user where username = (('zhangsan'));包裹多个括号……c. 双引号字符串+括号的注入使用括号和双引号包裹参数,比如下面这种SQLselect * from user where username = ("zhangsan");select * from user where username = (("zhangsan"));包裹多个括号……三、其他类型除了根据参数的分类以外,还有其他分类方式。根据数据的「提交方式」分类:GET注入:使用get请求提交数据,比如 xxx.php?id=1.POST注入:使用post请求提交数据,比如表单。Cookie注入:使用Cookie的某个字段提交数据,比如在Cookie中保存用户信息。HTTP Header注入:使用请求头提交数据,比如检测HTTP中的源地址、主机IP等。根据页面「是否回显」分类:显注:前端页面可以回显用户信息,比如 联合注入、报错注入。盲注:前端页面不能回显用户信息,比如 布尔盲注、时间盲注。感谢你的点赞、收藏、评论,我是三日、祝你幸福。
-
锁是GaussDB(DWS)实现并发管理的关键要素,GaussDB(DWS)锁类别有表级锁、分区级锁(和表级锁一致)、事务锁、咨询锁等,当前业务最常用的是表级锁、分区级锁(和表级锁一致)、事务锁。不同的SQL语句执行时需要申请并持有对应的锁,当这些锁资源存在互斥时,对应的业务SQL就会产生等待;这种等待会产生下面几种后果持锁的一方释放锁(一般对应的动作为持锁的事物提交),等待锁的一方申请到锁,然后继续执行持锁的一方事物长时间未提交,等待锁的一方因为锁等待超时导致作业报错A实例上持锁事物和申请锁的事物在B实例上角色互换,产生分布式死锁(具体见下文介绍)。这种场景下需要首先达到锁等待超时的事物报错回滚时释放锁资源,然后另外一个事物申请到才能正常进行从上述的描述可以看到,锁等待特别是分布式死锁对业务影响很大,轻则产生等待导致业务性能抖动和下降,甚至业务报错。GaussDB(DWS)提供了两个集群级别的视图快速识别和查询锁等待和分布式死锁信息,可实现此类问题的秒级问题的定位和分析1)锁等待检测视图pgxc_lock_conflicts【功能】查询当前库里面不同节点上的锁等待信息字段名称数据类型字段描述locktypetext被锁定对象的类型,当前支持relation、partition、transactionid三种类型的锁类型nodenamename被锁定对象的节点的名称dbnamename被锁定对象的数据库的名称。如果被锁定对象是事务,则为NULLnspnamename被锁定对象的命名空间的名称relnamename被锁定对象对应的relation的名称。如果被锁定对象既不是relation,也不是relation的一部分,则为NULLpartnamename被锁定对象对应的分区的名称。如果被锁定对象不是分区,则为NULLpageinteger被锁定对象对应的页面的编号。如果被锁定对象既不是页面,也不是元组,则为NULLtuplesmallint被锁定对象对应的元组的编号。如果被锁定对象不是元组,则为NULLtransactionidxid被锁定对象对应的事务的ID。如果被锁定对象不是事务,则为NULLusernamename当前线程所处session的用户名,一般也是当前线程执行语句的用户名称gxidxid当前线程所处事物的事物IDxactstarttimestamptz当前线程所处事务的事物开始时间queryidbigint申请锁的线程的最新查询的queryidquerytext申请锁的线程的最新查询语句pidbigint申请锁的线程的IDmodetext锁的级别grantedbooleanTRUE表示当前线程持有上述指定的锁FALSE表示当前线程正在申请锁,但是没有申请上,处在等待锁的状态【解析】执行如下查询结果postgres=# SELECT * FROM pgxc_lock_conflicts ORDER BY nodename,dbname,locktype,nspname,relname,partname; locktype | nodename | dbname | nspname | relname | partname | page | tuple | transactionid | username | gxid | xactstart | queryid | query | pid | mode | granted -----------+----------+----------+---------+-----------------------+----------+------+-------+---------------+-----------+----------+-------------------------------+--------------------+----------------------------------------------------------+-----------------+---------------------+--------- partition | cn_5001 | postgres | public | table_partition_num_3 | p1 | | | | dfm | 24097147 | 2022-02-17 17:56:03.113194+08 | 104145741383084190 | alter table table_partition_num_3 truncate partition p1; | 140160505136896 | AccessExclusiveLock | f partition | cn_5001 | postgres | public | table_partition_num_3 | p1 | | | | dfm | 24102679 | 2022-02-17 18:41:36.580348+08 | 0 | alter table table_partition_num_3 truncate partition p1; | 140160568055552 | AccessExclusiveLock | t relation | cn_5002 | postgres | public | xxx | | | | | dfm | 24102679 | 2022-02-17 18:41:36.580348+08 | 175921860444402398 | truncate xxx; | 140418767369984 | AccessShareLock | f relation | cn_5002 | postgres | public | xxx | | | | | dfm | 24097147 | 2022-02-17 17:56:03.113194+08 | 0 | truncate xxx; | 140420489144064 | AccessExclusiveLock | t (4 rows)如上的SQL显示在节点cn_5001的postgres里面的表public.table_partition_num_3的分区p1上存在分区级别(partition)的锁冲突。在当前的锁冲突中线程140160568055552持有锁(mode = true),锁级别是AccessExclusiveLock,执行语句为alter table table_partition_num_3 truncate partition p1。线程140160568055552在等待(mode = false)AccessExclusiveLock锁,等待锁的语句也是alter table table_partition_num_3 truncate partition p1。在节点cn_5002的postgres里面的表public.xxx上存在表级别(relation)的锁冲突。线程140420489144064持有锁AccessExclusiveLock(mode = true),线程140418767369984在等待(mode = false)AccessShareLock锁2)分布式锁等待检测视图pgxc_deadlock【功能】查询当前库里面不同节点上的分布式死锁信息字段名称数据类型字段描述locktypetext被锁定对象的类型,当前支持relation、partition、transactionid三种类型的锁类型nodenamename被锁定对象的节点的名称dbnamename被锁定对象的数据库的名称。如果被锁定对象是事务,则为NULLnspnamename被锁定对象的命名空间的名称relnamename被锁定对象对应的关系的名称。如果被锁定对象既不是关系,也不是关系的一部分,则为NULLpartnamename被锁定对象对应的分区的名称。如果被锁定对象不是分区,则为NULLpageinteger被锁定对象对应的页面的编号。如果被锁定对象既不是页面,也不是元组,则为NULLtuplesmallint被锁定对象对应的元组的编号。如果被锁定对象不是元组,则为NULLtransactionidxid被锁定对象对应的事务的ID。如果被锁定对象不是事务,则为NULLwaitusernamename等待锁的用户的名称waitgxidxid等待锁的事务的IDwaitxactstarttimestamptz等待锁的事务的开始时间waitqueryidbigint等待锁的线程的最新查询IDwaitquerytext等待锁的线程的最新查询语句waitpidbigint等待锁的线程的IDwaitmodetext等待的锁的级别holdusernamename持有锁的用户的名称holdgxidxid持有锁的事务的IDholdxactstarttimestamptz持有锁的事务的开始时间holdqueryidbigint持有锁的线程的最新查询IDholdquerytext持有锁的线程的最新查询语句holdpidbigint持有锁的线程的IDholdmodetext持有的锁的级别【解析】执行如下查询结果postgres=# SELECT * FROM pgxc_deadlock ORDER BY nodename,dbname,locktype,nspname,relname,partname; locktype | nodename | dbname | nspname | relname | partname | page | tuple | transactionid | waitusername | waitgxid | waitxactstart | waitqueryid | waitquery | waitpid | waitmode | holdusername | holdgxid | holdxactstart | holdqueryid | holdquery | holdpid | holdmode ----------+----------+----------+---------+---------+----------+------+-------+---------------+--------------+----------+-------------------------------+--------------------+-----------------------------------------------------+-----------------+-----------------+--------------+----------+-------------------------------+-------------+--------------+-----------------+--------------------- relation | cn_5001 | postgres | public | t2 | | | | | j00565968 | 24112406 | 2022-02-17 20:01:57.421532+08 | 104145741383110084 | EXECUTE DIRECT ON(dn_6003_6004) 'SELECT * FROM t2'; | 140160505136896 | AccessShareLock | j00565968 | 24112465 | 2022-02-17 20:02:24.220656+08 | 0 | TRUNCATE t2; | 140160421234432 | AccessExclusiveLock relation | cn_5002 | postgres | public | t1 | | | | | j00565968 | 24112465 | 2022-02-17 20:02:24.220656+08 | 175921860444446866 | EXECUTE DIRECT ON(dn_6001_6002) 'SELECT * FROM t1'; | 140418784151296 | AccessShareLock | j00565968 | 24112406 | 2022-02-17 20:01:57.421532+08 | 0 | TRUNCATE t1; | 140421763163904 | AccessExclusiveLock (2 rows)如上的SQL显示,在postgres库里面节点cn_5001上 事务24112465通过线程140160421234432持有表public.t2的AccessExclusiveLock锁 事务24112406通过线程140160505136896在等待申请表public.t2的AccessShareLock锁节点cn_5002上 事务24112465通过线程140418784151296在等待申请表public.t1的AccessShareLock锁 事物24112406通过线程140421763163904持有表public.t1的AccessExclusiveLock锁如果我们把资源的持有情况按照持有到申请定义一个防线的话,可以形成如下表格节点事务24112465方向事务24112406cn_5001持有表public.t2的AccessExclusiveLock锁→申请表public.t2的AccessShareLock锁cn_5002申请表public.t1的AccessShareLock锁←持有表public.t1的AccessExclusiveLock锁从上述可以看出,事务24112465在节点cn_5001持有表public.t2的AccessExclusiveLock锁,等待申请申请表public.t1的AccessShareLock锁;事务24112406在节点cn_5002上持有表public.t1的AccessExclusiveLock锁,等待申请申请表public.t2的AccessShareLock锁;事务24112406和事务24112465只有等待彼此提交才能申请到锁资源,让自己继续执行,这种在多个实例上的分布式等待关系形成了一个环状,我们称这种现象为分布式死锁。3) 锁等待和分布式死锁的区别对于分布式死锁,只能一个事务因为锁等待(参数lockwait_timeout)超时回滚的时候,另外一个事务才能进行下去;或者人工干预kill或者cancel其中一个事务,让另外一个事务进行下去。对于没有分布式死锁的锁等待,这种一般不需要人工干涉,等待持锁事务正常执行完成之后另外一个事务就可以正常执行;但是如果事务持锁时间超过锁等待超时参数(参数lockwait_timeout),等待锁的事务会因为锁等待超时失败。
-
锁是GaussDB(DWS)实现并发管理的关键要素,GaussDB(DWS)锁类别有表级锁、分区级锁(和表级锁一致)、事务锁、咨询锁等,当前业务最常用的是表级锁、分区级锁(和表级锁一致)、事务锁。不同的SQL语句执行时需要申请并持有对应的锁,当这些锁资源存在互斥时,对应的业务SQL就会产生等待;这种等待会产生下面几种后果持锁的一方释放锁(一般对应的动作为持锁的事物提交),等待锁的一方申请到锁,然后继续执行持锁的一方事物长时间未提交,等待锁的一方因为锁等待超时导致作业报错A实例上持锁事物和申请锁的事物在B实例上角色互换,产生分布式死锁(具体见下文介绍)。这种场景下需要首先达到锁等待超时的事物报错回滚时释放锁资源,然后另外一个事物申请到才能正常进行从上述的描述可以看到,锁等待特别是分布式死锁对业务影响很大,轻则产生等待导致业务性能抖动和下降,甚至业务报错。GaussDB(DWS)提供了两个集群级别的视图快速识别和查询锁等待和分布式死锁信息,可实现此类问题的秒级问题的定位和分析1)锁等待检测视图pgxc_lock_conflicts【功能】查询当前库里面不同节点上的锁等待信息字段名称数据类型字段描述locktypetext被锁定对象的类型,当前支持relation、partition、transactionid三种类型的锁类型nodenamename被锁定对象的节点的名称dbnamename被锁定对象的数据库的名称。如果被锁定对象是事务,则为NULLnspnamename被锁定对象的命名空间的名称relnamename被锁定对象对应的relation的名称。如果被锁定对象既不是relation,也不是relation的一部分,则为NULLpartnamename被锁定对象对应的分区的名称。如果被锁定对象不是分区,则为NULLpageinteger被锁定对象对应的页面的编号。如果被锁定对象既不是页面,也不是元组,则为NULLtuplesmallint被锁定对象对应的元组的编号。如果被锁定对象不是元组,则为NULLtransactionidxid被锁定对象对应的事务的ID。如果被锁定对象不是事务,则为NULLusernamename当前线程所处session的用户名,一般也是当前线程执行语句的用户名称gxidxid当前线程所处事物的事物IDxactstarttimestamptz当前线程所处事务的事物开始时间queryidbigint申请锁的线程的最新查询的queryidquerytext申请锁的线程的最新查询语句pidbigint申请锁的线程的IDmodetext锁的级别grantedbooleanTRUE表示当前线程持有上述指定的锁FALSE表示当前线程正在申请锁,但是没有申请上,处在等待锁的状态【解析】执行如下查询结果postgres=# SELECT * FROM pgxc_lock_conflicts ORDER BY nodename,dbname,locktype,nspname,relname,partname; locktype | nodename | dbname | nspname | relname | partname | page | tuple | transactionid | username | gxid | xactstart | queryid | query | pid | mode | granted -----------+----------+----------+---------+-----------------------+----------+------+-------+---------------+-----------+----------+-------------------------------+--------------------+----------------------------------------------------------+-----------------+---------------------+--------- partition | cn_5001 | postgres | public | table_partition_num_3 | p1 | | | | dfm | 24097147 | 2022-02-17 17:56:03.113194+08 | 104145741383084190 | alter table table_partition_num_3 truncate partition p1; | 140160505136896 | AccessExclusiveLock | f partition | cn_5001 | postgres | public | table_partition_num_3 | p1 | | | | dfm | 24102679 | 2022-02-17 18:41:36.580348+08 | 0 | alter table table_partition_num_3 truncate partition p1; | 140160568055552 | AccessExclusiveLock | t relation | cn_5002 | postgres | public | xxx | | | | | dfm | 24102679 | 2022-02-17 18:41:36.580348+08 | 175921860444402398 | truncate xxx; | 140418767369984 | AccessShareLock | f relation | cn_5002 | postgres | public | xxx | | | | | dfm | 24097147 | 2022-02-17 17:56:03.113194+08 | 0 | truncate xxx; | 140420489144064 | AccessExclusiveLock | t (4 rows)如上的SQL显示在节点cn_5001的postgres里面的表public.table_partition_num_3的分区p1上存在分区级别(partition)的锁冲突。在当前的锁冲突中线程140160568055552持有锁(mode = true),锁级别是AccessExclusiveLock,执行语句为alter table table_partition_num_3 truncate partition p1。线程140160568055552在等待(mode = false)AccessExclusiveLock锁,等待锁的语句也是alter table table_partition_num_3 truncate partition p1。在节点cn_5002的postgres里面的表public.xxx上存在表级别(relation)的锁冲突。线程140420489144064持有锁AccessExclusiveLock(mode = true),线程140418767369984在等待(mode = false)AccessShareLock锁2)分布式锁等待检测视图pgxc_deadlock【功能】查询当前库里面不同节点上的分布式死锁信息字段名称数据类型字段描述locktypetext被锁定对象的类型,当前支持relation、partition、transactionid三种类型的锁类型nodenamename被锁定对象的节点的名称dbnamename被锁定对象的数据库的名称。如果被锁定对象是事务,则为NULLnspnamename被锁定对象的命名空间的名称relnamename被锁定对象对应的关系的名称。如果被锁定对象既不是关系,也不是关系的一部分,则为NULLpartnamename被锁定对象对应的分区的名称。如果被锁定对象不是分区,则为NULLpageinteger被锁定对象对应的页面的编号。如果被锁定对象既不是页面,也不是元组,则为NULLtuplesmallint被锁定对象对应的元组的编号。如果被锁定对象不是元组,则为NULLtransactionidxid被锁定对象对应的事务的ID。如果被锁定对象不是事务,则为NULLwaitusernamename等待锁的用户的名称waitgxidxid等待锁的事务的IDwaitxactstarttimestamptz等待锁的事务的开始时间waitqueryidbigint等待锁的线程的最新查询IDwaitquerytext等待锁的线程的最新查询语句waitpidbigint等待锁的线程的IDwaitmodetext等待的锁的级别holdusernamename持有锁的用户的名称holdgxidxid持有锁的事务的IDholdxactstarttimestamptz持有锁的事务的开始时间holdqueryidbigint持有锁的线程的最新查询IDholdquerytext持有锁的线程的最新查询语句holdpidbigint持有锁的线程的IDholdmodetext持有的锁的级别【解析】执行如下查询结果postgres=# SELECT * FROM pgxc_deadlock ORDER BY nodename,dbname,locktype,nspname,relname,partname; locktype | nodename | dbname | nspname | relname | partname | page | tuple | transactionid | waitusername | waitgxid | waitxactstart | waitqueryid | waitquery | waitpid | waitmode | holdusername | holdgxid | holdxactstart | holdqueryid | holdquery | holdpid | holdmode ----------+----------+----------+---------+---------+----------+------+-------+---------------+--------------+----------+-------------------------------+--------------------+-----------------------------------------------------+-----------------+-----------------+--------------+----------+-------------------------------+-------------+--------------+-----------------+--------------------- relation | cn_5001 | postgres | public | t2 | | | | | j00565968 | 24112406 | 2022-02-17 20:01:57.421532+08 | 104145741383110084 | EXECUTE DIRECT ON(dn_6003_6004) 'SELECT * FROM t2'; | 140160505136896 | AccessShareLock | j00565968 | 24112465 | 2022-02-17 20:02:24.220656+08 | 0 | TRUNCATE t2; | 140160421234432 | AccessExclusiveLock relation | cn_5002 | postgres | public | t1 | | | | | j00565968 | 24112465 | 2022-02-17 20:02:24.220656+08 | 175921860444446866 | EXECUTE DIRECT ON(dn_6001_6002) 'SELECT * FROM t1'; | 140418784151296 | AccessShareLock | j00565968 | 24112406 | 2022-02-17 20:01:57.421532+08 | 0 | TRUNCATE t1; | 140421763163904 | AccessExclusiveLock (2 rows)如上的SQL显示,在postgres库里面节点cn_5001上 事务24112465通过线程140160421234432持有表public.t2的AccessExclusiveLock锁 事务24112406通过线程140160505136896在等待申请表public.t2的AccessShareLock锁节点cn_5002上 事务24112465通过线程140418784151296在等待申请表public.t1的AccessShareLock锁 事物24112406通过线程140421763163904持有表public.t1的AccessExclusiveLock锁如果我们把资源的持有情况按照持有到申请定义一个防线的话,可以形成如下表格节点事务24112465方向事务24112406cn_5001持有表public.t2的AccessExclusiveLock锁→申请表public.t2的AccessShareLock锁cn_5002申请表public.t1的AccessShareLock锁←持有表public.t1的AccessExclusiveLock锁从上述可以看出,事务24112465在节点cn_5001持有表public.t2的AccessExclusiveLock锁,等待申请申请表public.t1的AccessShareLock锁;事务24112406在节点cn_5002上持有表public.t1的AccessExclusiveLock锁,等待申请申请表public.t2的AccessShareLock锁;事务24112406和事务24112465只有等待彼此提交才能申请到锁资源,让自己继续执行,这种在多个实例上的分布式等待关系形成了一个环状,我们称这种现象为分布式死锁。3) 锁等待和分布式死锁的区别对于分布式死锁,只能一个事务因为锁等待(参数lockwait_timeout)超时回滚的时候,另外一个事务才能进行下去;或者人工干预kill或者cancel其中一个事务,让另外一个事务进行下去。对于没有分布式死锁的锁等待,这种一般不需要人工干涉,等待持锁事务正常执行完成之后另外一个事务就可以正常执行;但是如果事务持锁时间超过锁等待超时参数(参数lockwait_timeout),等待锁的事务会因为锁等待超时失败。
-
【功能模块】 //消防类系统 let sql = "select count(distinct(a.id)) sum,a.ConnectStatus ConnectStatus from DE_Devices a,DE_DeviceDef b,DE_DeviceDefCategory c where a.DeviceDef=b.id and c.id=b.DeviceDefCategory and c.name ='PSS-FS' group by a.ConnectStatus"; console.log(sql); let value = se.execute(sql);在脚本中执行会报错0218 15:40:28.466|error|vm[2044]>>> syntax error: unexpected $unk@useObject(['DE_Devices', 'DE_DeviceDef', 'DE_DeviceDefCategory']) @action.method({ input: "Input", output: "Output", description: "do a operation" }) run(input: Input): Output { let output = new Output(); let se = db.sql(); //消防类系统 let sql = "select count(distinct(a.id)) sum,a.ConnectStatus ConnectStatus from DE_Devices a,DE_DeviceDef b,DE_DeviceDefCategory c where a.DeviceDef=b.id and c.id=b.DeviceDefCategory and c.name ='PSS-FS' group by a.ConnectStatus"; console.log(sql); let value = se.execute(sql); // let value = se.execute("select * from DE_DeviceDefCategory"); let list = value.Rds; console.log(list); return output; }但是在控制台中执行就没有问题,请问是后台脚本不支持哪些查询么?【操作步骤&问题现象】1、2、【截图信息】【日志信息】(可选,上传日志内容或者附件)
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签