在本期《从数仓发展史浅析数仓未来技术趋势》的主题直播中，我们邀请到华为云数仓GaussDB(DWS)首席架构师 曾凯，针对数据仓库的起源、演进过程、未来技术发展趋势，与开发者和伙伴朋友们展开交流互动，帮助开发者快速了解数据仓库相关信息与能力。       一、数据仓库由何而来？       上世纪70年代，E.F.Codd提出关系型数据库模型，把用户从复杂数据处理的底层逻辑中抽离出来。1970年代，MIT提出单独构建分析系统的基础理论。1980年代初，W.H.Inmon开始了“记录系统”、“本原数据”、“决策支持数据库”等专题的研究 。1990年代初，数据仓库之父--- W.H.Inmon出版了数据仓库的经典作品《构建数据仓库》。从90年代开始，数据仓库进入蓬勃发展时期，涌现了非常多数据仓库产品。数据仓库的概念内涵非常丰富，但从抽象来说，借用Inmon的定义，数据仓库是一个面向主题的、集成的、相对稳定、反映历史变化（随时间变化），用来支撑管理人员决策的数据集合。其中4个主要特点为：面向主题：主要是给数据分类，方便理解和管理。集成：在使用数据之前，需要对其进行加工与集成，并且其有统一的数据结构和编码。非易失的：数据仓库中包含了大量的历史数据，其是极少或基本不更新的。随时间变化：数据随时间不断积累，保存较长的时限。数据特征标明了历史时期，反映时间趋势的变化。      二、传统数据仓库技术架构       数据仓库的发展也经历了底层技术架构的演进。一般来说传统数据仓库的技术架构可以概括为三类：Shared Everything, Shared Disk和Shared Nothing。Shared Everything针对单机数据库，完全透明共享单机内的CPU、内存、IO资源；Shared Storage各个处理节点使用其自己独有的CPU、内存，但是存储是共享的；Shared Nothing是一种分布式计算架构，CPU、内存、磁盘等资源都是私有的，整个系统中不存在共享资源，没有单点的竞争。      Shared-Nothing架构因为其优秀的可扩展性，目前已成为高性能数据仓库的主流架构。在该体系架构下，数据是按照节点水平划分，每个节点只负责自己本地的数据。这样就会使得每个节点有相同的功能并在自己的硬件上运行，其资源不去进行争用。       三、数据仓库逻辑分层架构       对于上层应用来说，业界有很多对数据仓库的逻辑分层架构，其中比较有代表性的逻辑分层结构有四个层次：分别为数据运营层（ODS，Operational Data Store）、数据明细层（DWD，Data Warehouse Detail）、数据服务层（DWS，Data Warehouse Service）、数据应用层（ADS，Application Data Service）。数据运营层(ODS)，该层将原始数据几乎无处理地存放在数据仓库系统汇总，结构上与源系统保持一致，其职责是将基础数据同步、存储，是后续加工数据的来源；数据明细层(DWD)，该层主要解决的是数据质量和数据完整性问题，在ODS的基础之上对数据进行加工处理，提供更干净的数据，并基于维度建模，明细宽表，复用关联计算，减少数据扫描；数据服务层（DWS），该层主要是将上层来的数据整合汇总成分析某一个主题域的数据服务层，用于提供后续的业务查询；数据应用层(ADS），是为数据产品和数据分析提供使用的数据，为进一步的数据分析提供个性化数据、宽表集市、趋势指标等。      四、未来，数据仓库将如何发展？      从早期PC时代到互联网时代、移动互联网时代，再到智能数据时代。数据特征呈海量化、多样化发展，业务特征呈实时化、生态化发展。自数字化以来，数据量年增长30%，每三年翻一番，互联网交易数据是4.5亿笔/天。为了充分挖掘数据价值，发掘数据潜力，便于支撑业务决策，使得业务收集保存越来越多的数据，带来了数据海量化。同时也促进了业务收集各种数据，比如日志、遥感、文件、图片的数据，从不同数据里挖掘信息，带来了数据多样化。业务决策要求发现数据中实时的趋势变化，支持实时的业务决策，例如实时风控、工业OT等，这些都要求数据分析的实时化；此外，数据的分析挖掘需要整合多样性的数据，从而走向多样信息的融合，走向生态化。      数据仓库发展趋势：       五、华为云GaussDB(DWS)发展历程       华为云GaussDB(DWS)历经12年技术演进，2011年开始技术预研，2014年首次上市，通过不停地迭代和演进，从2017年开始大规模商用，当前全球已累积1700+大客户。针对数仓发展趋势，GaussDB(DWS)也在不断地演进，2022年推出实时数仓、IoT数仓，应对实时数据的接入，满足实时计算场景需求。      2023年3月底GaussDB(DWS)即将发布云原生数仓，提供存算管三层分离、极致弹性能力，提供湖仓一体、数智融合和优异性能体验。Serverless的云原生架构：存算管的三层分离，计算存储资源独立、灵活、快速伸缩，高性价比满足用户变化多样的负载需求和严格的负载隔离要求。极致弹性：多样的弹性方式逻辑集群扩缩容\启停，一份数据承载多样负载，数据实时共享。湖仓一体：支持数据湖与数仓互联互通，不需要进行数据搬迁，GaussDB(DWS)可以直接访问数据湖的数据表，进行数据分析，可以体验到数仓的极致分析性能和精准管控度。数智融合：数据生产线与AI生产线的无缝对接，数据生产线为AI生产线提供强劲的数据处理能力和灵活的供数方式；AI训练推理能力嵌入数据分析流程。优异性能：一体化性能优化，匹配传统数仓的性能体验。       本期直播完整视频点击链接查看，更多关于GaussDB(DWS)云原生数仓技术能力解析，请关注3月29日（本周三）下午16:30-18:00，华为云GaussDB(DWS)云原生首席SE 王传廷老师的直播课堂。直播报名链接：cid:link_0

1.OS重启&hang现网OS问题现象多半是重启问题【详细案例】【OS】OS重启整理2.僵尸进程【详细案例】【红帽子OS BUG】僵尸进程多杀不掉【欧拉】xfs问题导致僵尸进程，D进程，集群不可用等问题。。。。继续梳理中3.OS启动失败【欧拉】挂盘错误导致OS启动失败4.【欧拉】xfs 文件损坏导致盘挂载不上【OS】【欧拉】xfs 文件损坏导致盘挂载不上5.欧拉官网风险预警cid:link_5

业务偶现报错ERROR: pooler: failed to create 1 connections, Error Message: remote node dn_7097_7098, detail: timeout expired, status:1, detail:none.【报错现象】业务偶尔报错timeout expired，一般情况下重试可通过​【报错分析】正常建连预期是：CN与DN物理连接建好后，CN发出startup package，等待DN回复DN收到新连接后，启动新的pg线程，pg线程初始化完成，处理startup package并回复给CN建连完成此报错现象是：cn连接dn，会等待60秒，CN与DN物理连接建好后，CN发出startup package，等待DN回复DN收到新连接后，启动新的pg线程，pg线程初始化完成，处理startup package并回复（此部分出现异常），等待90秒CN等待了60秒后没有收到回复，超时吧连接关了，报错timeout expried【报错原因】1.DN极可能是在pg线程初始化阶段被vacuum full 持有系统表锁阻塞pg线程启动了；2.建连线程收到信号被杀掉了；【定位及解决方法】1.在DN日志报错附近搜索 vacuum 关键字， vacuum full会持八级锁，而建连需要pg_class的一级锁，会阻塞建连；解决：找业务空闲时间窗做vacuum full操作2.如果在报错时间段DN日志中一切正常，搜索 signo 关键字；看每次报错附近是不是都有signo关键字；如果符合，则表示建连线程收到了信号被杀掉了；规避：业务可以加重试机制来规避；

是什么催化了数据仓库的诞生？为什么说数仓与大家的生活息息相关？数仓是如何支撑人类的现代化生活？信息化的浪潮又将把数仓的发展推向何方？3月22日16:30-18:00华为云数仓首席架构师——曾凯，带您漫游数仓发展的前世、今生与未来，揭开数仓发展的神秘面纱。同时，我们准备了0.99元试用GaussDB(DWS)，帮助大家更好地了解和体验华为云数仓GaussDB(DWS)，观看直播即可参与试用。直播回顾链接：请点击一、直播看点1、数据仓库的起源和演进；2、数据仓库未来展望；3、华为云GaussDB(DWS)的发展脉络。二、参与互动，多重好礼等您拿1、0.99元试用：直播间扫码参与试用；2、报名转发有礼即日起—3.15日报名直播并转发直播海报至朋友圈，抽送华为云开发者定制飞盘。3、互动有礼官网直播间发口令“华为云 DTSE”、填写问卷抽华为云云宝公仔、华为云开发者定制双肩包等好礼。4、有奖提问直播过程中提问，评选优质问题送华为定制长袖文化衫。5、老观众专属连续报名并观看DTT直播3期以上抽送华为云开发者定制游戏机礼盒。更多福利：添加GaussDB(DWS)小助手微信（微信号：GaussDBDWS2），解锁更多隐藏福利哦~

集群启动失败报错，是什么问题

通信原理总结GaussDB通信原理总结GaussDB(DWS)通信视图监控分析网络链路排查【总结】【通信】GaussDB网络重传/丢包问题定位总结【工具】【gsar】【网络监控】gsar网络监测工具使用及含义说明通信问题定位1.日志报错资源不足Resource temporarily unavailable【报错现象】GaussDB(DWS)通信建连失败报错： ERROR: pooler: failed to create 1 connections, Error Message: remote node dn_6045_6046, detail: wait 10.16.36.158:25334:dn_6045_6046 recv timeout expired, errno: Resource temporarily unavailable​【报错原因】此类报错是对端建连的时候报超时，导致连接失败导致的【详细案例】【通信】【建连失败】errno: Resource temporarily unavailable2.客户端连接数据库、查询语句等，报错连接已满：too many clients already, active/non_active: xxxx/xxxx.【报错现象】【报错原因】max_connections 此参数决定进程内连接数上限，连接上限后报此类错误主要分为CN上连接满和DN上连接满两种【详细案例】【故障】【通信】外部连接报错：too many clients already, active/non_active: x/x连接GaussDB(DWS) 数据库时，提示客户端连接数太多3.报错terminating connection due to xxx / canceling statement due to xxx【报错现象】业务偶现报错“FATAL: terminating connection due to administrator command”或者canceling statement due to xxx【报错原因】terminating connection due to此类报错只有再收到SIGTERM信号时打印场景有以下三种：（1）集群停止shutdown（2）强制清理连接clean connection force；（3）调用终止服务线程函数pg_terminate_backend(pid)（4）session_timeout超时断开canceling statement due to一般有以下几种情况：（1）pg_cancel_backend(pid) 查杀语句（2）执行sql时直接 ctrl C 中止语句（3）statement_timeout超时查杀【详细案例】通信】【查杀报错】报错terminating connection due to xxx / canceling statement due to xxx4.客户端使用与数据库建好的连接报错An I/O error occurred while sending to the backend.【报错现象】报错后面可能跟有不同的具体原因【报错原因】此类报错主要分为两种情况：1.客户端主动断开连接2.数据库端主动断开连接【详细案例】【连接报错】An I/O error occurred while sending to the backend5.业务偶现报错ERROR: pooler: failed to create 1 connections, Error Message: remote node dn_7097_7098, detail: timeout expired, status:1, detail:none.【报错现象】业务偶尔报错timeout expired，一般情况下重试可通过【报错原因】这种报错情况，一般是cn连接dn，等待60秒，CN与DN物理连接建好后，CN发出startup package，等待DN回复，DN收到新连接后，启动新的pg线程，pg线程初始化完成，处理startup package并回复；cn在等待的60秒没有收到dn回复，报错超时；可能是dn在vacuum full持锁，建连线程收到信号被杀掉等原因；【详细案例】【通信】建连报错timeout expried后续继续补充。。。。。。。。。。。。

问题现象：serviceOM进入数据仓库服务总览页面没有数据报错internal service error排查过程：1.f12查看请求报错：400  没有treacid   2.查看dwscontroller日志未发现相关报错，请求没有走到dwscontroller3.检查serviceOM配置管理 insight.endpoint配置格式解决方法：serviceOM配置管理 insight.endpoint配置格式不正确 修改后 问题解决

HCS形态HCS形态DWS管理面版本升级路径:格式：DWS版本（配套的HCS版本）DWS 8.1.0.3(HCS 8.0.2)-->DWS 8.1.1.1(HCS 8.0.3)-->DWS 8.1.2.1(HCS 8.1.0)-->DWS 8.1.3(HCS 8.1.1)-->DWS 8.2.0.1(HCS 8.2.0)HCS形态DWS租户面集群版本升级路径:路径一：8.1.0.3-->8.1.0.101-->8.1.1.5-->8.1.1.300-->8.1.3.200-->8.1.3.310-->8.1.3.320-->8.1.3.323路径二：8.1.0.3-->8.1.0.101-->8.1.1.x-->8.1.3.x路径三：8.1.3.x-->8.1.3.x路径四：8.1.3.x-->8.2.1.x配套关系说明HCSsupport发布版本DWS管控面DWS集群8.0.28.1.0.38.1.08.1.0.38.0.38.1.1.18.1.18.1.0.1018.1.08.1.2.18.1.28.1.1.58.1.18.1.38.1.38.1.1.300，8.1.3.1108.2.08.2.0.18.2.08.1.3.2008.2.18.2.1.28.2.18.1.3.310，8.1.3.320（推荐）8.3.08.3.0.18.3.08.1.3.3238.3.18.3.1.18.3.18.1.3.3338.5.08.5.0.18.5.08.2.1.236，9.1.0.2xx          官网地址：https://support.huawei.com/enterprise/zh/cloud-computing/hcs-dws-service-pid-251527524/software线下升级路径https://bbs.huaweicloud.com/forum/thread-0223111211242792028-1-1.htmlHC/HCSO形态dws集群推荐升级版本8.1.3.323dws集群升级路径：1.7.2|8.0.x|8.1.0.x->8.1.1.x->8.1.3.323升级特性变更文档：https://support.huaweicloud.com/versioning-dws/dws_12_0005.html  

【问题现象】      登录EICommon-Region-Master-01/02/03节点查询容器状态发现异常：      容器READY是0/1，RESTARTS多次，STATUS状态为CrashLoopBackOff       查所有容器命令：kubectl get pods --all-namespaces -owide【常见版本】       所有版本适用  【定位思路】  1、进入容器(kubectl exec -it　XXX bash -n XXX)查看日志，分析具体服务报错原因 ；      也可能没有日志，一般情况下是数据库无法连接原因导致服务无法启动，检查CDK上对应服务数据库连接信息是否正确 。1.1若数据库连接信息不正确，则需要排查数据库登录账号密码 ；1.2若数据库连接信息正确，则需要登录服务对应数据库节点检查数据库状态 ；       1）切mysql用户，执行Get_db_status.py        2）主备节点中有状态offline即为异常，联系cloudb测同事排查。        3）有上下电操作的需要挂载VIP，联系cloudb测同事排查。 1.3排查数据库审计日志文件是否把磁盘打满；2、多次无法进入容器 其中有Fail信息或err信息，联系CDK测同事排查。 

【问题现象】       注册Nginx执行失败    【常见版本】       8.2.0版本   【问题分析】1、下载工步日志后，可见报错信息       User apigw has been locked.2、DMK中账户锁定，解锁即可     检查apigw / nginx 这2个用户密码【解决方法】       登DMK界面，解锁apigw / nginx 这2个用户

DWS底层存储，行存表 使用pg默认的存储引擎，还会华为自研的存储引擎？列存表用的什么存储引擎？

DWS  81.3.110  ,hcs  811 ,如何查看Data Warehouse Service 查找自定义函数使用的JAV文件的路径,

SQL语句中使用了FULL JOIN，部分语句如下： and je."城市(city)" = coalesce(kc."城市(city)", med."城市(city)", t."城市(city)", check_nomatch."城市(city)") full outer join ( select "月份(data_month)", coalesce("经销商编码(dealer_code)", '-') as "经销商编码(dealer_code)",查看查询计划走了Nested Loop Left Join+Index索引扫描，计划如下： 1 | -> Limit | 18 | | 986 | 124394168.04 2 | -> Streaming (type: GATHER) | 18 | | 986 | 124394168.04 3 | -> Limit | 18 | 1MB | 986 | 124394154.04 4 | -> HashAggregate | 18 | 16MB | 986 | 124394154.04 5 | -> Streaming(type: REDISTRIBUTE) | 19 | 2MB | 410 | 124394153.74 6 | -> Nested Loop Left Join (7, 95) | 19 | 1MB | 410 | 124394153.08 ……………………………………………………………………………………………………………………………………………………………… 90 | -> Hash | 13812 | 16MB | 295 | 249.09 91 | -> Subquery Scan on tar | 13812 | 1MB | 295 | 249.09 92 | -> HashAggregate | 13812 | 16MB | 108 | 226.07 93 | -> Streaming(type: REDISTRIBUTE) | 13812 | 2MB | 44 | 168.52 94 | -> Seq Scan on fact_dm_sales_target_jetta | 13812 | 1MB | 44 | 73.02 95 | -> Index Scan using dim_pub_erp_dealer_info_daily_pk on dim_pub_erp_dealer_info_daily | 1 | 1MB | 50 | 0.39 该语句通过full join优化重写，走了Nested Loop+Index索引扫描，执行性能可以优化。建议优化方案：全局关闭enable_index_nestloop参数，让查询计划不走Nested Loop+Index索引扫描。

GaussDB 怎么区分public下哪些是用户自己创建的函数或存储过程？

【问题现象】上传gsql客户端等工具执行失败   下载工步日志后，可见报错信息  Execute task by executor failed, error_msg: Execute task by executor failed: HCCI14001, 执行脚本异常，请联系技术支持工程师解决。【常见版本】8.2.0版本  【定位思路】ims密码为空   1、连接 pub_env库select param_key,param_value from cloud_params where param_key='ims_password';会发现有ims空密码 2、更新密码  update cloud_params set param_value='api_admin_password' where project_id='XXX' and param_key='ims_password' and component='DWS' 3、重试工步