- 业务实现之编写写入DWD层业务代码一、代码编写Flink读取Kafka topic “KAFKA-ODS-TOPIC” 数据写入Iceberg-DWD层也是复用第一个业务代码，这里只需要在代码中加入写入Iceberg-DWD层代码即可，代码如下：//插入 iceberg - dwd 层 会员浏览商品日志信息 :DWD_BROWSELOGtblEnv.executeSql( s""" ... 业务实现之编写写入DWD层业务代码一、代码编写Flink读取Kafka topic “KAFKA-ODS-TOPIC” 数据写入Iceberg-DWD层也是复用第一个业务代码，这里只需要在代码中加入写入Iceberg-DWD层代码即可，代码如下：//插入 iceberg - dwd 层 会员浏览商品日志信息 :DWD_BROWSELOGtblEnv.executeSql( s""" ...
- 可信智能计算服务TICS 配套HCS 8.2.0版本正式发布，将联合伙伴打造端到端的数据可信流通解决方案。产品功能动态联盟管理动态构建可信计算联盟，实现联盟内严格可控的数据使用和监管。邀请云租户作为数据方，动态构建可信计算联盟，实现联盟内严格可控的数据使用和监管。联盟是联邦计算的载体，合作方只有加入联盟才能参与联邦计算。安全的作业管理作业时，数据使用的过程可审计、可追溯。TICS数据集成支持... 可信智能计算服务TICS 配套HCS 8.2.0版本正式发布，将联合伙伴打造端到端的数据可信流通解决方案。产品功能动态联盟管理动态构建可信计算联盟，实现联盟内严格可控的数据使用和监管。邀请云租户作为数据方，动态构建可信计算联盟，实现联盟内严格可控的数据使用和监管。联盟是联邦计算的载体，合作方只有加入联盟才能参与联邦计算。安全的作业管理作业时，数据使用的过程可审计、可追溯。TICS数据集成支持...
- 1 原始数据实时ETL任务分析结果落地 1 Json解析hdfs数据映射hive表（建议）l 用StreamingFileSink方法将正确数据和错误数据写入到对应的HDFS目录中后，需要创建对应的hive表，并关联hdfs数据到hive表中，以实现原始数据实时ETL结果数据落地Hive需求。l 实现步骤:启动 Hive 并启动 Hive 对应的服务n hive脚本：分别创建外部分区表... 1 原始数据实时ETL任务分析结果落地 1 Json解析hdfs数据映射hive表（建议）l 用StreamingFileSink方法将正确数据和错误数据写入到对应的HDFS目录中后，需要创建对应的hive表，并关联hdfs数据到hive表中，以实现原始数据实时ETL结果数据落地Hive需求。l 实现步骤:启动 Hive 并启动 Hive 对应的服务n hive脚本：分别创建外部分区表...
- 1 实时ETL任务消费数据 1 消费数据解析逻辑创建流式环境，设置检查点、kafka分区发现、任务重启策略，数据积压根据kafka属性配置创建FlinkKafkaConsumer，消费kafka数据根据kafka数据获得DataStream，进行json解析消费数据中的数据解析逻辑:n 得到解析成功的数据，称为正确数据u 原始文本为一行可成功解析的json格式数据，且数据中存在不可或缺... 1 实时ETL任务消费数据 1 消费数据解析逻辑创建流式环境，设置检查点、kafka分区发现、任务重启策略，数据积压根据kafka属性配置创建FlinkKafkaConsumer，消费kafka数据根据kafka数据获得DataStream，进行json解析消费数据中的数据解析逻辑:n 得到解析成功的数据，称为正确数据u 原始文本为一行可成功解析的json格式数据，且数据中存在不可或缺...
- ClickHouse字典的数据源一、文件数据源ClickHouse中的字典还可以映射本地文件数据。操作如下：1、创建本地csv文件在本地创建的csv文件需要放在“/var/lib/ClickHouse/user_files”路径下，在此目录下创建organization.csv文件，写入如下内容：1,"a0001","研发部"2,"a0002","产品部"3,"a0003","数据部"4,"... ClickHouse字典的数据源一、文件数据源ClickHouse中的字典还可以映射本地文件数据。操作如下：1、创建本地csv文件在本地创建的csv文件需要放在“/var/lib/ClickHouse/user_files”路径下，在此目录下创建organization.csv文件，写入如下内容：1,"a0001","研发部"2,"a0002","产品部"3,"a0003","数据部"4,"...
- 数据字典类型在创建字典表语句中使用“layout”来指定字典的类型，目前扩展字典支持7种类型，分别为flat、hashed、range_hashed、cache、complex_key_hashed、complex_key_cache、ip_trie，不同的字典类型决定了数据在内存中以何种结构组织和存储。扩展字典根据使用时传入的条件不同，可以划分为两类：支持单个数值型条件（条件类型必须是UI... 数据字典类型在创建字典表语句中使用“layout”来指定字典的类型，目前扩展字典支持7种类型，分别为flat、hashed、range_hashed、cache、complex_key_hashed、complex_key_cache、ip_trie，不同的字典类型决定了数据在内存中以何种结构组织和存储。扩展字典根据使用时传入的条件不同，可以划分为两类：支持单个数值型条件（条件类型必须是UI...
- 数据字典查询一、元数据查询通过system.dictionaries系统表可以查询扩展字典的元数据信息。查询语句如下：select name,type,key,attribute.names,attribute.types,source from system.dictionaries;注意：以上查询字段的意义如下name:字典的名称，使用字典函数时需要通过字典名称访问数据。type:字典所... 数据字典查询一、元数据查询通过system.dictionaries系统表可以查询扩展字典的元数据信息。查询语句如下：select name,type,key,attribute.names,attribute.types,source from system.dictionaries;注意：以上查询字段的意义如下name:字典的名称，使用字典函数时需要通过字典名称访问数据。type:字典所...
- 数据字典创建一、简单介绍数据字典是ClickHouse提供一种非常简单、实用的存储媒介，他以键值和属性映射的形式定义数据。字典中的数据会主动或者被动加载到内存并支持动态更新。由于字典数据常驻内存的特性，所以非常适合保存常量或经常使用的维度表数据，以避免不必要的JOIN查询。数据字典分为内置与扩展两种形式，内置字典是ClickHouse默认自带的字典，外部字典是用户通过自定义配置实现的字典。... 数据字典创建一、简单介绍数据字典是ClickHouse提供一种非常简单、实用的存储媒介，他以键值和属性映射的形式定义数据。字典中的数据会主动或者被动加载到内存并支持动态更新。由于字典数据常驻内存的特性，所以非常适合保存常量或经常使用的维度表数据，以避免不必要的JOIN查询。数据字典分为内置与扩展两种形式，内置字典是ClickHouse默认自带的字典，外部字典是用户通过自定义配置实现的字典。...
- ClickHouse的GROUP BY子句Group By子句又称聚合查询，与MySQL或者Hive中的使用方式一样，但是需要注意一点在Select查询中如果有聚合查询，例如max,min等，与聚合查询出现的字段一定要出现在Group by中，否则语句报错。ClickHouse中的Group by 还可以配合WITH ROLLUP、WITH CUBE、WITH TOTALS三种修饰符获取额... ClickHouse的GROUP BY子句Group By子句又称聚合查询，与MySQL或者Hive中的使用方式一样，但是需要注意一点在Select查询中如果有聚合查询，例如max,min等，与聚合查询出现的字段一定要出现在Group by中，否则语句报错。ClickHouse中的Group by 还可以配合WITH ROLLUP、WITH CUBE、WITH TOTALS三种修饰符获取额...
- 灰色预测模型预测题目的套路和思路：年份序列不能通过时间序列分解SSE误差平方和：参考博客：https://www.cnblogs.com/DjangoBlog/p/9575360.html 灰色预测模型（微分方程基础上的，GM(1,1)实质就是一个指数模型）：对灰色系统的一个分析，系统也可以称为数据集，灰色的含义为系统的部分信息已知，部分信息未知。（在一定范围内变化的，与时间有关的灰色过程进... 灰色预测模型预测题目的套路和思路：年份序列不能通过时间序列分解SSE误差平方和：参考博客：https://www.cnblogs.com/DjangoBlog/p/9575360.html 灰色预测模型（微分方程基础上的，GM(1,1)实质就是一个指数模型）：对灰色系统的一个分析，系统也可以称为数据集，灰色的含义为系统的部分信息已知，部分信息未知。（在一定范围内变化的，与时间有关的灰色过程进...
- 模拟退火算法蒙特卡罗模拟算法（解决简单问题）问题如下：1.求一个给定函数的最值问题（函数在[-3,3]内的最大值）蒙特卡罗模拟算法思想：暴力搜索（随机取多个点代入试值，取最值）缺点在于时间复杂度高，时间复杂度越高，求解花费时间越长（例如30个变量）时间复杂度：简单理解就是一个算法或是一个程序在运行时，所消耗的时间（或者代码被执行的总次数）可以参考博客：https://cloud.tencen... 模拟退火算法蒙特卡罗模拟算法（解决简单问题）问题如下：1.求一个给定函数的最值问题（函数在[-3,3]内的最大值）蒙特卡罗模拟算法思想：暴力搜索（随机取多个点代入试值，取最值）缺点在于时间复杂度高，时间复杂度越高，求解花费时间越长（例如30个变量）时间复杂度：简单理解就是一个算法或是一个程序在运行时，所消耗的时间（或者代码被执行的总次数）可以参考博客：https://cloud.tencen...
- 多重共线性1.什么是多重共线性在进行线性回归分析时，容易出现自变量（解释变量）之间彼此相关的现象，我们称这种现象为多重共线性。（适度的多重共线性不成问题，但当出现严重共线性问题时，会导致分析结果不稳定，出现回归系数的符号与实际情况完全相反的情况。本应该显著的自变量不显著，本不显著的自变量却呈现出显著性，这种情况下就需要消除多重共线性的影响。）2.多重共线性出现的原因前提话：多重共线性问题就是... 多重共线性1.什么是多重共线性在进行线性回归分析时，容易出现自变量（解释变量）之间彼此相关的现象，我们称这种现象为多重共线性。（适度的多重共线性不成问题，但当出现严重共线性问题时，会导致分析结果不稳定，出现回归系数的符号与实际情况完全相反的情况。本应该显著的自变量不显著，本不显著的自变量却呈现出显著性，这种情况下就需要消除多重共线性的影响。）2.多重共线性出现的原因前提话：多重共线性问题就是...
- 标准化（去除量纲影响）第一种：Z-Score标准化（用在了主成分分析算法中）简介：Z-Score通过（x-μ）/σ将两组或多组数据转化为无单位的Z-Score分值，使得数据标准统一化，提高了数据可比性，削弱了数据解释性。总结：Z-Score的主要目的就是将不同量级的数据统一转化为同一个量级，统一用计算出的Z-Score值衡量，以保证数据之间的可比性自我理解：Z-Score标准化实际上就是概率... 标准化（去除量纲影响）第一种：Z-Score标准化（用在了主成分分析算法中）简介：Z-Score通过（x-μ）/σ将两组或多组数据转化为无单位的Z-Score分值，使得数据标准统一化，提高了数据可比性，削弱了数据解释性。总结：Z-Score的主要目的就是将不同量级的数据统一转化为同一个量级，统一用计算出的Z-Score值衡量，以保证数据之间的可比性自我理解：Z-Score标准化实际上就是概率...
- 对象流ObjectInputStream和ObjectOutputStream介绍一、对象流用于存储和读取基本数据类型数据或对象的处理流。它的强大之处就是可以把Java中的对象写入到数据源中，也能把对象从数据源中还原回来。二、序列化和反序列化ObjectOutputStream 类 ： 把内存中的Java对象转换成平台无关的二进制数据，从而允许把这种二进制数据持久地保存在磁盘上，或通过网络将... 对象流ObjectInputStream和ObjectOutputStream介绍一、对象流用于存储和读取基本数据类型数据或对象的处理流。它的强大之处就是可以把Java中的对象写入到数据源中，也能把对象从数据源中还原回来。二、序列化和反序列化ObjectOutputStream 类 ： 把内存中的Java对象转换成平台无关的二进制数据，从而允许把这种二进制数据持久地保存在磁盘上，或通过网络将...
- 数据流DataInputStream和DataOutputStream介绍数据流：用来操作基本数据类型和字符串的DataInputStream：将文件中存储的基本数据类型和字符串写入内存的变量中DataOutputStream：将内存中的基本数据类型和字符串的变量写出文件中利用DataOutputStream向外写出变量：public class Test01 { //这是一个mai... 数据流DataInputStream和DataOutputStream介绍数据流：用来操作基本数据类型和字符串的DataInputStream：将文件中存储的基本数据类型和字符串写入内存的变量中DataOutputStream：将内存中的基本数据类型和字符串的变量写出文件中利用DataOutputStream向外写出变量：public class Test01 { //这是一个mai...
上滑加载中
推荐直播
-
华为云码道-玩转OpenClaw，在线养虾2026/03/11 周三 19:00-21:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中
热门标签