- 以一条SQL语句为例，探寻SparkSQL中的代码调用 以一条SQL语句为例，探寻SparkSQL中的代码调用
- 介绍一种数字加密及签名算法-RSA的数学原理及推导，简易实现及jdk实现 介绍一种数字加密及签名算法-RSA的数学原理及推导，简易实现及jdk实现
- DAYU提供规范设计，助力设计和落地不同行业企业的信息架构 DAYU提供规范设计，助力设计和落地不同行业企业的信息架构
- Ranger的几个特性• 基于策略(Policy-based)的访问权限模型• 通用的策略同步与决策逻辑，方便控制插件的扩展接入• 内置常见系统(如HDFS、YARN、HBase等12个)的控制插件，且可扩展• 内置基于LDAP、File、Unix的用户同步机制，且可扩展§ 权限模型权限模型访问权限定义了”用户-资源-权限“这三者间的关系，Ranger基于策略来抽象这种关系，进而延伸出自己的... Ranger的几个特性• 基于策略(Policy-based)的访问权限模型• 通用的策略同步与决策逻辑，方便控制插件的扩展接入• 内置常见系统(如HDFS、YARN、HBase等12个)的控制插件，且可扩展• 内置基于LDAP、File、Unix的用户同步机制，且可扩展§ 权限模型权限模型访问权限定义了”用户-资源-权限“这三者间的关系，Ranger基于策略来抽象这种关系，进而延伸出自己的...
- 在上期博客中，介绍了数据服务的基本组成与概念。本期博客将对数据服务API创建中所涉及的基础属性进行说明。 API基本配置l 请求path： 请求路径，即一个完整的url中，域名之后，查询参数之前的部分。例如图1-1中所展示的/blogs/188138图1-1 统一资源定位符url说明 在请求路径中，可以使用大括号{}标识路径中的参数，作为通配符，由请求时动态匹配。如上述请求路径... 在上期博客中，介绍了数据服务的基本组成与概念。本期博客将对数据服务API创建中所涉及的基础属性进行说明。 API基本配置l 请求path： 请求路径，即一个完整的url中，域名之后，查询参数之前的部分。例如图1-1中所展示的/blogs/188138图1-1 统一资源定位符url说明 在请求路径中，可以使用大括号{}标识路径中的参数，作为通配符，由请求时动态匹配。如上述请求路径...
- 本文简单介绍了如何使用DAYU规范设计，完成基于关系建模的数据资产管理 本文简单介绍了如何使用DAYU规范设计，完成基于关系建模的数据资产管理
- 1、 默认分页（1） 创建API时，取数方式为配置方式对于配置方式取数的API来说，当用户配置了API之后，DLM服务会在用户调试/调用的时候生成相应的SQL进行取数，其分页方式为默认分页。例如，如果将API的请求参数、返回参数、排序参数按照以下配置的话：DLM服务生成的SQL为: SELECT c,x FROM tableName Where c = {p} AND x = {h} ... 1、 默认分页（1） 创建API时，取数方式为配置方式对于配置方式取数的API来说，当用户配置了API之后，DLM服务会在用户调试/调用的时候生成相应的SQL进行取数，其分页方式为默认分页。例如，如果将API的请求参数、返回参数、排序参数按照以下配置的话：DLM服务生成的SQL为: SELECT c,x FROM tableName Where c = {p} AND x = {h} ...
- debug原理和调试技巧 debug原理和调试技巧
- Spark推出Tungsten计划用于提升Spark的性能与资源使用，其中为了消除JVM对象模型和GC代价，提供了UnsafeRow对象类型。它由jvm提供的sun.misc.Unsafe实现，内部存储的是二进制，继承自InternalRow，是SparkSQL中的中间算子的处理和输出数据类型。正是由于UnsafeRow的特殊性，我们发现在某些情况下可能会无法正确序列/持久化该类型，产生数据... Spark推出Tungsten计划用于提升Spark的性能与资源使用，其中为了消除JVM对象模型和GC代价，提供了UnsafeRow对象类型。它由jvm提供的sun.misc.Unsafe实现，内部存储的是二进制，继承自InternalRow，是SparkSQL中的中间算子的处理和输出数据类型。正是由于UnsafeRow的特殊性，我们发现在某些情况下可能会无法正确序列/持久化该类型，产生数据...
- 相信很多研究大数据的都会接触到“数据倾斜”这个令人头疼的问题。那么数据倾斜到底是什么，redis如何避免这类问题，我们一起来揭开它的神秘面纱。 简单的讲，数据倾斜就是我们在计算数据的时候，数据不够分散，大量的数据集中到了一台或者几台机器节点上计算，从而导致这些节点负载多大，而其他节点处于空闲等待中，导致最终整体效率低下。 相信很多研究大数据的都会接触到“数据倾斜”这个令人头疼的问题。那么数据倾斜到底是什么，redis如何避免这类问题，我们一起来揭开它的神秘面纱。 简单的讲，数据倾斜就是我们在计算数据的时候，数据不够分散，大量的数据集中到了一台或者几台机器节点上计算，从而导致这些节点负载多大，而其他节点处于空闲等待中，导致最终整体效率低下。
- 在大数据时代，数据已经被公认为一项重要的资产，对于拥有大量数据的企业而言，如何整合数据，用好数据，让数据本身为我们产生更大的价值，形成数据资产，将是我们不得不面临的一个课题。而这些数据想要“变现”，就要快速的从数据中获取价值，在数据新时代中，在大量晦涩数据中查找数据所花费的时间多于分析数据的时间，为了使发现数据资产变的更加简单，就需要通过数据目录让各个组织内的晦涩数据变的更加明晰，随着企业体... 在大数据时代，数据已经被公认为一项重要的资产，对于拥有大量数据的企业而言，如何整合数据，用好数据，让数据本身为我们产生更大的价值，形成数据资产，将是我们不得不面临的一个课题。而这些数据想要“变现”，就要快速的从数据中获取价值，在数据新时代中，在大量晦涩数据中查找数据所花费的时间多于分析数据的时间，为了使发现数据资产变的更加简单，就需要通过数据目录让各个组织内的晦涩数据变的更加明晰，随着企业体...
- 单机版hive的运行原理：LocalFileSystem+LocalMR+derby db + embemed MetaStore依赖的这些模块，都可以替换成相应的集群版。根据自己的实际情况配置。前提：已经安装配置JAVA_HOME软件下载：Hadoop 2.8.5下载：https://mirror.bit.edu.cn/apache/hadoop/core/hadoop-2.8.5/had... 单机版hive的运行原理：LocalFileSystem+LocalMR+derby db + embemed MetaStore依赖的这些模块，都可以替换成相应的集群版。根据自己的实际情况配置。前提：已经安装配置JAVA_HOME软件下载：Hadoop 2.8.5下载：https://mirror.bit.edu.cn/apache/hadoop/core/hadoop-2.8.5/had...
- 1. 测试使用各软件版本说明1） MRS 2.1.0 安全集群(开启kerberos)2） ECS (Windows Server 2016标准版 64位) ，需和MRS集群网络互通3） DBeaver版本7.1.4 64bit下载地址：https://dbeaver.io/download/4） MIT版本4.1 64bit下载地址：https://web.mit.ed... 1. 测试使用各软件版本说明1） MRS 2.1.0 安全集群(开启kerberos)2） ECS (Windows Server 2016标准版 64位) ，需和MRS集群网络互通3） DBeaver版本7.1.4 64bit下载地址：https://dbeaver.io/download/4） MIT版本4.1 64bit下载地址：https://web.mit.ed...
- 本文主要介绍的这个组件是actuator。actuator主要是对springboot应用程序进行监控和管理，简单的说就是通过restful api接口请求来进行监管、审计、健康和数据采集你的应用程序运行的情况1. 开启Actuatorspring-boot-actuator模块提供Spring Boot所有的production-ready特性，启用该特性的最简单方式是添加spring-b... 本文主要介绍的这个组件是actuator。actuator主要是对springboot应用程序进行监控和管理，简单的说就是通过restful api接口请求来进行监管、审计、健康和数据采集你的应用程序运行的情况1. 开启Actuatorspring-boot-actuator模块提供Spring Boot所有的production-ready特性，启用该特性的最简单方式是添加spring-b...
- Flink入门学习笔记 Flink入门学习笔记
上滑加载中
推荐直播
-
OpenHarmony应用开发之网络数据请求与数据解析2025/01/16 周四 19:00-20:30
华为开发者布道师、南京师范大学泰州学院副教授，硕士研究生导师，开放原子教育银牌认证讲师
科技浪潮中，鸿蒙生态强势崛起，OpenHarmony开启智能终端无限可能。当下，其原生应用开发适配潜力巨大，终端设备已广泛融入生活各场景，从家居到办公、穿戴至车载。 现在，机会敲门！我们的直播聚焦OpenHarmony关键的网络数据请求与解析，抛开晦涩理论，用真实案例带你掌握数据访问接口，轻松应对复杂网络请求、精准解析Json与Xml数据。参与直播，为开发鸿蒙App夯实基础，抢占科技新高地，别错过！
回顾中 -
Ascend C高层API设计原理与实现系列2025/01/17 周五 15:30-17:00
Ascend C 技术专家
以LayerNorm算子开发为例，讲解开箱即用的Ascend C高层API
回顾中
热门标签