随着5G、互联网、人工智能等技术加速应用，目前数据量年均增速已经超过50%，社会正在全速进入数字经济时代。过去数据仅仅作为一种资产，而今，数据将成为继土地、资本、技术之后最强有力的生产要素。如何激发数据这一生产要素的价值，加快推进大数据技术与千行百业应用的深度融合，助力企业数字化转型和数字产业发展？        8月31日，华为云TechWave大数据专题日与您相邀线上。届时，华为云大数据将与工商银行、广东移动、清华大学及华为云大数据“博士天团”，围绕大数据产学研深度融合，结合华为云FusionInsight智能数据湖技术创新实践，解读大数据领先技术，对大数据产业、人才、技术的现状与趋势进行交流探讨，并重磅发布华为云大数据新品。干货满满，让我们一起先睹为快！ 亮点一：数据之道        华为云大数据技术普惠创新        华为云TechWave大数据专题日，由华为云人工智能领域总裁贾永利围绕“大数据技术普惠创新，释放千行百业数据价值”主题做开场演讲，并发布华为云DWS实时数仓新品。        近年来，无论是TO B领域，还是TO C领域，随着技术的发展和需求的增长，企业、个人及设备都在无时无刻产生数据，数据的体积越来越大。随着数据规模的与日俱增，数据的种类也日渐增多，数据逐步走向多样性。除了熟悉的结构化数据，更多的非结构化数据已然出现，需要多样性的算力去处理，这无疑带来了更加复杂的挑战。与此同时，数据处理的时效性与融合分析要求也越来越高。面对海量数据的挑战，华为云大数据的解决之道是什么？即将重磅发布的新品有何独到之处？如何发掘数据价值，加速政企数字化转型？从贾永利的演讲中，也许可以找到答案。亮点二：行业领军人物与顶级高校        “华山论数”        本次专题日活动，工商银行软件开发中心总经理助理刘承岩、中国移动通信集团广东有限公司信息系统总经理谭丽丽，将分享基于华为云FusionInsight在大数据领域的创新实践。清华大学软件学院院长、信息学院副院长、大数据研发中心执行主任王建民，将基于多年与华为云大数据的合作，分享大数据领军人才的培养之道。1、工商银行“数字工行”        随着金融业数字化进程，数据要素资产越来越丰富，数据要素应用创新越来越简单高效，催生了大量金融服务新模式，经营决策正由以人主导的数据辅助经营决策阶段，结合大数据、AI、云计算、区块链、IoT等技术向数据驱动决策的数字金融演进。         工商银行作为国有四大银行之一，在大数据应用创新上一直不断引领行业发展。早期从Oracle、SAS等分析软件，Teradata、Exadata分布式数据仓库技术，到华为云FusionInsight智能数据湖助力工行实现了从自动化到生态化的演进。那么华为云大数据将如何助力工商银行打造服务经济高质量发展的“数字工行”？2、广东移动智慧大数据平台        据预测，随着5G的大量应用，数据量会增涨8倍。为更好释放运营商大数据的强大生产力，提高广东移动大数据平台的能力，广东移动基于华为云大数据平台构建智慧大数据平台，全面支撑政务、民生、扶贫、大旅游、疫情防控的场景应用。那么5G来了，通过与华为云FusionInsight持续合作，如何用大数据技术轻松应对数据浪涌？3、清华大学顶尖大数据人才培养        信息技术与经济社会的交汇融合引发了数据迅猛增长，催生各种大数据应用，大数据正在不知不觉中改变着人们的生活和思维方式。大数据越来越重要，而大数据的领军人才在业界仍处于紧缺状态。为培养大数据关键领域的领军人才，清华大学软件学院院长、信息学院副院长、大数据研究中心执行主任王建民将分享围绕大数据系统软件国家工程实验室与华为在科研、人才等方面的合作。不妨关注大数据专题日，了解更多有关清华大学如何为打造大数据技术人才高地攻坚克难？亮点三：“博士天团”解密一个方案        三大“数据秘籍”        随着海量数据指数级增长，预计到2025年全球数据量将达180ZB，数据已是重要的生产要素，驱动企业业务创新增长。为响应政企客户迫切多样化的需求，华为云如何通过大集群、湖仓一体、实时数据湖等关键技术实现一企一湖？如何秒级用数，T+0实时入湖，实现一份数据到处使用的智能数据湖？如何驾驭海量数据，打造企业数仓新标杆？如何打造端到端智能数据运营，实现高效用数，使能”从比特到信息“的数据价值发现？        在专题日，将由华为云大数据资深架构师，分享华为云FusionInsight智能数据湖 “一湖一仓”解决方案，“博士天团”还将带来三大“数据秘籍”——CarbonData、DWS、DAYU，让企业轻松应对数据浪涌，助力政企客户释放数据价值，加速企业数字化转型。让你分分钟就能获悉有关华为大数据的独家“秘籍”，了解大数据前沿技术，精彩不容错过，敬请关注。         8月31日，看金融、运营商等行业趋势，听顶级高校人才培养之道，学博士天团解读华为大数据“秘籍”，各路领军人物“华山论数”，尽在华为云TechWave大数据专题日。

本文主要给大家介绍隐藏在华为云数据湖探索服务（后文简称DLI）背后的核心计算引擎——Spark。DLI团队在Spark之上做了大量的性能优化与服务化改造，但其本质还是脱离不了Spark的核心概念与思想，因此笔者从以下几点阐述，让读者快速对Spark有一个直观的认识，玩转DLI。Spark的诞生及优势     2009年，Spark诞生于伯克利大学AMPLab，诞生之初是属于伯克利大学的研究性项目。于2010年开源，2013年成为Apache开源项目，经过几年的发展逐渐取代了Hadoop，成为了开源社区炙手可热的大数据处理平台。Spark官方的解释：“Spark是用于大规模数据处理的统一分析引擎”，把关键词拆开来看，“大规模数据”指的是Spark的使用场景是大数据场景；“统一”主要体现在将大数据的编程模型进行了归一化，同时满足多种类型的大数据处理场景（批处理、流处理、机器学习等），降低学习和维护不同大数据引擎的成本；“分析引擎”表明Spark聚焦在计算分析，对标的是Hadoop中的MapReduce，对其模型进行优化与扩展。Spark为了解决MapReduce模型的优化和扩展，那么我们先探讨一下MapReduce存在的问题，然后分析Spark在MapReduce之上的改进。（1）MapReduce中间结果落盘，计算效率低下随着业务数据不断增多，业务逻辑不断多样化，很多ETL和数据预处理的工作需要多个MapReduce作业才能完成，但是MapReduce作业之间的数据交换需要通过写入外部存储才能完成，这样会导致频繁地磁盘读写，降低作业执行效率。Spark设计之初，就想要解决频繁落盘问题。Spark只在需要交换数据的Shuffle阶段（Shuffle中文翻译为“洗牌”，需要Shuffle的关键性原因是某种具有共同特征的数据需要最终汇聚到一个计算节点上进行计算）才会写磁盘，其它阶段，数据都是按流式的方式进行并行处理。（2）编程模型单一，场景表达能力有限MapReduce模型只有Map和Reduce两个算子，计算场景的表达能力有限，这会导致用户在编写复杂的逻辑（例如join）时，需要自己写关联的逻辑，如果逻辑写得不够高效，还会影响性能。与MapReduce不同，Spark将所有的逻辑业务流程都抽象成是对数据集合的操作，并提供了丰富的操作算子，如：join、sortBy、groupByKey等，用户只需要像编写单机程序一样去编写分布式程序，而不用关心底层Spark是如何将对数据集合的操作转换成分布式并行计算任务，极大的简化了编程模型Spark的核心概念：RDD     Spark中最核心的概念是RDD（Resilient Distributed Dataset）——弹性分布式数据集，顾名思义，它是一个逻辑上统一、物理上分布的数据集合，Spark通过对RDD的一系列转换操作来表达业务逻辑流程，就像数学中对一个向量的一系列函数转换。Spark通过RDD的转换依赖关系生成对任务的调度执行的有向无环图，并通过任务调度器将任务提交到计算节点上执行，任务的划分与调度是对业务逻辑透明的，极大的简化了分布式编程模型，RDD也丰富了分布式并行计算的表达能力。RDD上的操作分为Transformation算子和Action算子。Transformation算子用于编写数据的变换过程，是指逻辑上组成变换过程。Action算子放在程序的最后一步，用于对结果进行操作，例如：将结果汇总到Driver端（collect）、将结果输出到HDFS（saveAsTextFile）等，这一步会真正地触发执行。常见的Transformation算子包括：map、filter、groupByKey、join等，这里面又可以分为Shuffle算子和非Shuffle算子，Shuffle算子是指处理过程需要对数据进行重新分布的算子，如：groupByKey、join、sortBy等。常见的Action算子如：count、collect、saveAsTextFile等如下是使用Spark编程模型编写经典的WordCount程序：该程序通过RDD的算子对文本进行拆分、统计、汇总与输出。Spark程序中涉及到几个概念，Application、Job、Stage、Task。每一个用户写的程序对应于一个Application，每一个Action生成一个Job（默认包含一个Stage），每一个Shuffle算子生成一个新的Stage，每一个Stage中会有N个Task（N取决于数据量或用户指定值）。Spark的架构设计    前面讲述了Spark 核心逻辑概念，那么Spark的任务是如何运行在分布式计算环境的呢？接下来我们来看看开源框架Spark的架构设计。（注：涂色表示进程）Spark是典型的主从（Master- Worker）架构，Master 节点上常驻 Master守护进程，负责管理全部的 Worker 节点。Worker 节点上常驻 Worker 守护进程，负责与 Master 节点通信并管理 Executor。（注：橙色和绿色表示进程）Spark程序在客户端提交时，会在Application的进程中启动一个Driver。看一下官方对Driver的解释“The process running the main() function of the application and creating the SparkContext”。我们可以把Master和Worker看成是生产部总部老大（负责全局统一调度资源、协调生产任务）和生产部分部部长（负责分配、上报分部的资源，接收总部的命令，协调员工执行任务），把Driver和Executor看成是项目经理（负责分配任务和管理任务进度）和普通员工（负责执行任务、向项目经理汇报任务执行进度）。项目经理D to 总部老大M：Hi，老大，我刚接了一个大项目，需要你通知下面的分部部长W安排一些员工组成联合工作小组。总部老大M to 分部部长W：最近项目经理D接了一个大项目，你们几个部长都安排几个员工，跟项目经理D一起组成一个联合工作小组。分部部长W to 员工E：今天把大家叫到一起，是有个大项目需要各位配合项目经理D去一起完成，稍后会成立联合工作小组，任务的分配和进度都直接汇报给项目经理D。项目经理D to 员工E：从今天开始，我们会一起在这个联合工作小组工作一段时间，希望我们好好配合，把项目做好。好，现在开始分配任务…员工E to 项目经理D：你分配的xxx任务已完成，请分配其它任务。项目所有任务都完成后，项目经理D to 总部老大M：Hi，老大，项目所有的任务都已经完成了，联合工作小组可以解散了，感谢老大的支持。以上就是Spark的基本框架，基于Apache Spark/Flink生态，DLI提供了完全托管的大数据处理分析服务。借助DLI服务，你只需要关注应用的处理逻辑，提供构建好的应用程序包，就可以轻松完成你的大规模数据处理分析任务，即开即用，按需计费。华为云828企业上云节期间，购买数据湖探索DLI优惠更多。点击这里→了解更多精彩内容

如今，企业大数据资产在企业辅助决策、用户画像、推荐系统等诸多业务流程中扮演着越来越重要的作用，如何保证企业大数据在满足各业务部门数据访问需求的同时又能精细化保障数据访问安全、避免数据泄露是每个企业大数据资产管理者必须关注的话题。笔者结合在华为云数据湖探索服务中的技术沉淀与丰富的企业数据安全管理经验，从以下几点来探讨如何精细化保障企业大数据安全。1、企业大数据的安全挑战2、数据资产权限管理的通用做法3、以华为云DLI为例，对数据资产管理的实践&案例分析4、未来展望数据隔离、分层访问、授权，难题多多企业大数据的日积月累，自然面临着大数据安全的挑战：数据来源广泛，来源于不同的业务单元，又要服务于各种业务单元，还需要对不同层级的员工设置不一样的权限。如何防范企业数据不被未经授权的用户访问，管理数据在不同业务单元的共享，隔离企业敏感数据……企业可能面临着以下的挑战：1.1 数据隔离不同的项目业务数据需要隔离，如游戏运营数据，企业在设计大数据分析平台时可能期望A游戏产生的业务数据用来支撑A游戏运营分析，B游戏产生的业务数据是支撑B游戏运营分析，那么需要对业务数据按项目进行隔离，A游戏运营部门员工只可访问A游戏运营数据，B游戏运营部门员工只可访问B游戏运营数据1.2 数据分层访问不同层级业务部门对数据具备不同的访问权限，高层级部门可以访问底层级部门的数据，而低层级部门不可访问高层级部门的数据。如省级部门可以访问地市级数据，而地市级部门只可访问本地市数据，不可访问跨区数据，也不可访问省级部门数据。这就要求对数据的权限管理需要具备分层管理能力，能够分层级授予不同的权限。1.3 列级数据授权不同业务部门对同一份数据的访问权限要求不同，所以要求能够对数据进行精细化授权。如银行系统中，用户表中的身份证号信息是敏感信息，柜台系统可以查询用户的身份证号，但推荐系统就不需要身份证信息，只需要用户ID就可以了。这种场景下需要对用户表能够分列授权，对不同的业务单元不同的权限。1.4 批量授权随着企业规模的增大，企业员工可能非常庞大，分部门授权，批量授权也是很常见的业务场景。例如销售部门下面员工很多，如果单个单个的给销售人员授权，会非常麻烦，人员流动时取消授权也很复杂，这时就需要能够批量授权或者基本角色的授权模型，来实现一次授权，部门内员工均可使用的目的。四种权限模型，孰优孰劣？目前比较流行的大数据分析平台的有Hadoop，Hive，Spark等，它们使用的权限模型有POSIX模型、ACL模型、SQL Standard模型和RBAC模型。其中Hadoop大数据平台使用了POSIX和ACL权限模型来管理数据，HIVE和Spark使用了ACL和RBAC权限模型来管理数据。POSIX权限模型是基于文件的权限模型，与Linux系统的文件系统权限类似。即一个文件有相应的OWNER和GROUP，只能支持设置OWNER,、GROUP和其他用户的权限，可授权限也只有读写执行权限。这种模型不适用于企业用户，有一个明显的缺点就是它只有一个GROUP，不能实现不同的GROUP有不同的权限，也无法实现精细化的权限管理，只能在文件级授权，所授权限也只有读写与执行权限。ACL即Access Control List，ACL权限模型可以弥补POSIX权限模型的不足，可以实现比较精细化的权限管理。通过设置访问控制列表，我们可以授予某一个用户多个权限，也可以授予不同用户不同的权限。但ACL也有明显的缺点，当用户数较大时，ACL列表会变得庞大而难以维护，这在大企业中问题尤其明显。RBAC（Role-Based Access Control）模型也是业界常用的一种权限模型。是基于用户角色的权限管理模型，其首先将一个或多个权限授权某一个角色，再把角色与用户绑定，也实现了对用户的授权。一个用户可以绑定一个或多个角色，用户具备的权限为所绑定角色权限的并集。RBAC可以实现批量授权，可以灵活维护用户的权限，是当前比较流行的权限管理模型。SQL Standard模型是Hive/Spark使用权限模型之一，本质是使用SQL方式的授权语法来管理权限。Hive中的权限模型也是基于ACL和RBAC模型，即可以给单独的用户直接授权，也可能通过角色进行授权。数据湖探索怎么做数据资产管理？华为云DLI结合了ACL和RBAC两种权限模型来管理用户权限。DLI中涉及到的概念有：DLI用户：DLI用户为IAM账号及其下的子用户，下面访问权限说明的用户均指IAM账号及其下的子用户。DLI资源：DLI的资源分为数据库(Database)、表（table）、视图（View）、作业（Job）和队列(Queue)。资源是按项目隔离的，不同项目的资源不可互相访问。表和视图是数据库(Database)下的子资源。DLI权限：DLI权限为执行DLI相关操作所需要的权限。DLI中的权限比较细，每项操作对应的权限都不一样，如创建表对应CREATE_TABLE权限，删除表对应DROP_TABLE权限, 查询对应SELECT权限等等。DLI使用统一身份认证（IAM）的策略和DLI的访问控制列表（ACL）来管理资源的访问权限。其中统一身份认证（IAM）的策略控制项目级资源的隔离，和定义用户为项目的管理员还是普通用户。访问控制列表（ACL）控制队列，数据库，表，视图，列的访问权限和授权管理。DLI使用统一身份认证来完成用户认证和用户角色管理。DLI在IAM中预定义了几个角色：Tenant Administrator（租户管理员），DLI Service Admin（DLI管理员），DLI Service User（DLI普通用户）。其中具备租户管理员或DLI管理员角色的用户在DLI内是管理员，可以操作该项目的所有资源，包括创建数据库，创建队列，操作项目下的数据库，表，视图，队列，作业。普通用户不可创建数据库，不可创建队列，依赖管理员的授权，可以执行创建表，查询表等操作。DLI使用ACL和RBAC两种模型来管理用户权限。管理员或资源的所有者可以授予另外一个用户单个或多个权限，也可能创建角色，授予权限给创建好的角色，然后绑定角色和用户。DLI提供了API和SQL语句两种方式来实现以上权限管理，方便用户灵活授权。具体使用方式可以参考DLI的权限管理。案例分析拿银行的大数据实践来分析下如何利用DLI来管理数据的权限。众所周知，银行积累了大量的用户数据，包括用户信息，交易信息，账户信息等等数以亿计的数据。而银行业务也是非常的复杂，涉及到柜员系统，监管部门，运营部门，营销部门等等各个业务线，各业务线对数据的要求不同，访问的权限不同。我们拿反洗钱业务与画像业务来简单介绍下如何利用DLI平台实现大数分析和数据资产权限管理。典型的反洗钱业务一般是大额预警和黑名单机制，需要从海量的交易数据中筛选出大额交易或者是黑名单人员交易数据，将这些数据反馈给监管人员进行进一步分析，涉及到的数据是交易数据，账户信息和黑名单信息。画像一般会分析用户的交易类型与交易数据，推断出用户的兴趣爱好，给用户画像，标记用户的兴趣点在哪些地方。涉及交易信息中的交易类型和账号信息。这两项业务中在DLI中，由数据管理员生成生成用户信息表，交易数据表，账户信息表，黑名单信息表，并导入相应的数据。在反省钱业务，授予反洗钱业务部门或人员账户信息表的查询权限，交易数据表的查询权限，黑名单信息的查询权限，通过对账户信息表和交易数据表和黑名单表的联合查询，可以查找出异常交易信息及相关交易人员，反馈给反洗钱监管人员。在画像业务中，由数据管理员授予画像业务部门或人员用户信息表的查询权限，交易数据表中交易金额和交易类型，交易商户等列的查询权限，账户信息表中的账户ID和用户ID列的查询权限，经过这几张表的联合与聚合查询，找出用户常用交易信息，包含交易类型，金额，及相关地点等信息，描绘出用户画像信息。未来展望传统企业数据资产面临着几个难题。各业务部门均会产生数据，数据标准不一致，维护复杂。各业务部门数据存在在不同的系统中，数据容易形成孤岛，无法有效挖掘利用。部门间数据共享复杂，容易形成网状授权网络，维护成本巨大。数据湖DLI方案可以解决这样的难题，使用统一的数据管理平台、数据存储、数据标准，进行统一的数据资产管理、授权管理。华为云828企业上云节期间，数据湖探索DLI也在活动产品之列，有数据分析需求的企业赶紧趁着促销入手试试。转自：https://blog.csdn.net/devcloud/article/details/108256178

转眼暑假已经结束结束了西瓜空调刷剧的颓（xing）废（fu）生活打起精神迎接新学期一个新学期flag是必不可少秀出你的flag活动时间：20200909-20201010活动参与方式： 在本帖回复你的新学期flag，参与幸运抽奖活动。回帖要求：以#新学期flag#开头立下新学期的flag，例如“#新学期flag#考取华为微认证”。抽奖规则：1、每个工作日从所有flag楼层中随机抽取2个楼层，对应的同学随机获得华为云水杯一个或华为云三合一数据线一条。每个华为云ID只能中奖一次哦。2、 先打卡flag的获奖几率更高，每一个华为云ID每天只能刷一次，不能连续刷楼，否则取消抽奖资格。3、如果当天参与抽奖的楼层不足2层，则奖品累加到第二天进行抽取。4、回帖必须有意义，不能是毫无意义的发言。5、所有奖品活动结束后统一发出。6、获奖名单每个工作日10点将在本帖、QQ群、微信群里同步发放，请关注哦。QQ群（1106597822）微信：扫码发送“开学季”添加小助手微信（HorizonDPService）温馨提示：关注DevCloud社区，年底活动中打卡贴出自己的完成情况，还有机会再次获取更大的奖励哦。所有奖品会在活动结束获奖名单公布后15天内发出，如因商城缺货或其他不可抗力导致的延迟，会提前和获奖用户沟通。                                                                                             报名参加码上开学，云帆起航，有机会获得P40 5G手机哦>>>抽奖日期抽奖结果（论坛昵称）奖品9月10日lyz0699citrus_pluslyz0699-华为云水杯一个citrus_plus-华为云三合一数据线一条9月11日hw46018172弈hw46018172-华为云水杯一个弈-华为云三合一数据线一条9月14日__y__蜡笔不辣__y__-华为云水杯一个蜡笔不辣-华为云三合一数据线一条9月15日JazzupVizarKingstonJazzup-华为云水杯一个VizarKingston-华为云三合一数据线一条9月16日DUT_ws开心上学了DUT_ws-华为云水杯一个开心上学了-华为云三合一数据线一条9月17日学学学习Pineapple99学学学习-华为云水杯一个Pineapple99-华为云三合一数据线一条9月18日不吃喜羊羊说是不吃喜羊羊-华为云水杯一个说是-华为云三合一数据线一条9月21日实柏AIphone实柏-华为云水杯一个AIphone-华为云三合一数据线一条9月22日ad123445另类请路过ad123445-华为云水杯一个另类请路过-华为云三合一数据线一条9月23日王亦臻队长别开枪王亦臻-华为云水杯一个队长别开枪-华为云三合一数据线一条9月24日Mr.Leo啊酒哥哥Mr.Leo-华为云水杯一个啊酒哥哥-华为云三合一数据线一条9月25日小民同学谭涟漪小民同学-华为云水杯一个谭涟漪-华为云三合一数据线一条9月27日孙小北大师哥孙小北-华为云水杯一个大师哥-华为云三合一数据线一条9月28日khg305387543海棠木khg305387543-华为云水杯一个海棠木-华为云三合一数据线一条9月29日A1ice_Coo虚荣VaingloryA1ice_Coo-华为云水杯一个虚荣Vainglory-华为云三合一数据线一条9月30日喇叭斯基扶摇直上喇叭斯基-华为云水杯一个扶摇直上-华为云三合一数据线一条10月9日dongdong123建木dongdong123-华为云水杯一个建木-华为云三合一数据线一条获奖地址请反馈在 获奖地址收集贴>>>，活动结束后我们统一发出礼品哦。

3.7亿条保单数据怎么分析？这个大数据平台有绝招受到新冠疫情影响，全球经济面临冲击，国内经济已进入复工复产有序发展的新常态阶段，企业想要实现持续增长需另寻突破点，越来越多的企业把视线转向了企业内部，希望通过推进精细化管理来实现降本增效。在企业精细化管理过程中，财务管理作为核心组成部分，是企业实现全面价值管理和风险管理的重要前提。因此，越来越多的企业开始引入新的管理形式和数字化系统，通过搭建业财一体化平台，将集团总部、各事业部、各业务条线的业务和财务数据进行统一的处理和加工，形成集团级数据资产，深化数据服务能力，推进集团数字化转型。大型集团的业财一体化大数据平台，对平台的性能、扩展性要求高，还要考虑到技术的快速迭代和数据量的指数级增长。华为云EI 智能数据湖FusionInsight为企业提供离线分析、交互查询、实时检索、实时流处理、融合分析、数据仓库等数据全生命周期组件。叠加在FusionInsight之上的Kyligence，为上层应用提供易用的数据模型服务，帮助分析师和数据工程师轻松从本地到云架构上构建数据服务。当前，FusionInsight联合Kyligence已在多个大型金融机构进行深度合作，并在诸多场景获得突破，业财一体化就是其中的明星场景。保险业要“正本清源”，传统数据仓库已落后在某产险公司保费增速和综合成本率双优目标背景下，需要以管理会计的全新视角归集财务成本，保证一线销售资源正本清源，协助产险各分公司“看清楚、想明白、做到位”，解决分公司资源“往哪投、投得了、敢于投”的问题。传统的数据仓库设施和平台由于本身技术架构的局限性，无法处理快速增长的数据，无法解决不同业务条线的数据孤岛问题，无法满足对海量数据中各类维度和指标进行灵活高效分析的需求，存在分析维度和分析指标偏少，分析时效滞后，分析预见性差以及回溯分析困难的痛点，无法实现业财融合。因此，全面实现业财融合，迭代资源配置方式及工具应用成为加强业务筛选、提高成本与效益平衡能力、提升公司核心竞争力的内在需求。国产大数据平台，多快好省业财一体化分析平台在数据层抽取了该财险公司3.7亿个保单数据，构建了多层级多维度的业务分析模型。技术层面通过在FusionInsight智能数据湖上部署Kyligence，结合预计算技术，高效利用Hadoop分布式计算引擎Spark，批量预计算任意维度组合的分类、汇总统计数据。同时，向应用层提供支持标准SQL接口的JDBC和ODBC驱动，无缝集成企业已有的BI前端工具，实现对BI前端查询请求的快速响应。在本案例中部署的FusionInsight和Kyligence等产品均是国产商业软件，拥有良好的本地支持团队，总体上成本较低、部署较快、扩展性较好，为企业构建了一个国产大数据平台应用。通过此项目，该险企整合来自车险、非车险、渠道、费用、精算、再保等业务财务数据，搭建了一个高性能、高并发、可扩展的业财一体化大数据平台。通过保单级成本多维构建组合分析，可支持40个维度300个指标构成的固定报表和灵活分析报表。通过维度及成本指标细分，分公司可清晰直观的剖析业务结构，筛选优质业务，结合具体业务目标及市场发展实际情况，有针对性的制定资源投放策略应对市场。通过引入精算预期赔付率与细分销售跟单费用十个段，引入成本区间分析、费赔相关系数等指标，让业务、财务均能及时清楚地了解相关层级和维度的业务成本结构，明细赔付与费用投放的匹配关系，帮助各层级机构强化对资源配置的管理。通过销管费控系统打通从销售费用预算管控到实际报销的流程，实现保单级费用险种、渠道等属性自动带入，生成最精准的分险种分渠道报表，破解过去手工指认成本属性的不准确、工作量大且业务认可度低的难题。通过保单级承保年月分类汇总“切片”，实现期间经营分析，解决经营责任无法回溯分析清晰认定的难题。最后Kyligence基于FusionInsight搭建的业财一体化分析平台，大幅提升用户分析效率，多维统计分析报表查询响应时效从“半小时”级提升到“秒”级。平台已实现40个维度、300个指标的分析规模，预算端定制报表已实现车险、非车险、农险等定制报表40余张，灵活报表数类。目前该系统已开放给1000多个总分公司机构、4000多名分析用户使用，其中车险核心用户1000多人，有效解决分公司资源“往哪投、投得了、敢于投”的问题，全面实现业财融合。828企业上云节，不如来改造升级你们的大数据平台，这里有一对一的专家服务和低价的数据库产品。

2020-08-24：什么是小文件？很多小文件会有什么问题？很多小文件怎么解决？（大数据）

    云计算、大数据、人工智能、物联网、5G、边缘计算等多种技术的发展和融合不断颠覆企业中各类业务原有的运营管理模式，企业管理人员对实时数据的访问需求也愈发强烈，软硬件技术的高速迭代也带来了数据的爆炸式增长。《华为全球产业展望GIV2025》预测，到2025年，全球年存储数据量将高达180ZB。面对逐渐庞大的数据，传统的关系型数据库和数据仓库已经无法满足数据的组织、存储、分析需求。    《Gartner 2020数据和分析技术十大趋势预测》中提出：“云化已经成为定局。到2022年，公有云服务将对90%的数据和分析创新起到至关重要的作用。”华为作为业界领先的科技公司，依托自身成熟先进的云计算和数据库技术，为解决传统数仓扩容难、升级复杂、成本高等尖锐问题，历经10年技术沉淀，打造出华为云的尖刀产品GaussDB (DWS)。GaussDB(DWS)连续三年在Gartner魔力象限国内厂商排列第一，荣获2020中国信息通信大数据解决方案奖，在业界第一个通过了512节点大规模集群认证，还被宇宙第一大行用来承载核心数仓业务。同时作为鲲鹏产业的一员，鲲鹏先进的芯片技术也为GaussDB(DWS)插上鲲鹏之羽，助其展翅高飞。    GaussDB(DWS)基于GaussDB，完全兼容SQL标准，专为数据分析而生！关于华为云数据仓库服务GaussDB(DWS)，你不得不知道的“大秘密”：1.极速分析性能：全并行计算引擎+软硬件垂直优化，分析性能相比X86提升50%2.行列混合存储：满足OLAP分析、高并发精确查询不同场景性能所需3.极速海量数据入库性能：支持每天百TB数据高速入库4.支持存算分离、按需独立扩展、独立计费，性能随节点数线性提升5.提供迁移工具，平滑迁移Oracle/TD/Mysql数据分析库6.SQL On Anywhere特性：横向支持跨源、跨集群协同分析；纵向支持SQL on OBS，EB级数据湖探索7.安全高可靠：集群内实现高可靠设计架构，集群间支持跨AZ容灾部署，支持多种自动化数据备份策略，通过欧盟PSA、安防部、ISCCC、ITSS、DCA等多项安全合规认证GaussDB(DWS)目前服务于全球500+行业大客户，为不同企业量身打造了适合于其业务需求的一站式数据平台。1.疫情防控一把手：以华为云数据仓库服务GaussDB(DWS) 为核心的大数据解决方案助力工信部在全国构建电信综合分析大数据暨疫情大数据平台，该平台在工信部及全国31省全覆盖上线，改变了原有强依赖人工进行数据处理的方式，实现了数据的统一接入、整合以及统一规范建模，平台承载总数据量达到30+PB。GaussDB(DWS)作为疫情数据专题库，高效支撑了多个应用的运行，注册用户量500万+，单日查询2500万次+，累计查询26亿次+，全面助力全国新冠肺炎疫情的有效防控。2.中国工商银行新一代融合数仓：工商银行在转型大数据服务云的过程中，与华为进行GaussDB联合创新，实现PB级数据的迁移，率先完成金融行业大数据平台的转型。由传统的一体机模式升级为开放可扩展的分布式架构，性能大幅提升，助力全行数据服务向智能时代的跃进。3.广联达一站式存储和分析平台：广联达是全国领先的数字建筑平台服务商，旨在用科技让每一个工程项目获得成功。广联达采用华为云数据仓库服务GaussDB(DWS)全面替换了线下传统关系型数据库(MySQL、Oracle、PostgreSQL)，构筑了以数据仓库服务为核心、统一免运维、高可靠的数据存储和分析平台，实现一站式数据存储、加工、分析。该平台能够基于TB级历史数据实现秒级查询，性能平均提升10倍，有效支撑业务数据查询及多维分析、BI报表、精准推荐等应用的同时节省了50%管理和运维人力成本。    在数据爆炸式增长的当下，数据仓库越来越发挥着基石一般的作用，为数据分析、数据挖掘和AI应用提供数据存储和计算的平台，越来越多的企业也对大数据人才逐渐提出了更高的要求和更严苛的标准，市场对行业人才的诉求也越发明显，但高端类人才的供应远不能满足市场的缺口。麦肯锡报告曾指出，美国企业还需要150万能够提出正确问题、运用大数据分析结果的大数据相关管理人才。《2019年AI&大数据人才就业趋势报告》中提到，以2015年为时间起点和比较的基准点，在过去的18个季度里，AI&大数据领域与互联网行业的人才需求成倍数持续增长，到2019年二季度达到最高值，前者为11.75倍，后者为10.66倍。同时AI&大数据对技术要求更高、更前沿，人才的稀缺性更强。    因此，无论是对数据仓库没有基础认识或者简单了解过相关概念的在校学生或者其它岗位从业者，还是使用过数据仓库的相关开发人员，亦或是已经从事数仓运维但是想要更好地了解数仓性能调优的工程师们，都能够以GaussDB(DWS)为学习和使用的契机，来进一步提升个人的综合能力，让个人在数据仓库领域有更深的见解，在职场中具备更明显的优势。HCIP-GaussDB-OLAP认证介绍与预约考试：https://e.huawei.com/cn/talent/#/cert/product-details?certifiedProductId=195&authenticationLevel=CTYPE_CARE_HCIP&technicalField=PSC&version=1.0GaussDB(DWS)开发者论坛（问题答疑+技术分享）：https://bbs.huaweicloud.com/forum/forum-598-1.html

当下，数字经济来临，新技术带来便利的同时，更多的企业面临着机遇和挑战。从社会趋势来讲，生产要素已由农业经济发展到工业经济再到数字经济，数据成为新生产要素，智能成为新生产力。 从Gartner趋势分析表明，企业面临着资源分散、数据不通、应用孤立等问题，这类烟囱式应用和数据孤岛已成为企业数字化转型的阻碍；企业数据逐步多元化，数字化业务井喷增长，驱动企业需要构建一个跨越多域数据、简单、一致的数字化运营生态系统。随着技术的发展，探索数据价值一直在持续，数据平台技术架构也逐步在进化。华为云针对企业上云与治理提出了一套适用于互联网、金融、游戏、产业云等行业的解决方案，数据采集到数据处理与汇聚，再到数据计算与分析，最后到应用与消费层，通过对数据的一系列操作（采集、处理、分析和应用），构建了全场景数据服务助力企业数字化转型，最终实现从数据到价值的闭环。图1 数据技术平台整体技术架构 数据采集与处理对核心关键应用如ERP、CRM、PDM等应用产生的数据来讲，经过数据复制服务DRS采集后，迁移至云上数据库，华为云数据库具备轻松实现存储容量扩容、快速便捷的实例规格变更，内核深度优化，业务并发量1000+时性能依然保持稳定，扩容仅需几分钟。具有超高的数据可靠性等特点，保障客户业务稳定运行。对于邮件，文档，网页，监控、车辆等非结构化数据，此类面向分析型场景，将通过实时数据接入kafka等服务进行数据采集，可存入对象存储服务OBS，通过流查询，交互式查询等方式，对数据进行挖掘和批处理和批计算。同时以全栈大数据MapReduce服务为基础，提供一站式大数据平台解决方案，一键式构筑数据接入、数据存储、数据分析和价值挖掘的统一大数据平台，并且与华为云IOT物联网、ROMA平台、数据湖工厂及数据可视化等服务对接，轻松解决数据通道上云、大数据作业开发调度和数据呈现的困难，使用户从复杂的大数据平台构建和专业大数据调优和维护中解脱出来，更加专注行业应用，完成一份数据多业务场景使用的诉求，实现自动伸缩，按需使用和计算存储分离，更低成本更高性能。数据分析与应用面向操作型场景，数据库的管理可以由数据管理服务DAS实现，DAS是用来登录和操作数据库的Web服务，提供数据库运维开发功能以及 DevOPS服务。为方便用户使用和运维华为云RDS，提供数据和表结构的同步、在线编辑，SQL输入的智能提示等丰富的数据库开发功能。同时面向大企业提供基于权限最小化控制和审批流程机制，提供数据保护、变更审核、操作审计、研发自助化等数据库DevOPS平台，帮助企业实现大规模数据库下的标准化、规范化、高效率、超安全的管理手段。面向分析型场景中，用于计算与分析的数据仓库服务GaussDB(DWS)，是实时、简单、安全可信的企业级融合数据仓库，可借助GaussDB(DWS) Express将查询分析扩展至数据湖。华为云数据上云方案，可实现贯穿数据全流程一站式开发运营平台，提供全域数据集成、标准数据规范架构研发、连接并萃取数据价值、统一数据资产管理、数据智能分析与可视化、数据开放服务，可帮助企业构建完整数据中台解决方案。同时跨源分析选择数据湖探索DLI服务，数据免搬迁，是完全兼容Apache Spark和Apache Flink生态， 实现批流一体的Serverless大数据计算分析服务，无需大数据背景，会SQL就会大数据分析。通过一系列流转将数据转化为资产，企业将IT系统、数据及IT服务集中到统一的云管资源池中，将会提升整体资源利用率和工作效率，改善流程，降低运营成本。号外：828企业上云节，来企业数据上云和治理专场，数据上云难题一站式解决，不但有亿元上云补贴，还有新购满额送华为手机P40 Pro 5G，更多豪礼等你来拿~

摘要：各种新需求新应用层出不尽，各路新生代编程语言异军突起等等，Java未来会不会继续受欢迎？曾经备受关注的Java是否能紧跟时代步伐？新基建时代破茧重生引领云端未来潮流？1995年第一个Java版本诞生到现在已经25年，它成功的建立了一个开放、成熟、稳定的开源生态。但现在也有各种争议，如版权限制，授权收费，社区投入减少，各种新需求新应用层出不尽，各路新生代编程语言异军突起等等，Java未来会不会继续受欢迎？曾经备受关注的Java是否能紧跟时代步伐？新基建时代破茧重生引领云端未来潮流？日前华为云DevRun直播间特邀请华为莫斯科研究所系统编程实验室主任Yegor Bugayenko，开源中国创始人兼CTO&码云开发平台负责人红薯，禧天龙科技发展有限公司CTO郭曦三位嘉宾，并由华为云DevCloud首席技术布道师徐毅引导，嘉宾们围绕中俄社区现状和当前Java热点话题进行了讨论。中俄Java社区知多少通过红薯和 Yegor Bugayenko两位大咖的介绍，我们对中俄Java社区有了初步的了解。开源中国成立到现在已经有12年的发展历史，对开发者的数量有很大的关注，当前国内业界比较认可的一个数字中国开发者人群规模大约 1000 万，从正常一个公司的技术人员配比来看，直接参与编程的人员比例在 80%左右 。同时根据码云目前超过1000万的仓库推算，国内有大约 200 万的 Java 开发者。在俄罗斯其实从事编程工作的人员不是很多，根据Yegor Bugayenko的初步估计应该在10万左右，由于编程语言的多样性，使用Java的开发者数量不好评估，但也在大多数。两国开发者都有“自嘲”文化，在中国就比较突出比如技术男，理工男，程序猿，攻城狮，搬砖，大牛等等，比较有争议性，但是随着互联网、高科技、新兴产业的发展，程序员也越来越受欢迎。俄罗斯很多程序员会认为自己是哲学家甚至艺术家，编程和代码帮助人们更深刻的理解这个世界的哲学，数学，宗教，艺术和文化，并以前所未有的效率将思想转化为生产力，随着科技发展，教育普及，现在编程工作越来越像一种普通的工作，但是可以肯定的是从事编程是一个很有“钱”途的工作。从Java数次历史变更看影响1991年，Sun公司的James Gosling等人开始开发名称为 Oak （橡树）的语言。希望用于控制嵌入在有线电视交换盒、PDA等的微处理器。1994年，将Oak语言更名为Java1998年，JDK1.2时，更名为Java 2 Platform，分为标准版J2SE,企业版J2EE,微型版J2ME，这是 Java 一个重大的版本，修复了早先的一些重要 Bug2004年，J2SE 5.0 (1.5.0) Tiger老虎2006年，J2SE 6.0 (1.6.0) Mustang野马2009年，Oracle 74亿美元收购 Sun2014年，Java 8 发布，Lambda 表达式支持，而且兼容老版本，堪称奇迹再以后 Java 调整版本发布策略2018年， Oracle 发布Java 10 并决定每 6 个月发布一个新版本2019 年1月， Oracle 宣布 Oracle JDK 不再提供免费支持，一些大互联网公司开始推出自己的 JDK，并宣布提供免费技术支持红薯老师经历Java的多次变化并对其有亲身体会，他认为从整个变更过程看，Java 更多用来开发具体的应用，每次变更对国内影响有限，Java仍然是很受欢迎的语言。未来Java会不会被取代？哪些语言最有可能取代JavaJava私有化之后， Oracle对社区投入的逐渐减少，出现版权问题、收费问题、企业对Java的依赖等一些问题，这引来了开源社区更多的担忧和猜忌，未来Java会不会被取代？哪些语言最有可能取代Java？收费、版权等问题是未来各个技术发展必然面对的问题，比较具备争议性。Java会不会被替代？其实并不是语言本身，而是Java搭建的生态系统，其中有各种各样的组件元素，如Java基础、WEB开发架构、负载均衡、分布式服务框架等，以及对应的应用虚拟机、安卓系统等等。Java从诞生起就有无数的缺陷，但这些并没有阻止Java的成功。开放就是Java 成功的核心，拥有跨平台、面向对象、泛型编程的特性保证其可运行性、可扩展性和可连接性，并保障了其在Web开发、大数据开发、Android开发和各种后端服务开发等领域都有大量的应用，同时，Java凭借其稳定的性能和较强的扩展性得到了广泛的应用，并且互联网的行业备受认可，未来仍然存在很大的发展空间。该次活动中我们对“未来最可能取代Java的语言”进行了一轮投票活动，根据参与者的反馈来看，大家认为最有可能取代Java语言的Top3分别是Python（34.99%），JavaScript（23.24%），Go（13.05%），其实每种语言都有自己擅长的领域和方向。Python主要的领域是大数据和人工智能，在Web开发、大数据开发、人工智能开发、后端服务开发和嵌入式开发等应用比较广泛。主要是因为语言语法简单，调整方便，但是Python在运行性能上与Java还有一定的差距。JavaScript主要是从事前端任务开发的场景，解决服务器端语言遗留的速度问题，但是随着Node.js的兴起给JavaScript从前端走向后端的机会，未来JavaScript会得到进一步的发展。Go语言主打性能，特别是在当下的大数据环境下，对性能要求越来越高，Go语言应该能够发挥出更大作用。企业基于Java开发商业软件有没有比较好的最佳业务实践或者方法嘉宾郭曦分享了如下的一个真实案例。最早的三层架构是没有集成层的，IBM/BEA/SAP甚至开源社区很多优秀的产品进入了继承领域，在这一层级以Java为主要开发语言开发的企业服务总线已经占据着企业继承市场90%以上的份额。应用公有云微服务架构+SAP企业服务总线无缝整合面向互联网的SaaS/PaaS平台，比如多家国内知名电商，是通过公有云+私有云对接的形式，利用云端应用服务器构建自己面向互联网应用后台。通过云端代码托管和自动化构建设施建立自己的代码仓库和配合敏捷开发理论形成企业的应用开发体系，利用云端项目/任务管理软件进行任务分配/质量控制/成本预算核算，利用云端运维管理应用构建企业自己基于ITIL管理体系的运维框架。最佳实践带来了不错的效果标准研发流程和经验，研发数据集中存储，防止流失配置管理改为Git，效率提升30%减少构建依赖错误，构建效率提高70%发布部署的出错率降低90%未来变成语言会是百花齐放的方式往前发展。Java语言生态体系比较健全，开发者数量上占据优势，其自身开放、跨平台、面向对象、泛编程性等特性其他语言也很难取代，未来在其最擅长细分领域如：Web开发、移动互联网开发和大数据（云计算）开发等领域，未来还是会继续保持其优势。Java 已经25年，历经磨难，却历久弥新，其构建的应用生态也越来越丰富，未来的发展应用会越来越多。文章仅介绍了大咖们在本场直播中的部分精彩观点，欲知详情，请至该活动的华为云社区页面及预告视频和直播回放。请点击链接查看直播回放：https://bbs.huaweicloud.com/forum/thread-65920-1-1.htm

转载：http://baijiahao.baidu.com/s?id=1665833463653440953现如今数据资产成为核心竞争力，而大数据的定义我们也有了了直观的认识和体会，体量够大、价值密度低、类型够多、数据时效性高等，也成为大数据下的一个闪耀点。一、大数据的红利和价值1、传统企业应该如何行动才能享受大数据带来的红利呢？第一，一切生产经营流程都需要数据化；第二，搭建大数据分析平台；第三，培养数据挖掘和分析团队。；第四，建立开放性的数据共享制度；第五，战略性的数据资源储备2、大数据的价值不在于大，而是在于挖掘能力（一）全部数据而不是样本；（二）效率而不是精确度；（三）相关性而不是因果关系3、大数据驱动运营管理（一）以数据驱动公司；（二）大数据服务从个性化到人性化二、平台思维的优势平台思维指对商业模式、组织形态的理解，平台是互联网时代的驱动力。平台战略的精髓，就是构建多方共赢的平台生态圈。善用现有平台。让企业成为员工的平台。传统企业的驱动力就是美国的企业史学者钱德勒所说的，就是规模经济和范围经济。规模经济是什么？就是做到最大。范围经济是什么呢？就是做到最广。互联网时代的驱动力不是这个驱动力，它的驱动力就是平台“平台”是指在平等的基础上，由多主体共建的、资源共享、能够实现共赢的、开放的一种商业生态系统。

现如今数据资产成为核心竞争力，而大数据的定义我们也有了了直观的认识和体会，体量够大、价值密度低、类型够多、数据时效性高等，也成为大数据下的一个闪耀点。一、大数据的红利和价值1、传统企业应该如何行动才能享受大数据带来的红利呢？第一，一切生产经营流程都需要数据化；第二，搭建大数据分析平台；第三，培养数据挖掘和分析团队。；第四，建立开放性的数据共享制度；第五，战略性的数据资源储备2、大数据的价值不在于大，而是在于挖掘能力（一）全部数据而不是样本；（二）效率而不是精确度；（三）相关性而不是因果关系3、大数据驱动运营管理（一）以数据驱动公司；（二）大数据服务从个性化到人性化二、平台思维的优势平台思维指对商业模式、组织形态的理解，平台是互联网时代的驱动力。平台战略的精髓，就是构建多方共赢的平台生态圈。善用现有平台。让企业成为员工的平台。传统企业的驱动力就是美国的企业史学者钱德勒所说的，就是规模经济和范围经济。规模经济是什么？就是做到最大。范围经济是什么呢？就是做到最广。互联网时代的驱动力不是这个驱动力，它的驱动力就是平台“平台”是指在平等的基础上，由多主体共建的、资源共享、能够实现共赢的、开放的一种商业生态系统。

转载：http://baijiahao.baidu.com/s?id=1665833463653440953现如今数据资产成为核心竞争力，而大数据的定义我们也有了了直观的认识和体会，体量够大、价值密度低、类型够多、数据时效性高等，也成为大数据下的一个闪耀点。一、大数据的红利和价值1、传统企业应该如何行动才能享受大数据带来的红利呢？第一，一切生产经营流程都需要数据化；第二，搭建大数据分析平台；第三，培养数据挖掘和分析团队。；第四，建立开放性的数据共享制度；第五，战略性的数据资源储备2、大数据的价值不在于大，而是在于挖掘能力（一）全部数据而不是样本；（二）效率而不是精确度；（三）相关性而不是因果关系3、大数据驱动运营管理（一）以数据驱动公司；（二）大数据服务从个性化到人性化二、平台思维的优势平台思维指对商业模式、组织形态的理解，平台是互联网时代的驱动力。平台战略的精髓，就是构建多方共赢的平台生态圈。善用现有平台。让企业成为员工的平台。传统企业的驱动力就是美国的企业史学者钱德勒所说的，就是规模经济和范围经济。规模经济是什么？就是做到最大。范围经济是什么呢？就是做到最广。互联网时代的驱动力不是这个驱动力，它的驱动力就是平台“平台”是指在平等的基础上，由多主体共建的、资源共享、能够实现共赢的、开放的一种商业生态系统。

从1995年第一个Java版本诞生至今，已历经25年。Java的诞生，成功地建立了一个开放、成熟、稳定的开源生态。但其发展过程也伴随着各种争议，如版权限制、授权收费、社区投入减少等。面对各种新需求、新应用不断出现，各路新生代编程语言异军突起等局面，不得不思考这些问题：Java未来会不会继续受欢迎？曾经备受关注的Java是否能紧跟时代步伐？能否在新基建时代破茧重生，引领云端未来潮流？ 日前，华为云DevRun直播间特邀请华为莫斯科研究所系统编程实验室主任Yegor Bugayenko、开源中国创始人兼CTO&码云开发平台负责人红薯、禧天龙科技发展有限公司CTO郭曦三位嘉宾，并由华为云DevCloud首席技术布导师徐毅引导，嘉宾们围绕中俄社区现状和当前Java热点话题进行了讨论。中俄Java社区知多少通过红薯和Yegor Bugayenko两位大咖的介绍，我们对中俄Java社区有了初步了解。当前国内开发者人群规模大约在1000万，从一个公司正常的技术人员配比来看，直接参与编程的人员比例在 80% 左右 。同时根据码云目前超过1000万的仓库推算，国内有大约 200 万的 Java 开发者。而在俄罗斯，从事编程工作的人员并不是很多，根据Yegor Bugayenko的初步估计，应该在10万左右，由于编程语言的多样性，使用Java的开发者数量不好评估，但也占大多数。两国开发者都有“自嘲”文化，在中国尤为明显。如：程序猿、攻城狮、搬砖等等。随着高新产业的发展，程序员也越来越受欢迎。 俄罗斯很多程序员认为自己是哲学家甚至艺术家，因为编程帮助人们更深刻地理解哲学、数学、宗教、艺术，并以前所未有的效率将思想转化为生产力。随着科技发展、教育普及，编程工作不会再被一小众人员“垄断”，但是可以肯定的是，编程工作依然是一个很有“钱”途的工作。从Java数次历史变更看影响1991年 Sun公司的James Gosling等人开始开发名称为 Oak （橡树）的语言，旨在用于控制嵌入在有线电视交换盒、PDA等的微处理器1994年 Oak语言更名为Java1998年 JDK1.2时，更名为Java 2 Platform，分为标准版J2SE、企业版J2EE、微型版J2ME。这是 Java 一个很重要的版本，修复了早先的一些重大 Bug2004年 J2SE 5.0 (1.5.0)  Tiger老虎2006年 J2SE 6.0 (1.6.0)  Mustang野马2009年 Oracle 74亿美元收购 Sun2014年 Java 8 发布，Lambda 表达式支持，而且兼容老版本。之后调整版本发布策略2018年 Oracle 发布Java10并计划每6个月发布一个新版本2019年1月 Oracle 宣布Oracle JDK不再提供免费支持，一些大互联网公司开始推出自己的JDK，并宣布提供免费技术支持 红薯老师亲身经历Java的多次变更，他认为从整个变更过程看，Java 更多用于开发具体的应用，尽管每次变更对国内影响有限，但Java仍然是很受欢迎的语言。未来Java会不会被取代？哪些语言最有可能取代Java？其实，是否会被取代，并不是语言本身，而是Java搭建的生态系统：其中包括各种各样的组件元素，如Java基础、WEB开发架构、负载均衡、分布式服务框架等，以及对应的应用虚拟机、安卓系统等等。 Java从诞生起就存在无数缺陷，但这些并没有阻止Java的成功。 开放就是Java 成功的核心，跨平台、面向对象、泛型编程的特性保证其可运行性、可扩展性和可连接性，并保障了其在Web开发、大数据开发、Android开发和各种后端服务开发等领域都有大量的应用，同时，Java凭借其稳定的性能和较强的扩展性得到了广泛的应用，并且在互联网行业倍受认可，未来仍然存在很大的发展空间。此次活动中，我们对“未来最可能取代Java的语言”进行了一轮投票活动，从参与者的反馈来看，大家认为最有可能取代Java语言的Top3分别是Python（34.99%），JavaScript（23.24%），Go（13.05%），其实每种语言都有自己擅长的领域和方向。 Python的主要应用领域是大数据和人工智能，在Web开发、大数据开发、人工智能开发、后端服务开发和嵌入式开发等领域，应用比较广泛。其优势是语法简单，调整方便，但是在运行性能上与Java还有一定的差距。JavaScript主要从事前端任务开发的场景，解决服务器端语言遗留的速度问题，但是Node.js的兴起给了JavaScript从前端走向后端的机会，未来JavaScript会得到进一步发展。 Go语言主打性能，特别是在当下的大数据环境下，对性能要求越来越高，Go语言应该能够发挥出更大作用。 企业基于Java开发商业软件，有没有比较好的最佳业务实践或者方法，嘉宾郭曦分享了如下一个真实案例。最早的三层架构是没有集成层的，IBM/BEA/SAP甚至开源社区很多优秀的产品进入了继承领域，在这一层级以Java为主要语言开发的企业服务总线已经占据着企业继承市场90%以上的份额。 应用公有云微服务架构+SAP企业服务总线，无缝整合面向互联网的SaaS/PaaS平台，比如多家国内知名电商，是通过公有云+私有云对接的形式，利用云端应用服务器，构建自己面向互联网的应用后台。即通过云端代码托管和自动化构建设施建立自己的代码仓库，配合敏捷开发理论形成企业的应用开发体系，利用云端项目管理软件进行任务分配、质量控制、成本预算核算，利用云端运维管理应用构建企业自己基于ITIL管理体系的运维框架。 最佳实践带来了不错的效果1.标准研发流程和经验，研发数据集中存储，防止流失2.配置管理改为Git，效率提升30%3.减少构建依赖错误，构建效率提高70%4.发布部署的出错率降低90% 未来编程语言发展将会呈现出百花齐放的局面。Java语言生态体系比较健全,再加上其开放、跨平台、面向对象、泛编程性等优势，决定了其很难被其他语言取代。未来在其最擅长的细分领域，如：Web开发、移动互联网开发和大数据（云计算）开发等领域，还是会继续保持优势。 Java 已经发展25年，虽经磨难，却历久弥新，其构建的应用生态也越来越丰富，未来的发展应用也会越来越多。本文仅介绍了大咖们在本场直播中的部分精彩观点，欲知详情请观看直播回放。直播回放地址：https://bbs.huaweicloud.com/videos/103061

8月4日，广东移动大数据平台再获重大突破，全国首个1000+大数据集群升级成功，打破传统离线升级方式迫使业务中断的桎梏，通过滚动升级完成了大数据平台的平滑演进，实现业务0中断，升级无感知，用户体验持续在线。此次升级意义重大，正式开启了广东移动大数据平台的融合时代，全面提升用户体验。广东移动大数据平台简介广东移动大数据平台自2016年建设以来，对内为省市各业务部门、对外为各行业提供大数据分析处理能力。大数据平台整体规模达到1500+节点、平台承载租户282个，日均处理21万+作业量，陆续完成了各个重大节假日（春节、国庆、70周年、灯光节等）的活动支撑与保障工作。广东移动大数据平台架构图伴随5G、互联网、AI的高速发展，数据种类和量级呈指数级增长，这对大数据平台分析处理的准确性与及时性提出了更高的要求，现网大数据平台在应对数据浪涌中逐渐显露疲态。为此，广东移动大数据平台的升级项目势在必行。项目升级面临巨大挑战广东移动大数据平台作为业界首个1000+节点的大数据生产集群平台，实现版本从V100R002C70跨版本升级6.5.1，面临着三大挑战：l  业界首次大集群跨版本升级：广东移动大数据平台升级工程是现网同类大数据局点中首个大集群跨版本升级改造工程。集群规模大，滚动升级时间周期长，业务应用多，需要根据不同业务的闲忙时间段，合理制定升级批次计划；升级工程计划制定无参考案例，现场根据前期调研、业务评估、测试验证后制定大集群的批次升级计划；l  集群规模大，服务组件多，方案复杂：三水大数据集群是广东移动大数据平台中规模最大的单集群，节点数达到1000+，同时提供多种组件服务和场景解决方案。多方案混合应用的集群的升级工程在技术上第一次商用场景下实施，多组件混合应用的业务场景多，对升级期间平台稳定性要求高；l  业务种类多，且不便不中断：广东移动大数据平台承载业务项目达200+，日处理业务量达21万+，月增长数据量接近1PB，日查询作业峰值达23W+；每天需运行关键业务，如对内精准营销、收入稽核，对外广告精准投放等；大量运行中的业务和关键业务在升级过程中不允许被中断。作为承载广东省大数据分析处理的核心平台，时刻存在关键业务的运作，传统大数据平台离线升级方式，对业务的顺利进行有着极大的制约。例如，新版本发布后，如果想使用特定的补丁版本，在安装/升级场景下，需要先升级到新版本后，再安装补丁；如此一来，不仅变更次数多，还需多次重启集群操作，变更操作难度高且效率低下，按当前平台规模采用离线方式升级，预计中断业务72小时以上。        全力应对，逐个攻破为保障大集群升级过程的平滑，广东移动携手华为云FusionInsight智能数据湖，端到端分步骤的完成滚动升级，实现升级过程中的可视化控制和管理。为应对上述挑战，此次升级主要进行了以下操作：l  在开源社区部分组件并不支持大版本滚动升级的背景下，我们解决了社区协议和元数据格式不相同、及API变化等导致的兼容性问题，实现了在滚动升级过程中，仍可继续使用未升级的软件设备进行业务处理的方法，降低大集群跨版本升级改造工程对现有业务的干扰影响；l  面对集群规模大、服务组件多、方案复杂的升级场景，为避免各种突发事件中断升级进程，我们提供了故障节点隔离能力。在故障发生时，可以跳过该节点的升级动作，使得故障处理和升级可以有序进行；l  为降低在升级过程中对关键任务SLA的影响，我们新增按升级批次进行暂停的能力，关键作业或者作业高峰时段，可以暂停升级动作，保障关键任务平稳执行。本次操作使得1000+大数据集群获得滚动升级，新的平台版本6.5.1，在平台组件内核版本升级的同时，提供了精细化指标监控、统一在线日志检索等功能，支持ARM生态以及ARM&X86混合部署（全球唯一）、计算存储分离方案、引入ZooKeeper防过载特性等，并做到了全面的优化提升。6.5.1版本平台架构组件版本变更提前部署，稳步推进l  前期准备，经过近半年的不断测试、预演、与100+个重要关键租户协调沟通项目后，确认升级改造工程实施方案；l  7月8日-7月23日，历时半个月，在0业务中断的情况下，顺利完成大数据平台的平滑升级，实现大数据技术及组件的最新版本更新；l  7月24日-8月3日，业务观察期内平台业务稳定无任何故障；l  8月4日，广东移动大数据Hadoop平台大版本升级宣告成功。广东移动站在了大数据技术前端，紧随社区技术的快速发展，大数据平台本次Hadoop版本由2.7.2版本直接升级到3.1.1版本，实现了一个升级无感知的融合大数据平台，大幅提升了用户体验。未来，广东移动将继续推进技术创新，助力大数据平台进一步更新迭代。华为将持续以客户为中心，为客户提供一站式，易使用，高可靠，可持续演进的FusionInsight融合大数据平台。        截至目前，华为云FusionInsight智能数据湖已是60+国家，3000+客户的共同选择，广泛应用于政府、金融、运营商、大企业、互联网等领域。面向未来，华为云联合800+合作伙伴，用智能数据湖帮助企业构建领先的数据基础平台，释放政企数据价值，让数据“慧”说话，使企业更智能。相关文章：再获殊荣！华为云Fusioninsight智能数据湖、GaussDB(DWS)数据仓库斩获业界两项大奖FusionInsight亮相华为云与计算城市峰会深圳站FusionInsight MRS 技术解读：单集群如何做到2万+规模华为云FusionInsight MRS融合大数据平台进阶之路华为云FusionInsight MRS通过信通院大数据能力评估 单集群突破2万+规模重磅发布！华为云EI智能数据湖FusionInsight 8.0 MRS 6月30日发布新特性，更快更安全，小伙伴们快来GET√+CarbonData，华为云EI智能数据湖FusionInsight让数据处理飞起来！华为云EI智能数据湖FusionInsight 成功助力10000+大数据集群滚动升级！华为云EI智能数据湖FusionInsight携手Kyligence助力保险业数字化转型！华为云EI智能数据湖FusionInsight MRS大数据在银行业的应用探索与典型案例进而有为！华为云EI智能数据湖FusionInsight亮相华为云与计算城市峰会南京站！直击痛点！华为云EI智能数据湖FusionInsight助力政企客户释放数据价值！

在刚刚结束的CLOUD NATIVE+ OPEN SOURCE Virtual Summit China 2020上，由华为云云原生团队主导的容器批量计算项目Volcano正式发布1.0版本，标志着Volcano项目已经开始走向成熟与稳定。Volcano项目介绍Volcano是基于Kubernetes的云原生批量计算引擎，基于华为云在AI、大数据领域的深厚业务积累，补齐了Kubernetes在面向AI、大数据、高性能计算等批量计算任务调度、编排等场景下的短板，向下支持鲲鹏、昇腾、X86等多元算力，向上使能TensorFlow、Spark、华为MindSpore等主流行业计算框架，让数据科学家和算法工程师充分享受到云原生技术所带来的高效计算与极致体验。Volcano架构示意图随着Kubernetes作为AI、大数据和高性能批量计算的下一代基础设施的趋势逐渐清晰，越来越多的企业对Kubernetes在深度学习、科学计算、高性能渲染等方面提出了更高的要求。然而Kubernetes作为普适的容器化解决方案，仍与业务诉求存在一定差距，主要体现在：K8s的原生调度功能无法满足计算要求K8s作业管理能力无法满足AI训练的复杂诉求数据管理方面，缺少计算侧数据缓存能力，数据位置感知等功能资源管理方面缺少分时共享，利用率低硬件异构能力弱Volcano的诞生正是基于这些痛点，在调度、作业管理、数据管理、资源管理四个方面进行了重点优化。增强了任务调度能力，如公平的调度（fair-share）、组调度（gang-scheduling）  进一步优化了作业管理能力,如multiple pod template能力、更灵活的error handling机制  增加计算侧数据缓存，提升数据的传输与读取效率引入多维度的综合评分机制，实现资源更高效的管理和分配多元算力支持：支持x86、鲲鹏和昇腾等算力Volcano项目进展时间轴Volcano v1.0新特性介绍Volcano v1.0的核心概念和关键特性，主要包含以下要点：Queue、PodGroup、Volcano Job等核心概念均已实现支持Binpack、Conformance、DRF、Gang、Preempt、Reclaim、Priority、Proportion等多种调度策略支持Rest API、CLI等多种交互方式完成与Spark、Argo、MPI、Flink、Mxnet、Paddlepaddle、Tensorflow、MindSpore等主流高性能计算框架的无缝对接支持Job的全生命周期管理和动态扩缩容支持GPU异构与共享完备的golangCI-lint check、e2e以建立增强代码质量和稳定性除以上特性外，Volcano始终保持与Kubernetes社区、Golang最新版本保持一致。Volcano社区和生态建设进展经过一年多的发展，Volcano的社区和生态建设已经步入快车道。截至目前，社区和生态建设取得了以下成绩：社区贡献者80+社区贡献参与组织15+，包括华为、百度、腾讯、AWS、IBM、 Oracle等获得Star 1100+，Fork 220+代码库7个，Release 6个Issue 320+，PR 590+已完成对Spark、Argo、MPI、Flink、Mxnet、Paddlepaddle、Tensorflow、MindSpore、Cromwell等10+主流计算框架的支持华为云CCE（云容器引擎）、CCI（云容器实例）、ModelArts等多个云服务已将Volcano集成为基础设施底座并商用，服务领域已涵盖AI、大数据应用、基因计算、批处理等场景，并实现与华为鲲鹏、昇腾处理器深度融合，最快每秒1000个容器的调度发放，成为高性能、极致性价比的批量计算解决方案。深入了解Volcano如果想更加深入了解Volcano，可以参考以下资源：Volcano官网：https://volcano.sh/Github：https://github.com/volcano-shVolcano简介：https://github.com/volcano-sh/volcanoVolcano设计：https://github.com/volcano-sh/volcano/tree/master/docs/designVolcano路线图：https://github.com/volcano-sh/volcano/blob/master/docs/community/roadmap.mdVolcano社区交流微信群：Volcano CN未来可期随着Volcano v1.0的发布，Volcano社区建设与上下游生态的融合必将更加紧密，基于Volcano的商业应用也将极大地促进AI、大数据、科学计算、渲染等领域充分享受到云计算带来的极大便利和极致体验，助力企业数字化转型进入新的高度。展望未来，华为云也将在云原生领域持续耕耘，持续引领创新、繁荣生态，助力各行业走向快速智能发展之路。