近期，美国知名科技企业风投机构A16Z总结出一套通用的技术架构服务，分为以下三种场景。一、数据基建架构全景图片来源于网络        数据流向显示，左侧的数据源经数据处理（批量、实时流、事件流等）将数据统一汇聚到数据湖或数仓中，通过数据科学或机器学习进行AI分析，通过AD Hoc和实时分析为客户或APP提供敏捷的结果数据。华为云FusionInsight为政企客户提供一站式全场景的云原生数据湖，围绕政企客户在采存算管用等数据全生命周期提供领先的整体解决方案，方案主要包含MRS云原生数据湖、DWS数据仓库、一站式数据治理中心等云服务，助力政企客户释放海量数据价值！其架构如下：华为云FusionInsight智能数据湖架构图        上千个大型客户已经基于FusionInsight架构构建其大数据应用平台。        A16Z经过调查相关业内人士得出一个结论：一个统一的现代化的数据基建需要三类架构来实践三种不同的应用场景。现代化 BI 架构多模式数据处理架构人工智能和机器学习架构        1.现代化 BI 架构 图片来源于网络        这是对小型数据团队和预算有限的企业的默认选项，企业逐渐从传统数仓迁移到这个架构，利用云的灵活度和可扩展性。        应用场景包含：报表，仪表盘，自助式分析，主要使用SQL来分析结构化数据。优势：前期投入低，启动快，市场上人才储备充分。缺陷：对于数据场景复杂的团队不适用，比如需要数据科学，机器学习，或者实时场景。    传统的小型数据团队其面对的数据基本以核心交易系统的RDBMS结构化数据为主，数据量在GB级，普通的数仓都可支持其数据的分析挖掘，无需大数据支撑就可完成，这种处理方式在2008年时的大型企业中也较为常见，其数据量较小基本上使用数仓就可完成日常的数据大屏、数据分析等工作。这是对小型数据团队和预算有限的企业的默认选项，利用云的灵活度和可扩展性，企业逐渐从传统数仓迁移到这个架构。    华为云FusionInsight可提供企业级数仓，DWS目前服务于全球1000+大型客户，广泛应用于政府、金融、运营商、大企业等领域。产品始于2011年，经历将近10年技术积累，已取得180+国内外授权专利。DWS可支撑日常的结构化数据分析，其具有如下特点：大规模：DWS基于分布式架构，在保证ACID的基础下，突破大规模分布式场景下集群通信（Multi-Streams）、逻辑集群（Multi-Groups）技术，具备2048节点扩展能力。值得一提的是，逻辑集群可将ODS、数据仓库、数据集市、自助分析等不同业务负载，有机的统一起来，有效隔离、有效共享。高性能：DWS具备多层级全并行计算引擎。支持多个物理节点并行计算，在一个物理节点内部，支持多个CPU核心并行计算，在一个CPU核心的指令序列中，支持SIMD指令，实现一个指令同时操作多条数据。将并行能力发挥到极致，为业务提供极致的性能。另外，Multi-Cores技术使得在鲲鹏上性能相比同代x86芯片提升30%以上。高可靠：DWS具备多层级容灾能力，在AZ、集群、节点及进程出现软硬件异常的情况下能够平滑处理。另外，Server端Multi-Retries技术大幅减少故障失败的业务感知；其次，在棘手的亚健康问题上，DWS也有完善的检测和处理机制；最后，离线扩容、半在线扩容、在线扩容技术能够从容应对客户不同的扩容需求。    华为云DWS数据仓库技术核心是分布式架构，过去十年一直围绕分布式构筑竞争力。未来，DWS数据仓库将基于分布式架构持续演进，围绕云、大数据、5G/IoT、人工智能，构筑下一代开放的、全场景分析型数据库。        2.多模式数据处理架构图片来源于网络        这个架构通常用于大型企业和科技公司，用来满足复杂的数据需求场景。        应用场景包括：BI及高级功能，包括AI/ML，低延时分析，大规模数据转换，多类型的数据处理（文字，图像和视频）使用各种语言（JAVA/SCALA，Python和SQL）优势：能灵活的支持各种应用，工具和UDF和部署环境。在大规模数据集上的成本优势。缺陷：不适合小型数据团队，维护这套架构需要较多的时间，费用和专家资源投入。        在现实世界中，需求侧觉醒的同时，在平行的赛博世界中，技术的进化也一直在持续。自从2006年Apache Hadoop架构发布以来，到2011年，企业逐渐采用Hadoop架构演进出来的开源或商用大数据软件，开启了离线计算时代；2012年，以Spark等为核心的流式计算开启了实时计算时代，在线分析和实时计算的场景也开始逐渐应用，但这一阶段的使用者主要是开发人员；2013年至今，随着数据的激增，大数据平台演进成了融合大数据平台，而随着AI等技术的突飞猛进，从数据分析到数据挖掘，大数据平台向着智能化进行演进。权威调研机构IDC表示，“数字化时代下的竞争正在加速，市场参与者要么通过数字化转型成为领头企业形成规模化优势，要么将逐渐被市场淘汰”。随着5G、AI、IoT等技术的迅猛发展，到2025年，全球数据量将从2018年的33ZB快速增长到180ZB，全球数字经济总量将达25万亿，CEO也越来越重视，参与度高达67%，数字化技术让投资回报率达到6.7倍，政企数字化进程为64%。综上可知，数字化转型是政企充分释放复杂场景用数需求的必经之路。华为云FusionInsight MRS架构特性        数字底座如此关键，那么大数据作为主要承载技术，自然是其重中之重。华为云FusionInsight提供MRS云原生数据湖服务，让政企客户在一个大、快、融、稳的云原生数据湖架构下持续演进：大：支持最大2万+节点大规模集群，可集群联邦无限扩容；快：可T+0实时增量更新同步，可毫秒级高效实时OLAP，缩短分析链路，实现实时数据湖；融：通过HetuEngine打破多引擎、多源、跨地域的限制，消除数据孤岛，统一SQL接口融合分析，简化用数，全民BI；稳：支持在线滚动升级，无需拆集群、搬应用，使客户一个架构持续演进，十年无忧！云原生数据湖：通过统一元数据，让数据全局可视；通过存算分离的企业级EC，降低TCO。        华为云大数据，自2008 年开始投入研究，最早于2014年推出商用产品，秉承开源开放的心态，践行“平台+生态”战略，华为云踩对了历史的进程，围绕政企大数据全生命周期，华为云FusionInsight是一个技术领先的云原生智能数据湖，是华为云三大使能之数据使能方案的坚实数据底座。        3. 人工智能和机器学习架构图片来源于网络        应用机器学习的公司已经在使用这套架构的一部分技术。深度使用机器学习的企业会部署整套架构，甚至自研新的工具。场景：数据驱动的内外部应用程序，场景有实时的或批处理的。优势：完全掌控整体的开发过程，将机器学习打造为企业核心且长期的能力。缺陷：不适合尚在探索机器学习，只为小范围的内部应用场景。大规模应用机器学习仍是当前最大的数据挑战 ModelArts AI平台架构图        华为云ModelArts为政企客户提供一站式的AI训练和推理平台，其具有如下特点：支持AI全栈、全流程、全场景开发训练支持资源统一管理、统一池化调度支持业界主流引擎和自研引擎，实现零成本迁移提供多维度功能特性，满足各类用户        在近日发布的《IDC MarketScape: 中国大数据管理平台厂商评估，2020》(以下简称IDC大数据报告)报告中，对中国主流大数据厂商从能力、战略、市场份额三个维度进行了全面评估，华为云位居领导者象限领先位置，并在技术实力和市场份额两大维度双领先在技术上持续创新打磨之外，华为云FusionInsight也是“最懂行”的大数据解决方案：        在政府领域，国内50%的智慧城市都有华为云FusionInsight的孜孜不倦的身影，华为云大数据已支撑多个部委和各省市地区建设“大数据+政务”。在某市，华为云FusionInsight联合伙伴建成“一云二网三平台”，在统一的政务数据逻辑模型的指导下，针对民生、产业、政府的“痛点”和“难点”，从构建城市数据资源库为开端，以大数据分析支撑政府智慧决策，以建设智慧应用为抓手，打破信息孤岛，实现信息资源交换共享，在 “数聚惠民”、“数聚兴业”、“数聚善政”三大方面，发挥大数据的威力，支撑 “一号、一窗、一网” 政务服务，让简政放权、百姓办业务“最多跑一次”成为现实。        在金融领域，国内50%的TOP20金融客户(含银行、证券、保险等)均已使用华为云FusionInsight构建其大数据平台。某行使用华为云FusionInsight构建大数据基础平台，支撑了银行企业级数据湖、数据仓库、集团信息库为核心的“一湖两库”建设，承载了总行及各支行业务系统，支撑日常银行BI、AI、数据挖掘、数据分析等，实现了一份数据全局可用，免除数据搬迁，提升协同效率10倍，存储周期提升2倍，资源利用率最大可达90%，加速银行数字化转型进程。        在运营商领域，国内三大运营商均使用华为云FusionInsight构建其大数据平台。广东移动基于华为云FusionInsight，联合政企客户共同打造智慧电网、智慧交通、智慧港口、高清视频等系列标杆应用，打通数据全生命周期链路，实现对内业务支撑、对外应用赋能，全面支撑了各类政务、民生等大数据应用服务。        在交通领域，深圳地铁在6、10号线采用华为云FusionInsight构建大数据分析平台，打造领先的5G+大数据方案，并构建其数据资产中心和运行监控中心，承载地铁各业务系统，支撑设备健康、能耗管理、客流统计、线路中心级监控、应急决策和图像型火灾分析等线路级数据分析，数据分析效率从周级缩短至分钟级，实现高效运营，推动深圳步入更美好的全联接数字化轨道交通新时代…        除过在以上各行业的应用，在环境保护方面，青海绿能数据有限公司基于华为云FusionInsight构建了国内首个能源大数据创新平台，实现了规划辅助决策、用气象数据科学指导发电等创新业务，为上下游产业链企业提供25类47项数据服务，推动28座新能源场站实现了“无人值班、少人值守”，并有效支撑了青海“绿电15日”，以大数据为基石，建设绿色新青海，守护高原和谐生态。        同时，华为坚持“自己的降落伞自己先跳”，华为集团IT通过FusionInsight构建OneData大数据集群，实现大数据平台在大规模场景下的开拓，OneData集群其规模已至1万+节点;同时，实现了统一的数据管理服务，在菩提海UniDB产品中，通过逻辑统一方式，把50+物理分散的计算集群(Hadoop+MPP)，基于五统一(数据安全，元数据目录，数据集成，数据访问，任务调度)，整合成湖仓一体的架构，支撑上千个企业租户的PB级数据分析处理需求。一个基于FusionInsight MRS+DWS 的“+治理，+AI，+运营，+云”的融合数据底座(菩提海)已经在华为集团IT广泛使用，未来可期。        以上只是“冰山的一角”，华为云FusionInsight一方面不断深入理解客户不断发展的业务诉求，另一方面，持续技术创新并引领行业发展，商业诉求+技术创新双轮驱动行业可持续、高质量发展，“用数”助力客户商业成功!上面的论述已经充分证明，华为云是“懂行”的大数据领导者，真正让客户用好数、管好数、放心用。    据了解，截至2020 年10月底，华为云FusionInsight 智能数据湖已服务60+个国家和地区，3,000+客户，覆盖政府、金融、运营商、电力、传媒、医疗、教育、交通、油气、物流、零售、制造、互联网等行业。PS：华为云FusionInsight智能数据湖将参加2020高交会，参展时间：11月11日-15日，展馆地址：深圳市会展中心1号馆1A16，感兴趣的朋友不要错过，每天更有好礼等着你！更多内容，华为云FusionInsight系列文章：https://bbs.huaweicloud.com/forum/thread-66105-1-1.html 免责声明：文中部分图片来源于网络，如有版权问题请联系作者删除。

获奖名单公示：活动名称奖项名称用户昵称礼品名称活动1     【11.11数据库】    你跟帖，我送礼留言评论数最高奖 梦想丶冲冲冲99元“荣耀魔方蓝牙音箱”1个互动盖楼奖真爱无敌懒人手机支架5个    公牛插座17个    华为会员卡10张    （活动效果超出预期，    公牛插座数量不足，    增加价值20元的华为VIP视频月卡10张）yzx问道疾风雷影richblue88糖小夕黑嘿云司机ZEHANZXYpy6840lte网络工程师speeds大师姐大师哥hw25964Tianyi_Li昊旻呆憨神侍也太晚冠冠冠哦哦喜欢就爱上分布式大发去在斯科拉就到了时间安徽水利科技凯乐科技啊发发发qweqwefranco52576神的孩子全跳舞LDIDIDI活动3     【11.11数据库】    你学习，我奖励课程报名奖hw46018172送礼品公牛插座/三合一数据线/天堂伞任意一个zekeloveRichiercftangamy20学习进度100%奖abcabc送手机臂包/手机懒人支架任意一个（共2个）莹以上是双11活动的中奖用户首先，恭喜各位中奖；其次，请填写收件信息，一定要填正确哈！我们会尽快发出奖品。https://devcloud.huaweicloud.com/expert/open-assessment/qtn?id=fea524ee4e8e46b7a95300e9fe112346获奖用户已私信通知，如您未在12月13日24：00之前提交获奖信息，视为您自动放弃。双11的狂欢，华为云数据库岂能错过！既然来了，怎能让你空手而归…… 活动时间：2020年11月9日~2020年11月30日活动流程：参加“华为云11.11数据库专场”活动（以下简称11.11数据库）的用户，可通过完成各项指定任务，来获取任务对应的奖励和抽奖机会。本次活动共三个，分为活动1、活动2、活动3，所有用户均可参与，每个活动抽奖相互独立。为提高每个用户的中奖率，多场中奖的用户原则上只发放一个最高价值的奖品。活动1 【11.11数据库】你跟帖，我送礼任务任务具体内容奖品跟帖留言就中奖在本帖下方留言区回复【11.11数据库】或【数据库双11大卖】，可获奖品“荣耀魔方蓝牙音箱”或“手机懒人支架”；1.留言评论数最高的用户，可获得价值99元“荣耀魔方蓝牙音箱”1个。 2.每11个留言楼层随意抽取一个幸运用户，可获得价值68元手机懒人支架一个，数量有限，送完为止，之后中奖的用户送公牛插座（上条1中中奖用户不重复参与）。奖品如下：荣耀魔方蓝牙音箱手机懒人支架公牛插座活动2  【11.11数据库】你下单，我满减任务任务具体内容奖品单人成团：你敢买，我敢送，晒单更有大礼 1. 社区下单也可享直播间同等优惠。 2.购买成功的用户，社区晒单留言，有礼相送1. 通过下方链接购买云数据库的用户，享受直播间同等优惠（11月16日24:00前下单并付费）。优惠券见下方！华为云数据库双11活动产品购买链接：https://activity.huaweicloud.com/dbs_Promotion/index.html2. 购买成功的用户，在社区晒单留言，我们还有礼品相送l  满1000元的用户，送价值38元的公牛插座一个（可置换成魔方插座、三合一数据线、天堂伞）l  满2000元的用户，送价值88元的手机臂包一个（可置换成手机懒人支架）l  满3000元的用户，送价值168元的折叠烧水壶一个（可置换成便携水壶）11.11直播专属代金券使用规则使用范围：华为云注册用户，不限新老，不限企业个人有效时间：11月9日至11月30日代金券面值抵扣金额代金券领取使用规则 400元 满1000减400https://account.huaweicloud.com/usercenter/#/getCoupons?activityID=P2011060946008720SU9Q780CC4MGD&contentID=PCP2011061048409060EEB2AK1IBT0QK 仅限云数据库（1）每位用新户可获得固定总额的华为云优惠券；（2）新购优惠券不可用于活动价商品，仅限官网直接下单使用；专属券仅用于云数据库套餐产品； 800元 满2000减800https://account.huaweicloud.com/usercenter/#/getCoupons?activityID=P2011060957414191YOZW1P01PPG1Z&contentID=PCP20110610522120716Y3OUH0D1NLDX 1200元 满3000减1200https://account.huaweicloud.com/usercenter/#/getCoupons?activityID=P2011061000418340BK1SJM1K2RL7K&contentID=PCP2011061054275830VEMQIT1BQ8ABQ 奖品如下：魔方插座三合一数据线天堂伞运动臂包懒人手机支架折叠烧水壶活动3  【11.11数据库】你学习，我奖励任务任务具体内容奖品数据库免费指定课程学习，晒截图送礼品1.完成免费课程报名，上传报名截图帖；2.社区分享学习进度 1. 报名《数据库》课程，上传报名截图帖，回帖盖楼，每10楼随机抽取一位送礼品公牛插座/三合一数据线/天堂伞任意一个2. 学习进度回帖盖楼，指定学习的课程中任意一门进度为100%的用户，随机抽2名用户送手机臂包/手机懒人支架任意一个（共2个）注：本次活动之前已学习的用户，不能参与本次盖楼抽奖。选择【数据库基础】和【数据库设计基础】两门中的任意一门课程进行学习即可，课程链接：https://developer.huaweicloud.com/resource/roadmap/db.html示例：课程报名成功截图示例：学习进度截图活动规则：1. 此活动仅限华为云官方注册用户，为保证活动公平性，禁止用户以IAM账号身份参与活动，否则将视为无效。2. 直播结束后的7个工作日内，中奖用户会收到来自华为云平台的问卷，问卷内容需要中奖用户填写姓名、性别、联系方式、电子邮箱、通讯地址等相关个人真实信息。问卷发放后超过3个工作日，未收到中奖用户的问卷反馈视为主动放弃。3. 实物礼品在直播结束后7个工作日内完成发放，请耐心等候；因本次活动奖品发放数量较大，发放时间根据实际情况动态调整，如有延期敬请见谅。4. 活动过程中，每位参与的用户仅有一次中奖的机会，符合多场活动的中奖者，平台会根据多次中奖礼品中价值最高的进行发放，其他中奖名额以此往后顺延。PS：用户参加本活动视为理解并同意华为云《隐私政策声明》，华为云《隐私政策声明》网页地址如下：https://www.huaweicloud.com/declaration/sa_prp.html）。所有实物奖品包邮，不额外收取任何费用。由于获奖用户自身原因（包括但不限于提供的联系方式有误、身份不符或者通知领奖后超过30天未领取等）造成奖品无法发送的，视为获奖用户放弃领奖。活动主办方将仅为前述目的以及适用法律限度内收集和使用用户的个人信息（用户在向华为云提交个人信息之前，应阅读、了解华为云《隐私政策声明》；为保证活动的公平公正，华为云有权对恶意刷活动资源（“恶意”是指为获取资源而异常注册账号等破坏活动公平性的行为），利用资源从事违法违规行为的用户收回抽奖及奖励资格。本活动规则由华为云在法律规定范围内进行解释。华为云保留不时更新、修改或删除本活动规则的权利。所有参加本活动的用户，均视为认可并同意遵守《华为云用户协议》，包括以援引方式纳入《华为云用户协议》的《可接受的使用政策》、《法律声明》、《隐私政策声明》、相关服务等级协议（SLA），以及华为云服务网站规定的其他协议和政策（统称为“云服务协议”）的约束。本次活动最终解释权归华为云平台所有，如果您不同意本活动规则和云服务协议的条款，请勿参加本活动。

城镇集中供热是国家重要的民生保障事业，是落实我国能源生产和消费革命战略的重要阵地，是打好城市“蓝天保卫战”的主战场。长期以来，由于受到企业盈利能力差、技术条件落后、管网及设施老旧、系统改造投入不足等多种因素影响，我国北方城市供热系统普遍存在供热安全、环境污染、供热投诉和能耗偏高等问题。其中，重大供热事故不仅严重影响市民的正常生活，而且成为影响社会安定的隐患；供热排放已经成为北方城市冬季雾霾加重的主要叠加成因；市民对供热质量和服务要求的不断提高，供热不平衡造成的投诉率居高不下；供热生产系统老旧、控制方法落后、控制手段受限，造成供热企业能耗超标、经营亏损等问题。因此，引入创新技术、改善设备设施、优化全面管理以加强供热安全、降低污染排放、提升供热质量是供热企业面临的重要课题。信息技术的发展为供热行业破解发展难题提供了手段和路径。过去二十年，供热行业经历了自动化、网络化、智能化的发展过程，正在迎来以大数据、云计算、人工智能和物联网技术为代表的智慧供热阶段。 2019年，在黑龙江省政府的推动和支持下，北明天时与华为公司联合在哈尔滨市成功实施了智慧供热管控云平台试点项目。该项目采用华为云和华为人工智能技术成果，全面应用了云计算、大数据、人工智能、物联网等新技术，通过供热一次网平衡改造、二次网平衡系统建设、用户室温采样监测系统和政府供热监管平台建设，为供热城市提供了一个涵盖政府-企业-用户、融合政府监管、企业生产和管理、提升用户服务等职能的统一服务平台。智慧供热管控云平台将大数据、云计算、物联网和人工智能技术与供热生产管理系统深度融合，消除原有平台的发展瓶颈，打通供热系统源-网-站-户全流程数据；通过多维度数据挖掘和大数据分析，提供基于气候模型的精准负荷预测；通过人工智能实现高效准确的全网平衡控制；建设供热二次网和用户末端的监控系统，通过二次网平衡控制，为用户提供更加优质的供热服务；满足把握全局、精准调控、按需供热的要求，实现供热系统的深度节能和整体优化。 智慧供热管控云平台实现了供热系统服务 “政府可管、企业可省、用户可感”的建设目标。政府借助智慧供热监管平台可监督供热企业的运行状态和供热服务质量；企业应用智慧供热生产管理系统打破信息孤岛，采用人工智能优化控制策略，实施高效率的源-网-站-户全流程联动控制；用户直接感受到更加优质的供热服务，服务满意度得到大幅提升。经过2019-2020年采暖季的运行，项目取得了良好的运行效果。根据2020年8月哈尔滨市住建局组织有关专家对试点项目进行的评审报告：人工智能投运阶段节热率约为6.8%，人工智能投运二次网节热率约为10%。项目已初步实现了惠民、提质增效、节能环保、安全供热的目标。报告指出智慧供热必将提升企业核心竞争力，成为供热行业革新推动力，建议在推广过程中统一规划、分布实施、不断创新、合理推进。从今年开始，北明软件与华为公司联合计划在全国推广建设智慧供热管控云平台项目。将哈尔滨市智慧供热建设的成功经验在广大北方城市供热企业推广落地，推动我国集中供热企业实现深度节能减排、提升服务和管理升级。我国城市集中供热面积近140亿平米，且每年以超过5%的速度增长，全面实施智慧供热将为行业每年节约能源支出超过200亿元。同时，将拉动能源电力、网络通讯、信息服务和机电设备制造等多个产业和领域的协同发展，有效推动“新基建”工程在供热行业的应用。智慧供热管控云平台积极探索运用大数据、人工智能技术与供热系统融合创新、并在精准负荷预测及系统调控、保障用户按需供热等多方面进行了有益的探索和应用实践。从控制稳定性和控制周期等技术指标上看，采用人工智能控制的实际效果超出了传统控制方式，初步实现了“源网站户”的联动闭环调节，是人工智能在传统应用场景的成功实践。未来将加强与机理仿真模型的结合，使系统信息数据真正完备、做到数据孪生，更好地进行大数据学习与挖掘，提供更加优化的解决方案。10月22日，北明天时董事长韩向明在华为云直播间为大家带来一场精彩的主题分享——《基于大数据的智慧供热管控云平台》，点击下方直播观看地址，即可查看。直播观看地址：https://bbs.huaweicloud.com/webinar/100023（选择智慧城市·科技惠民新高度）【华为云云市场，助您上云无忧】

马上要到1024程序员节了对于程序员来说1024是一个举足轻重的日子1024不仅仅是2的10次方更是程序员自己的节日程序员就像是一个个1024以最低调、踏实、核心的功能模块搭建起这个科技世界平日里都是他们搞定难题，解决Bug这一次华为HDZ将要在1024程序员节当天开启线下“解忧咖啡馆”“说出你的烦恼”大家一起解忧愁、疗困惑、治痛苦~~~参与线下游戏互动如”你画我猜“充当灵魂画手，画出程序猿的烦恼~~~还有机会获得解忧饮品、解忧书，还能抽盲盒、抽礼品！ 用技术改变世界的你们值得更多的美好啦~~提前解密开启解忧咖啡馆活动的城市:深圳！！！！合肥！！！！！具体活动时间及地点将在1023直播盛典当天公布！添加小助手微信号：回复【1024+城市名】，预报名点击了解更多#华为云1024程序员节·向云而生#点击预约#狂欢直播日#HDZ社区—携手全球开发者 共建开放、创新、多元的开发者社区组织       HDZ是Huawei Developer Zone的英文缩写，是华为开发者生态面向全球开发者建立开放、创新、多元的开发者社区组织。      致力于帮助开发者学习提升、互动交流、挖掘机会，推动ICT、互联网等产业生态的建立和发展。      对云计算、IoT、人工智能、5G、区块链、鲲鹏、昇腾、软件开发与运维、开源等各技术领域感兴趣的开发者、软件工程师、创业者、运营人、产品人、大学生、老师等都可以参与到HDZ。      HDZ秉承开放、创新、多元的社区文化，完全由各地HDZ组织者、志愿者自发组建和领导。华为公司不直接参与HDZ组织建设和领导，只按需对HDZ社区活动提供必要的方向指导、资源支持、活动支撑等，并为各地HDZ组织者提供与全国组织者互动交流的机会。

为什么很多公司的大数据业务都基于Hadoop方案？Hadoop有成熟的生态圈，开源、免费并可以解决问题成为众多公司的首选方案。Hadoop生态圈中的明星计算引擎MapReduce，是解决大数据的最直接的方案之一，他的工作原理是把大块的任务切分为若干份小任务，由集群的每台服务器来计算，最后把结果合并。那你了解MapReduce吗？本期体验师活动联合华为云大数据计算明星产品——MapReduce服务（MapReduce Service）提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件，带你快速玩转大数据！参与大数据体验师活动，精彩好礼等你拿！一、参与流程：1. 参与直播互动，送100元京东卡/华为云定制背包等精美好礼本次直播已结束，期待下次的精彩直播~欢迎进入直播交流群，若无法入群可添加小助手微信号（speakerHTJ）2. 参与Demo实践+技术博客分享，赢音响、手环等众多好礼本次活动共2个基础demo和1个场景demo，将自己实践的过程和心得记录在华为云博客，优秀的博客我们会同步推送到华为云的其他内容平台，累积阅读量最高的用户，将依次获得音响（1个）、手环（3个）及专业书籍（5本）。从零开始使用Hadoop：https://support.huaweicloud.com/usermanual-mrs/mrs_01_0365.html从零开始使用Spark SQL：https://support.huaweicloud.com/usermanual-mrs/mrs_01_0367.html使用Spark实现车联网车主驾驶行为分析：https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0001.html发布博客链接：https://bbs.huaweicloud.com/blogs/article（在留言区回复文章链接即可）在活动期间，如果有任何数据处理的使用和技术问题，都可以来论坛咨询讨论，我们都将为您解答。活动结束时间：2020年10月10日优惠购买链接：大数据域1元购活动页：https://activity.huaweicloud.com/bigdata-developer.html?0911价值1246.6元MRS包周期1元购优惠直达：https://console.huaweicloud.com/mrs/?activityURL=https%3A%2F%2Factivity.huaweicloud.com%2Fbigdata-developer.html&service=https%3A%2F%2Factivity.huaweicloud.com%2Fbigdata-developer.html&region=cn-east-3&actId=P20082008043549415QWS0G0MBJ9WL&pkgId=PPP2008200804354071WD7N2O1W4AGAH&pkgPeriodNum=1#/promotion

一、业务背景数据已成为国家基础性战略资源。武汉市早在2015年就启动政务云（数据）中心建设，通过统一政务数据资源门户、统一数据资源管理平台、四大数据资源服务、数据标准、支撑多项应用（简称“1141+”）的建设，推动政府信息系统和公共数据互联共享。近年来，新洲区在智慧城市建设中已取得一些成效， 但在政务信息资源整合共享方面，仍然与国家、省、市的相关要求存在一定的差距。各部门信息化建设水平参差不齐，无法满足委办局间异构系统多元信息融合需求，无法支撑多行业、多领域信息共享需求，对城市管理、科学决策无法形成科学有效的数据支撑。具体表现为：（1）基础信息网络和信息采集网络尚不健全；（2）智慧应用建设缺乏顶层架构和统筹整合；（3） 数据资源和共享体系尚不完备；（4） 跨部门协同联动机制缺失；（5） 信息化支撑应急响应与协调指挥能力不足；（6） 智慧新洲建设资金和人才支持薄弱。 二、客户诉求在此背景下，武汉市新型城区新洲区积极响应，在“智慧新洲”规划中就明确：1. 要有效整合部门信息，加强与上级有关部门网络数据的衔接，实现跨行业、跨部门、跨区域的数据共享和业务应用；2. 要加快公共信息服务平台建设，及时将信息资源向社会开放；要加强信息安全管理，健全和完善安全保障体系，切实保障大数据安全；3. 要发挥政府引导和市场主体两个作用，充分调动社会资源参与建设，构建多元驱动发展的良好格局。 三、解决方案华为云与心通达结合，协助武汉市新洲区人民政府建设新洲区大数据综合服务平台，以满足新洲区政务服务工作和业务管理的需要，为政府更好的提供个性化服务。项目立足智慧新洲大数据的应用与服务，通过建设大数据标准规范体系、信息资源库、数据综合管理平台、空间地理应用平台、政务协同办公平台、政府门户网站与掌上新洲APP等内容，汇聚、管理、分析、展示新洲政务及各行业数据资源，创造政务服务资源共享条件，逐步实现基于大数据的市场化运营服务。心通达OA智能网络办公平台使用了华为云弹性云服务器 ECS，存储方面应用了内容分发网络 CDN以及云硬盘EVS，帮助用户管理存储数据；数据库方面，为了保障性能使用了云数据库 MySQL版以及分布式缓存服务 Redis。根据新洲区政府的项目要求，主要对心通达OA 实施以下几大功能模块：个人办公、公文管理、事务审批、信息发布、知识管理、门户管理等。1. 主页面为门户展示，分为个人工作门户或领导门户，支持将待办工作、公告通知、新闻等直观展现在首页。 2. 通过公共文件柜实现各单位、部门之后的数据资源共享，增强部门间的联动。 3. 将线下审批流程实现线上流转，通过工作流模块可一键创建流程，不同的流程在相应的分类下进行查找。进入工作办理界面，可以选定工作优先级，便于用户办理工作时区分哪些工作需要立即处理。 4. 沟通上，包括IM聊天功能和组织架构模块。组织架构模块展示了该公司包含的人数，各个部门以及部门中每个员工的信息，也可点击右上角的搜索按钮搜索想要查找的员工。点击人员信息可以查看名片信息、聊天、发邮件、打电话。 四、改变与提升1. 通过搭建心通达智慧政务平台，新洲区人民政府各部门之间的协作等效率大幅度提升，时间成本节省约50%；2. 审批效率提升。政府部门有大量的收发文及各种审批流程，流程流转可视化后，效率提供一倍以上；3.  节省的大量纸质耗费，避免了近一倍的资源浪费；4. 通过对接市政务云（数据）中心建设成果，构建跨部门、跨系统、跨领域的业务协同，为新洲打造政府治理科学化、公共服务便利化、数据资源市场化、产业发展体系化的大数据应用先行区，实现经济社会转型升级、跨越发展提供有力支撑，促进了全区政府部门信息化基础设施整合和资源共享。文中提到的商品：心通达OA（严选商城在售）【华为云云市场，助您上云无忧】

        8月26日，2020（第五届）大数据产业生态大会在北京举行。在这场中国大数据产业最盛大、最具专业性的行业聚会上，组委会权威揭晓"2020中国大数据企业50强"榜单，华为大数据连续四年位于榜首。        同时，华为云FusionInsight智能数据湖获得“2020中国大数据·最佳解决方案”，DWS获得“2020中国大数据·数据仓库领域最佳产品”，华为云智能数据湖运营平台DAYU获得“2020中国大数据·数据治理领域最佳产品”，这是业界对华为在大数据领域持续技术创新、实践应用等方面成绩的再度肯定。        华为云大数据开放兼容，引领中国大数据技术与产业的发展        华为发言嘉宾在大会报告中介绍，华为云大数据团队持续耕耘， 拥有10年+丰富经验，深度理解客户业务场景；拥有500+专利，掌握大数据核心技术；践行平台+生态战略，为社区贡献了CarbonData和openLooKeng等优秀产品, 贡献度在Hadoop社区达Top-2，Spark社区达Top-4。        IDC数据显示，华为大数据在市场地位中国区TOP1，华为数仓已成为数据分析领域的顶级厂商。        华为云FusionInsight智能数据湖，释放海量数据价值        针对多样性业务&系统&数据带来的挑战，华为云围绕政企大数据全生命周期，提供领先的“智能数据湖”解决方案FusionInsight。线上线下统一架构，充分利用了云原生领先技术，如K8S、鲲鹏多核、存算分离等。基于统一数据存储底座，包括了MRS大数据、DWS数据仓库、DAYU数据湖运营等云服务，释放海量数据价值。        统一数据存储：把语音视频、图形图像、文本和时序等多种类型的数据统一用OBS存储服务，采用领先的CarbonData存储引擎，提供多种索引技术实现快速详单查询；利用独有的存算分离架构，将原先1:3备份，缩减到最低1:1.09，资源利用率由33%提升至91%，极大降低存储成本。        多元计算重点介绍以下两个服务： 企业级大数据平台MRS，作为企业数据湖底座，拥有超2万节点大集群管理能力，业界最佳，当前生产上最大集群规模1万+节点；企业级多租户能力，让一个企业一个湖成为现实。        企业级能力让大数据运维无忧，拥有成熟的在线升级能力，升级过程业务零中断，业务永远在线，经金融、政府等客户实践得到行业高度认可。        让传统大数据走向实时分析，支持数据湖事务ACID，实现企业数据实时增量入湖，让大数据分析从T+1到T+0，让业务创新更敏捷。        支持高性能交互式查询引擎秒级供数，实现湖仓一体，数据不出湖，直接对接BI类业务，自助分析，数据供应链路短，效率提升2倍+。        支持跨源跨域的数据分析，打破地域数据墙，使得企业跨域分析效率从周提升到分钟级。 企业级数据仓库DWS为全球500+大客户的规模商用所验证，又汲取了云原生的技术优势。一套数仓集群支持多类型业务分析，跨源跨域跨集群，协同分析简单高效。        采用无中心节点的全对称分布式架构，设计集群规格可达4096节点，客户期初可从少数节点搭建，一键扩容线性提升性能和容量。        基于多层级、全并行计算引擎，充分现代CPU多核优势，在PB级海量数据场景下提供高性能SQL分析。        云原生支持分布式事务ACID，能保证全场景数据的强一致性。全组件采用主备或多活的设计理念，无单节点故障，保障客户业务不间断平稳运行。        兼容标准SQL 2003，学习成本极低，简单易用。 数据湖运营DAYU: 提供了包括数据集成、数据开发(含建模)、数据治理、数据服务的一站式可视化数据运营能力，帮助企业快速构建自己的数据使能平台，加速数据价值发现。        全域数据统一视图，让用户对数据资产深度“认知”。以数据目录为中心一站式数据运营，快速找到最合适的数据源，更易数据消费；源头在哪，目的地在哪，数据血缘一目了然；拖拽式开发，E2E数据链路编排管理，行业模型算子使治理更高效。        据介绍，华为云智能数据湖FusionInsight 已广泛用于政务，金融、运营商、大企业、互联网等领域，是60+国家，3000+客户数字化转型的共同选择。

        8月31日，华为云举办TechWave大数据专题日，围绕“大数据技术普惠创新，释放千行百业数据价值！” 主题，从金融、运营商等行业在大数据创新的实践，顶级高校的大数据顶尖人才培养和科学研究，以及华为云FusionInsight智能数据湖系列大数据产品的技术创新等方面，以产学研深度融合的方式展开分享和探讨。专题日上，还重磅发布实时数仓新品。大会的精彩内容，让我们一起来看下吧！大数据技术普惠创新，释放千行百业数据价值        上世纪90年代至今，人们经历了PC时代、互联网时代、移动互联网时代，当前正在迈入智能数据时代。随着技术的演进，数据也发生了巨大变化。数据规模越来越大、数据种类呈现多样性、数据处理时效性要求越来越高，同时，对数据融合分析要求越来越强烈。        华为云人工智能领域总裁贾永利表示，“为了应对企业应用大数据面临的各种挑战，华为云推出了智能数据湖FusionInsight，围绕客户在采存算管用等数据全生命周期提供整体解决方案。“方案包含了MRS大数据、DWS数仓、DAYU数据运营等产品，并由华为云博士天团进行详细解读。        同时，为了响应政企客户在数据仓库方面对时效性的需求，专题日还重磅发布了DWS实时数仓新品，其具备快、易、简、省四大特点，具体如下：快：实时数仓时序数据单机入库性能支持每秒10万条数据、每秒60万条流数据持续计算入库，并可线性扩展。易：支持基于SQL完成复杂流式计算语义定义，简化开发。以Druid监控的一个场景为例，仅用150行SQL代码实现了原有1900 行Druid脚本同样的功能。简：实现了1 = N。在一个平台内，同时实现Flink/Spark Streaming（流数据处理）+Druid（流数据预聚合）+InfluxDB（时序数据处理），简化了开发和运维工作。省：时序数据经过实时数仓的自适应压缩算法，最高可达40:1的压缩比，将多维度行列存储优化，数据冷热温自动分区，极大地减少存储空间，节省用户成本。        华为云DWS实时数仓，适用于IoT和运维监控场景，已经在华为流程IT运维大数据平台上线使用。工商银行、广东移动分享大数据创新实践        大数据专题日中，工商银行、广东移动作为行业的领军者，分别分享了基于华为云FusionInsight的大数据创新实践。        工商银行软件开发中心总经理刘承岩表示：“在智能化阶段，我们引入了华为云FusionInsight、GaussDB等产品，搭建了自主可控的大数据云平台，解决了大数据全场景生态化应用的存储、算力和算法挑战，支撑了我行企业级数据湖、数据仓库、集团信息库的一湖两库建设，数据智能服务由事后快速演进到事前、事中的阶段；在生态化阶段，我行进一步深化和华为云的合作，实现大数据云平台和华为云Stack云基础设施的融合，进一步提升大数据云平台的高可用和弹性灵活扩展能力，全面支撑金融数据湖的生态化建设，更好的服务于我行数字工行转型！”        同时，中国移动通信集团广东有限公司信息系统总经理谭丽丽表示：“为更好释放运营商大数据的强大生产力，用好数据、技术等资源，提高广东移动大数据平台的能力，广东移动基于华为云FusionInsight构建智慧大数据平台，积极创新面向个人客户的应用服务，联合政企客户共同打造智慧电网、智慧交通、智慧港口、高清视频应用等系列标杆应用，全力推动5G+大数据，服务百姓、融入百业，更好地满足广大客户对美好数字生活的需要！”清华大学：产学研深度融合，培养大数据领军人才        清华大学软件学院院长、信息学院副院长、大数据研究中心执行主任王建民分享了他对大数据顶尖人才培养的看法。他认为，大数据作为一种新型战略资源，其运用将改变人们的传统认知，对大数据开展持续深入的研究，不仅将引发学科建设、科学研究等方面的深刻变革，还将极大的推动人才培养和教师队伍建设。未来，清华大学将持续不断的培养大数据领域的专门人才，在数字中国、数字经济、新基建等重大领域，让大数据人才“学以致其道，算以致其用”。同时，依托大数据研究中心，持续与华为等企业一起，创新合作机制。持续探索与兄弟院系、学校开展跨学科、跨领域的深度融合， 打造顶尖的大数据科学研究团队，突破大数据关键领域与技术，培养一批有水平，有远见，有担当的大数据领军人才，为社会繁荣发展做出贡献！华为云FusionInsight引领全球大数据技术发展        华为云FusionInsight解决方案首席架构师洪福成为我们解读了华为云FusionInsight整体架构解决方案。        华为云FusionInsight智能数据湖为政企客户提供了一站式大数据分析平台，其主要有以下四个特点：大集群：支持单集群2万节点。华为自研Superior超级调度器，可以调度2万+节点规模；单跨机房部署，解决空间不足；业务自动感知；支持滚动升级，业务运行0中断，用户体验无感知。湖仓一体：批处理和交互式查询融合， “0”数据搬移。基于HetuEngine组件实现交互式查询，数据“0”搬迁；资源基于YARN进行统一调度，资源利用率高 、成本更低；支持多租户，多部门业务任务并行处理。实时数据湖：数据T+0实时入库、消费、分析。数据增量更新入库：基于行级Delta文件，IO小，面向实时更新优化，T+0时效；支持ACID事务，确保数据一致性，多方并发读写数据；Carbon支持索引，精确点查比Parquet性能提升100倍，1PB数据精确点查30内响应。一个企业一个湖：集约高效、易管理。资源利用率高：湖内全量数据批、流、交互式多引擎融合，多租户权限隔离，统一资源调度，资源利用率提升至90%；分析效率高：数据在统一数据湖内，数据流转链路短，分析效率高；易管理、易维护：统一集群，一个版本；滚动升级，业务“0”中断。CarbonData释放海量数据价值 尽显数据湖之美        华为云大数据高级架构师郝行军博士为我们解读了华为自研的CarbonData数据存储引擎。        其面对复杂业务场景可实现全局一份数据到处使用，免去数据搬迁的困扰；面对海量数据的查询使用，针对性优化了查询加速，可实现PB级数据30秒内响应；在时间就是金钱的信息时代，时效性的突出优势被企业所看好，同时CarbonData支持大数据更新，可实现数据T+0实时入湖，优化了传统T+1、T+2的可见时延。    DWS新一代、全场景、云数据仓库    华为云DWS总经理叶涛分享了数据仓库的大、快、稳等特性。大： 分布式架构、高扩展，容纳海量数据和业务DWS从架构源头上采用了Share-Nothing无共享的分布式架构，单集群PB级以上的数据容量，最大可扩展至2048个节点。随着节点数增加，集群的性能和容量线性增长，线性加速比>0.9。快：聚合海量算力、最优效率，导入和分析快如闪电采用了全并行计算的架构。支持多个物理节点并行计算。同时，实现了新一代智能优化器技术、高效的算子算法、动态编译等核心技术，带来了高效的指令效率。稳：多层备份、多级保护，实现数据无忧、持续可用在GaussDB(DWS)的系统部署中，关键硬件都有冗余备份。 所有的软件组件都能实现实例多活或者Active-Standby的互备。同时，实现了全方位的软硬件故障检测，一旦出现了硬件和软件的故障，集群都可以快速的检测和响应，自动的故障切换，实现数据无忧，业务持续可用。DAYU一站式数据运营，管好数，用好数       华为云大数据产品总监杨兴华分享了一站式数据运营平台DAYU，协同伙伴，使能“从比特到信息”的价值发现，释放数据之美，助力企业管好数，用好数。        其核心特点如下：全域联邦数据资产管理：支持超过30+的数据源对接，形成数据融合协同，同时也不破坏原有的IT系统建设，支撑达到“立而不破”的效果。开放的架构体系：DAYU围绕数据使用，今年重构了整体架构，重心面向伙伴协同，打造开放体系，提供分层API接口供伙伴调用，包括基础的集成开发，元数据管理、安全管理，数据开放，以及高级的质量管理，数据模型，资产运营等，伙伴可以根据自身系统和业务特点按需集成；共享型行业资产模型：在资产运营管理框架基础上，采用模型驱动的理念实现资产的一键注入、导出、自动化管理，数据资产化效率实现3倍提升，支撑伙伴快速构筑行业数据资产生态。        此外，DAYU围绕数据目录，资产地图，数据血缘，打造了进阶式的数据资产管理体系。在数据安全方面，DAYU从最开始就围绕数据规划了完善的安全管理能力，包括权限管控、合规审计、敏感发现、隐私保护和风险管理，让用户放心用数。        DAYU推出一年多以来，其端到端全流程数据可视管理，一键式资产沉淀能力，加速了企业数字化转型的进程，受到行业伙伴和客户的欢迎。未来将继续围绕数据价值使能，坚持架构开放，持续丰富各层级的API，进一步普惠伙伴，助力沉淀行业数据资产。        目前，华为云FusionInsight智能数据湖已广泛应用于政府、金融、运营商、大企业、互联网等行业，已为全球60多个国家和地区的3000多家政企客户提供服务。未来，华为云FusionInsight将与800多家合作伙伴一起，携手客户创新应用实践，基于FusionInsight智能数据湖构建领先的数据基础平台，实现一企一湖，业务洞见更准，价值兑现更快。让政企用户更方便快捷高效地用好数据，加速数字化转型升级。        8月31日，华为云TechWave大数据专题日成功举办。让我们看金融、运营商等行业趋势，听顶级高校人才培养之道，学华为大数据领先技术，各路领军人物“华山论数”，精彩内容更能回看！大数据专题日地址：https://www.huaweicloud.com/about/techwave_bigdata.html    华为云大数据调查问卷：    有奖观影活动：

    “2020年疫情突发，广东移动通过用户注册提交信息，快速组装业务逻辑，注册大数据标准服务OPENAPI，以100个通道同时向外发布数据查询能力。结合大数据平台的快速能力，24小时内组装出‘健康码’的应用，查询返回时间小于1秒钟，每天响应200万的并发查询量，峰值达400万，高效助力疫情防控。”8月31日，华为云TechWave大数据专题日在线上举行，中国移动通信集团广东有限公司信息系统部总经理谭丽丽分享了运营商大数据创新应用实践。 广东移动信息系统部总经理谭丽丽数据价值日益显现，广东移动积极拓展大数据应用        近年来，在云计算、大数据、人工智能等ICT技术的推动下，数字化转型方兴未艾，数据的作用越来越重要。据GIV@2025预测，到2025年，全球97%的大企业将采用AI，90%的人口将拥有个人智能终端助理，58%的人口将享有5G服务。与此同时，企业的数据利用率将达86%，全球年存储数据量高达180ZB。这意味着，数据已成为至关重要的生产要素，蕴藏着巨大的价值和潜能。        据悉，作为运营商领域的创新排头兵，中国移动通信集团广东有限公司信息系统部总经理（以下简称“广东移动”）一直致力于拓展大数据应用，早在2015年10月便启动了大数据平台建设工作，并在2016年建立子公司统一的大数据生态，依托大数据平台来实现内部业务效率提升和外部用户服务。经过近五年的建设，广东移动大数据集群规模已超2500节点，存储容量达到80PB，覆盖移动用户数超1.3亿，是全国运营商领域覆盖用户数量最多，规模最大以及技术领先的大数据平台。        随着5G商用进程的深化，5G 技术将推动移动互联网、物联网、大视频、大数据、云计算、人工智能等关联领域裂变式发展，数据进一步迎来爆发式增长。为满足中国移动公司“5G+”战略布局及业务发展的需求，更好释放运营商大数据的强大生产力，用好数据、技术等资源，提高广东移动大数据平台的能力，广东移动基于华为云智能数据湖解决方案FusionInsight构建大数据智慧平台，积极创新面向个人客户的应用服务，联合政企客户共同打造智慧电网、智慧交通、智慧港口、高清视频应用等系列标杆应用。华为云提供数字底座，助力广东移动构建大数据智慧平台        为全面释放数据价值，广东移动大数据智慧平台分为基础设施资源层、技术平台层、数据平台层和应用层。其中，技术平台以华为云智能数据湖FusionInsight为数字底座，为上层大数据平台和应用提供数据采集和分发、Hadoop大数据处理、高性能资源调度器、增强实时计算和数仓等服务，通过数据虚拟化的统一SQL查询、分布式计算、高速传输优化及Redis内存优化、Flink内存管理优化等技术，大幅提升大数据处理效率。        在构建大数据智慧平台的过程中，广东移动还积极进行技术创新，包括自主搭建运营商数据平台，提供安全的、高并发、快速组装应用服务能力：引进无感知滚动升级，实现在线扩容而不中断业务；自主研发超级资源调度引擎Superior，提升系统资源调度效率4倍以上；自主研发跨集群协同技术，为5G高速发展提供技术储备等。广东移动大数据智慧平台        得益于华为云FusionInsight智能数据湖提供的数字底座，及上述多方面的技术创新，广东移动基于大数据智慧平台打通了数据全生命周期链路，实现了对内业务支撑、对外应用赋能。而依托数据平台高可靠、高并发、快速组装应用服务的能力，广东移动为各行各业研发了多个行业解决方案，全面支撑了包括疫情防控在内的各类政务、民生等工程的应用服务。在政务应用方面：广东移动智慧平台面对政府机关、事业单位的公共服务和公益类服务提供的精准短信推送能力，可依托大数据的标签洞察及客户触达能力，精准筛选用户，进行短信的精准投放。在旅游应用方面：通过数据平台组装大数据旅游应用，可圈定旅游地区，实时解析旅游区内的数据，定期生成景区热力图，并发布数据给大数据旅游系统。在精准扶贫方面：数据平台组装成大数据精准扶贫应用“岭南优品”，打造全国首个电商扶贫平台，为大数据精准扶贫提供智慧化平台。目前该平台用户规模达到670万，完成交易订单723万，交易额达2.2亿元。在防诈骗监控方面：通过数据平台提供的分析模型，组装防诈应用，对于异常外呼用户，优化过滤算法，识别出异常群体，及时阻断、回溯诈骗行为，减少人民群众损失。在保障春运安全方面：数据平台提供基础能力，组装大数据交通应用，定期生成交通枢纽热力图，并发布数据给大数据交通系统。        数字化大潮浩浩荡荡，大数据价值亟待释放。未来，华为云将持续助力广东移动大数据技术创新，携手广东移动及全国各地运营商伙伴，全力推动5G服务百姓、融入百业，更好地满足广大客户对美好数字生活的向往。十多年来FusionInsight 致力于为全球60+国家地区、3000+政企客户构建企业级智能数据湖，结合平台+生态战略，与800+商业合作伙伴 ，广泛应用于金融、运营商、政府、能源、医疗、制造、交通等多个行业，在政企数字化转型中，释放数据价值，助力政企客户业务高速增长。MRS源于开放的大数据生态，叠加了企业级的关键能力，既保持了开放性，又给客户提供了企业级融合大数据平台，帮助客户实现T+0数据入湖，一站式融合分析，让数据“慧”说话。相关文章：华为云TechWave大数据专题日，解密金融业为何“偏爱”华为云？2020中国大数据企业50强重磅发布，华为云大数据连续四年荣登榜首0业务中断！全国首个1000+大数据集群成功升级！再获殊荣！华为云Fusioninsight智能数据湖、GaussDB(DWS)数据仓库斩获业界两项大奖FusionInsight亮相华为云与计算城市峰会深圳站FusionInsight MRS 技术解读：单集群如何做到2万+规模华为云FusionInsight MRS融合大数据平台进阶之路华为云FusionInsight MRS通过信通院大数据能力评估 单集群突破2万+规模重磅发布！华为云EI智能数据湖FusionInsight 8.0 MRS 6月30日发布新特性，更快更安全，小伙伴们快来GET√+CarbonData，华为云EI智能数据湖FusionInsight让数据处理飞起来！华为云EI智能数据湖FusionInsight携手Kyligence助力保险业数字化转型！华为云EI智能数据湖FusionInsight MRS大数据在银行业的应用探索与典型案例直击痛点！华为云EI智能数据湖FusionInsight助力政企客户释放数据价值！

        随着5G、互联网、人工智能等技术加速应用，目前数据量年均增速已经超过50%，社会正在全速进入数字经济时代。过去数据仅仅作为一种资产，而今，数据将成为继土地、资本、技术之后最强有力的生产要素。如何激发数据这一生产要素的价值，加快推进大数据技术与千行百业应用的深度融合，助力企业数字化转型和数字产业发展？        8月31日，华为云TechWave大数据专题日与您相邀线上。届时，华为云大数据将与工商银行、广东移动、清华大学及华为云大数据“博士天团”，围绕大数据产学研深度融合，结合华为云FusionInsight智能数据湖技术创新实践，解读大数据领先技术，对大数据产业、人才、技术的现状与趋势进行交流探讨，并重磅发布华为云大数据新品。干货满满，让我们一起先睹为快！ 亮点一：数据之道        华为云大数据技术普惠创新        华为云TechWave大数据专题日，由华为云人工智能领域总裁贾永利围绕“大数据技术普惠创新，释放千行百业数据价值”主题做开场演讲，并发布华为云DWS实时数仓新品。        近年来，无论是TO B领域，还是TO C领域，随着技术的发展和需求的增长，企业、个人及设备都在无时无刻产生数据，数据的体积越来越大。随着数据规模的与日俱增，数据的种类也日渐增多，数据逐步走向多样性。除了熟悉的结构化数据，更多的非结构化数据已然出现，需要多样性的算力去处理，这无疑带来了更加复杂的挑战。与此同时，数据处理的时效性与融合分析要求也越来越高。面对海量数据的挑战，华为云大数据的解决之道是什么？即将重磅发布的新品有何独到之处？如何发掘数据价值，加速政企数字化转型？从贾永利的演讲中，也许可以找到答案。亮点二：行业领军人物与顶级高校        “华山论数”        本次专题日活动，工商银行软件开发中心总经理助理刘承岩、中国移动通信集团广东有限公司信息系统总经理谭丽丽，将分享基于华为云FusionInsight在大数据领域的创新实践。清华大学软件学院院长、信息学院副院长、大数据研发中心执行主任王建民，将基于多年与华为云大数据的合作，分享大数据领军人才的培养之道。1、工商银行“数字工行”        随着金融业数字化进程，数据要素资产越来越丰富，数据要素应用创新越来越简单高效，催生了大量金融服务新模式，经营决策正由以人主导的数据辅助经营决策阶段，结合大数据、AI、云计算、区块链、IoT等技术向数据驱动决策的数字金融演进。         工商银行作为国有四大银行之一，在大数据应用创新上一直不断引领行业发展。早期从Oracle、SAS等分析软件，Teradata、Exadata分布式数据仓库技术，到华为云FusionInsight智能数据湖助力工行实现了从自动化到生态化的演进。那么华为云大数据将如何助力工商银行打造服务经济高质量发展的“数字工行”？2、广东移动智慧大数据平台        据预测，随着5G的大量应用，数据量会增涨8倍。为更好释放运营商大数据的强大生产力，提高广东移动大数据平台的能力，广东移动基于华为云大数据平台构建智慧大数据平台，全面支撑政务、民生、扶贫、大旅游、疫情防控的场景应用。那么5G来了，通过与华为云FusionInsight持续合作，如何用大数据技术轻松应对数据浪涌？3、清华大学顶尖大数据人才培养        信息技术与经济社会的交汇融合引发了数据迅猛增长，催生各种大数据应用，大数据正在不知不觉中改变着人们的生活和思维方式。大数据越来越重要，而大数据的领军人才在业界仍处于紧缺状态。为培养大数据关键领域的领军人才，清华大学软件学院院长、信息学院副院长、大数据研究中心执行主任王建民将分享围绕大数据系统软件国家工程实验室与华为在科研、人才等方面的合作。不妨关注大数据专题日，了解更多有关清华大学如何为打造大数据技术人才高地攻坚克难？亮点三：“博士天团”解密一个方案        三大“数据秘籍”        随着海量数据指数级增长，预计到2025年全球数据量将达180ZB，数据已是重要的生产要素，驱动企业业务创新增长。为响应政企客户迫切多样化的需求，华为云如何通过大集群、湖仓一体、实时数据湖等关键技术实现一企一湖？如何秒级用数，T+0实时入湖，实现一份数据到处使用的智能数据湖？如何驾驭海量数据，打造企业数仓新标杆？如何打造端到端智能数据运营，实现高效用数，使能”从比特到信息“的数据价值发现？        在专题日，将由华为云大数据资深架构师，分享华为云FusionInsight智能数据湖 “一湖一仓”解决方案，“博士天团”还将带来三大“数据秘籍”——CarbonData、DWS、DAYU，让企业轻松应对数据浪涌，助力政企客户释放数据价值，加速企业数字化转型。让你分分钟就能获悉有关华为大数据的独家“秘籍”，了解大数据前沿技术，精彩不容错过，敬请关注。         8月31日，看金融、运营商等行业趋势，听顶级高校人才培养之道，学博士天团解读华为大数据“秘籍”，各路领军人物“华山论数”，尽在华为云TechWave大数据专题日。

本文主要给大家介绍隐藏在华为云数据湖探索服务（后文简称DLI）背后的核心计算引擎——Spark。DLI团队在Spark之上做了大量的性能优化与服务化改造，但其本质还是脱离不了Spark的核心概念与思想，因此笔者从以下几点阐述，让读者快速对Spark有一个直观的认识，玩转DLI。Spark的诞生及优势     2009年，Spark诞生于伯克利大学AMPLab，诞生之初是属于伯克利大学的研究性项目。于2010年开源，2013年成为Apache开源项目，经过几年的发展逐渐取代了Hadoop，成为了开源社区炙手可热的大数据处理平台。Spark官方的解释：“Spark是用于大规模数据处理的统一分析引擎”，把关键词拆开来看，“大规模数据”指的是Spark的使用场景是大数据场景；“统一”主要体现在将大数据的编程模型进行了归一化，同时满足多种类型的大数据处理场景（批处理、流处理、机器学习等），降低学习和维护不同大数据引擎的成本；“分析引擎”表明Spark聚焦在计算分析，对标的是Hadoop中的MapReduce，对其模型进行优化与扩展。Spark为了解决MapReduce模型的优化和扩展，那么我们先探讨一下MapReduce存在的问题，然后分析Spark在MapReduce之上的改进。（1）MapReduce中间结果落盘，计算效率低下随着业务数据不断增多，业务逻辑不断多样化，很多ETL和数据预处理的工作需要多个MapReduce作业才能完成，但是MapReduce作业之间的数据交换需要通过写入外部存储才能完成，这样会导致频繁地磁盘读写，降低作业执行效率。Spark设计之初，就想要解决频繁落盘问题。Spark只在需要交换数据的Shuffle阶段（Shuffle中文翻译为“洗牌”，需要Shuffle的关键性原因是某种具有共同特征的数据需要最终汇聚到一个计算节点上进行计算）才会写磁盘，其它阶段，数据都是按流式的方式进行并行处理。（2）编程模型单一，场景表达能力有限MapReduce模型只有Map和Reduce两个算子，计算场景的表达能力有限，这会导致用户在编写复杂的逻辑（例如join）时，需要自己写关联的逻辑，如果逻辑写得不够高效，还会影响性能。与MapReduce不同，Spark将所有的逻辑业务流程都抽象成是对数据集合的操作，并提供了丰富的操作算子，如：join、sortBy、groupByKey等，用户只需要像编写单机程序一样去编写分布式程序，而不用关心底层Spark是如何将对数据集合的操作转换成分布式并行计算任务，极大的简化了编程模型Spark的核心概念：RDD     Spark中最核心的概念是RDD（Resilient Distributed Dataset）——弹性分布式数据集，顾名思义，它是一个逻辑上统一、物理上分布的数据集合，Spark通过对RDD的一系列转换操作来表达业务逻辑流程，就像数学中对一个向量的一系列函数转换。Spark通过RDD的转换依赖关系生成对任务的调度执行的有向无环图，并通过任务调度器将任务提交到计算节点上执行，任务的划分与调度是对业务逻辑透明的，极大的简化了分布式编程模型，RDD也丰富了分布式并行计算的表达能力。RDD上的操作分为Transformation算子和Action算子。Transformation算子用于编写数据的变换过程，是指逻辑上组成变换过程。Action算子放在程序的最后一步，用于对结果进行操作，例如：将结果汇总到Driver端（collect）、将结果输出到HDFS（saveAsTextFile）等，这一步会真正地触发执行。常见的Transformation算子包括：map、filter、groupByKey、join等，这里面又可以分为Shuffle算子和非Shuffle算子，Shuffle算子是指处理过程需要对数据进行重新分布的算子，如：groupByKey、join、sortBy等。常见的Action算子如：count、collect、saveAsTextFile等如下是使用Spark编程模型编写经典的WordCount程序：该程序通过RDD的算子对文本进行拆分、统计、汇总与输出。Spark程序中涉及到几个概念，Application、Job、Stage、Task。每一个用户写的程序对应于一个Application，每一个Action生成一个Job（默认包含一个Stage），每一个Shuffle算子生成一个新的Stage，每一个Stage中会有N个Task（N取决于数据量或用户指定值）。Spark的架构设计    前面讲述了Spark 核心逻辑概念，那么Spark的任务是如何运行在分布式计算环境的呢？接下来我们来看看开源框架Spark的架构设计。（注：涂色表示进程）Spark是典型的主从（Master- Worker）架构，Master 节点上常驻 Master守护进程，负责管理全部的 Worker 节点。Worker 节点上常驻 Worker 守护进程，负责与 Master 节点通信并管理 Executor。（注：橙色和绿色表示进程）Spark程序在客户端提交时，会在Application的进程中启动一个Driver。看一下官方对Driver的解释“The process running the main() function of the application and creating the SparkContext”。我们可以把Master和Worker看成是生产部总部老大（负责全局统一调度资源、协调生产任务）和生产部分部部长（负责分配、上报分部的资源，接收总部的命令，协调员工执行任务），把Driver和Executor看成是项目经理（负责分配任务和管理任务进度）和普通员工（负责执行任务、向项目经理汇报任务执行进度）。项目经理D to 总部老大M：Hi，老大，我刚接了一个大项目，需要你通知下面的分部部长W安排一些员工组成联合工作小组。总部老大M to 分部部长W：最近项目经理D接了一个大项目，你们几个部长都安排几个员工，跟项目经理D一起组成一个联合工作小组。分部部长W to 员工E：今天把大家叫到一起，是有个大项目需要各位配合项目经理D去一起完成，稍后会成立联合工作小组，任务的分配和进度都直接汇报给项目经理D。项目经理D to 员工E：从今天开始，我们会一起在这个联合工作小组工作一段时间，希望我们好好配合，把项目做好。好，现在开始分配任务…员工E to 项目经理D：你分配的xxx任务已完成，请分配其它任务。项目所有任务都完成后，项目经理D to 总部老大M：Hi，老大，项目所有的任务都已经完成了，联合工作小组可以解散了，感谢老大的支持。以上就是Spark的基本框架，基于Apache Spark/Flink生态，DLI提供了完全托管的大数据处理分析服务。借助DLI服务，你只需要关注应用的处理逻辑，提供构建好的应用程序包，就可以轻松完成你的大规模数据处理分析任务，即开即用，按需计费。华为云828企业上云节期间，购买数据湖探索DLI优惠更多。点击这里→了解更多精彩内容

如今，企业大数据资产在企业辅助决策、用户画像、推荐系统等诸多业务流程中扮演着越来越重要的作用，如何保证企业大数据在满足各业务部门数据访问需求的同时又能精细化保障数据访问安全、避免数据泄露是每个企业大数据资产管理者必须关注的话题。笔者结合在华为云数据湖探索服务中的技术沉淀与丰富的企业数据安全管理经验，从以下几点来探讨如何精细化保障企业大数据安全。1、企业大数据的安全挑战2、数据资产权限管理的通用做法3、以华为云DLI为例，对数据资产管理的实践&案例分析4、未来展望数据隔离、分层访问、授权，难题多多企业大数据的日积月累，自然面临着大数据安全的挑战：数据来源广泛，来源于不同的业务单元，又要服务于各种业务单元，还需要对不同层级的员工设置不一样的权限。如何防范企业数据不被未经授权的用户访问，管理数据在不同业务单元的共享，隔离企业敏感数据……企业可能面临着以下的挑战：1.1 数据隔离不同的项目业务数据需要隔离，如游戏运营数据，企业在设计大数据分析平台时可能期望A游戏产生的业务数据用来支撑A游戏运营分析，B游戏产生的业务数据是支撑B游戏运营分析，那么需要对业务数据按项目进行隔离，A游戏运营部门员工只可访问A游戏运营数据，B游戏运营部门员工只可访问B游戏运营数据1.2 数据分层访问不同层级业务部门对数据具备不同的访问权限，高层级部门可以访问底层级部门的数据，而低层级部门不可访问高层级部门的数据。如省级部门可以访问地市级数据，而地市级部门只可访问本地市数据，不可访问跨区数据，也不可访问省级部门数据。这就要求对数据的权限管理需要具备分层管理能力，能够分层级授予不同的权限。1.3 列级数据授权不同业务部门对同一份数据的访问权限要求不同，所以要求能够对数据进行精细化授权。如银行系统中，用户表中的身份证号信息是敏感信息，柜台系统可以查询用户的身份证号，但推荐系统就不需要身份证信息，只需要用户ID就可以了。这种场景下需要对用户表能够分列授权，对不同的业务单元不同的权限。1.4 批量授权随着企业规模的增大，企业员工可能非常庞大，分部门授权，批量授权也是很常见的业务场景。例如销售部门下面员工很多，如果单个单个的给销售人员授权，会非常麻烦，人员流动时取消授权也很复杂，这时就需要能够批量授权或者基本角色的授权模型，来实现一次授权，部门内员工均可使用的目的。四种权限模型，孰优孰劣？目前比较流行的大数据分析平台的有Hadoop，Hive，Spark等，它们使用的权限模型有POSIX模型、ACL模型、SQL Standard模型和RBAC模型。其中Hadoop大数据平台使用了POSIX和ACL权限模型来管理数据，HIVE和Spark使用了ACL和RBAC权限模型来管理数据。POSIX权限模型是基于文件的权限模型，与Linux系统的文件系统权限类似。即一个文件有相应的OWNER和GROUP，只能支持设置OWNER,、GROUP和其他用户的权限，可授权限也只有读写执行权限。这种模型不适用于企业用户，有一个明显的缺点就是它只有一个GROUP，不能实现不同的GROUP有不同的权限，也无法实现精细化的权限管理，只能在文件级授权，所授权限也只有读写与执行权限。ACL即Access Control List，ACL权限模型可以弥补POSIX权限模型的不足，可以实现比较精细化的权限管理。通过设置访问控制列表，我们可以授予某一个用户多个权限，也可以授予不同用户不同的权限。但ACL也有明显的缺点，当用户数较大时，ACL列表会变得庞大而难以维护，这在大企业中问题尤其明显。RBAC（Role-Based Access Control）模型也是业界常用的一种权限模型。是基于用户角色的权限管理模型，其首先将一个或多个权限授权某一个角色，再把角色与用户绑定，也实现了对用户的授权。一个用户可以绑定一个或多个角色，用户具备的权限为所绑定角色权限的并集。RBAC可以实现批量授权，可以灵活维护用户的权限，是当前比较流行的权限管理模型。SQL Standard模型是Hive/Spark使用权限模型之一，本质是使用SQL方式的授权语法来管理权限。Hive中的权限模型也是基于ACL和RBAC模型，即可以给单独的用户直接授权，也可能通过角色进行授权。数据湖探索怎么做数据资产管理？华为云DLI结合了ACL和RBAC两种权限模型来管理用户权限。DLI中涉及到的概念有：DLI用户：DLI用户为IAM账号及其下的子用户，下面访问权限说明的用户均指IAM账号及其下的子用户。DLI资源：DLI的资源分为数据库(Database)、表（table）、视图（View）、作业（Job）和队列(Queue)。资源是按项目隔离的，不同项目的资源不可互相访问。表和视图是数据库(Database)下的子资源。DLI权限：DLI权限为执行DLI相关操作所需要的权限。DLI中的权限比较细，每项操作对应的权限都不一样，如创建表对应CREATE_TABLE权限，删除表对应DROP_TABLE权限, 查询对应SELECT权限等等。DLI使用统一身份认证（IAM）的策略和DLI的访问控制列表（ACL）来管理资源的访问权限。其中统一身份认证（IAM）的策略控制项目级资源的隔离，和定义用户为项目的管理员还是普通用户。访问控制列表（ACL）控制队列，数据库，表，视图，列的访问权限和授权管理。DLI使用统一身份认证来完成用户认证和用户角色管理。DLI在IAM中预定义了几个角色：Tenant Administrator（租户管理员），DLI Service Admin（DLI管理员），DLI Service User（DLI普通用户）。其中具备租户管理员或DLI管理员角色的用户在DLI内是管理员，可以操作该项目的所有资源，包括创建数据库，创建队列，操作项目下的数据库，表，视图，队列，作业。普通用户不可创建数据库，不可创建队列，依赖管理员的授权，可以执行创建表，查询表等操作。DLI使用ACL和RBAC两种模型来管理用户权限。管理员或资源的所有者可以授予另外一个用户单个或多个权限，也可能创建角色，授予权限给创建好的角色，然后绑定角色和用户。DLI提供了API和SQL语句两种方式来实现以上权限管理，方便用户灵活授权。具体使用方式可以参考DLI的权限管理。案例分析拿银行的大数据实践来分析下如何利用DLI来管理数据的权限。众所周知，银行积累了大量的用户数据，包括用户信息，交易信息，账户信息等等数以亿计的数据。而银行业务也是非常的复杂，涉及到柜员系统，监管部门，运营部门，营销部门等等各个业务线，各业务线对数据的要求不同，访问的权限不同。我们拿反洗钱业务与画像业务来简单介绍下如何利用DLI平台实现大数分析和数据资产权限管理。典型的反洗钱业务一般是大额预警和黑名单机制，需要从海量的交易数据中筛选出大额交易或者是黑名单人员交易数据，将这些数据反馈给监管人员进行进一步分析，涉及到的数据是交易数据，账户信息和黑名单信息。画像一般会分析用户的交易类型与交易数据，推断出用户的兴趣爱好，给用户画像，标记用户的兴趣点在哪些地方。涉及交易信息中的交易类型和账号信息。这两项业务中在DLI中，由数据管理员生成生成用户信息表，交易数据表，账户信息表，黑名单信息表，并导入相应的数据。在反省钱业务，授予反洗钱业务部门或人员账户信息表的查询权限，交易数据表的查询权限，黑名单信息的查询权限，通过对账户信息表和交易数据表和黑名单表的联合查询，可以查找出异常交易信息及相关交易人员，反馈给反洗钱监管人员。在画像业务中，由数据管理员授予画像业务部门或人员用户信息表的查询权限，交易数据表中交易金额和交易类型，交易商户等列的查询权限，账户信息表中的账户ID和用户ID列的查询权限，经过这几张表的联合与聚合查询，找出用户常用交易信息，包含交易类型，金额，及相关地点等信息，描绘出用户画像信息。未来展望传统企业数据资产面临着几个难题。各业务部门均会产生数据，数据标准不一致，维护复杂。各业务部门数据存在在不同的系统中，数据容易形成孤岛，无法有效挖掘利用。部门间数据共享复杂，容易形成网状授权网络，维护成本巨大。数据湖DLI方案可以解决这样的难题，使用统一的数据管理平台、数据存储、数据标准，进行统一的数据资产管理、授权管理。华为云828企业上云节期间，数据湖探索DLI也在活动产品之列，有数据分析需求的企业赶紧趁着促销入手试试。转自：https://blog.csdn.net/devcloud/article/details/108256178

转眼暑假已经结束结束了西瓜空调刷剧的颓（xing）废（fu）生活打起精神迎接新学期一个新学期flag是必不可少秀出你的flag活动时间：20200909-20201010活动参与方式： 在本帖回复你的新学期flag，参与幸运抽奖活动。回帖要求：以#新学期flag#开头立下新学期的flag，例如“#新学期flag#考取华为微认证”。抽奖规则：1、每个工作日从所有flag楼层中随机抽取2个楼层，对应的同学随机获得华为云水杯一个或华为云三合一数据线一条。每个华为云ID只能中奖一次哦。2、 先打卡flag的获奖几率更高，每一个华为云ID每天只能刷一次，不能连续刷楼，否则取消抽奖资格。3、如果当天参与抽奖的楼层不足2层，则奖品累加到第二天进行抽取。4、回帖必须有意义，不能是毫无意义的发言。5、所有奖品活动结束后统一发出。6、获奖名单每个工作日10点将在本帖、QQ群、微信群里同步发放，请关注哦。QQ群（1106597822）微信：扫码发送“开学季”添加小助手微信（HorizonDPService）温馨提示：关注DevCloud社区，年底活动中打卡贴出自己的完成情况，还有机会再次获取更大的奖励哦。所有奖品会在活动结束获奖名单公布后15天内发出，如因商城缺货或其他不可抗力导致的延迟，会提前和获奖用户沟通。                                                                                             报名参加码上开学，云帆起航，有机会获得P40 5G手机哦>>>抽奖日期抽奖结果（论坛昵称）奖品9月10日lyz0699citrus_pluslyz0699-华为云水杯一个citrus_plus-华为云三合一数据线一条9月11日hw46018172弈hw46018172-华为云水杯一个弈-华为云三合一数据线一条9月14日__y__蜡笔不辣__y__-华为云水杯一个蜡笔不辣-华为云三合一数据线一条9月15日JazzupVizarKingstonJazzup-华为云水杯一个VizarKingston-华为云三合一数据线一条9月16日DUT_ws开心上学了DUT_ws-华为云水杯一个开心上学了-华为云三合一数据线一条9月17日学学学习Pineapple99学学学习-华为云水杯一个Pineapple99-华为云三合一数据线一条9月18日不吃喜羊羊说是不吃喜羊羊-华为云水杯一个说是-华为云三合一数据线一条9月21日实柏AIphone实柏-华为云水杯一个AIphone-华为云三合一数据线一条9月22日ad123445另类请路过ad123445-华为云水杯一个另类请路过-华为云三合一数据线一条9月23日王亦臻队长别开枪王亦臻-华为云水杯一个队长别开枪-华为云三合一数据线一条9月24日Mr.Leo啊酒哥哥Mr.Leo-华为云水杯一个啊酒哥哥-华为云三合一数据线一条9月25日小民同学谭涟漪小民同学-华为云水杯一个谭涟漪-华为云三合一数据线一条9月27日孙小北大师哥孙小北-华为云水杯一个大师哥-华为云三合一数据线一条9月28日khg305387543海棠木khg305387543-华为云水杯一个海棠木-华为云三合一数据线一条9月29日A1ice_Coo虚荣VaingloryA1ice_Coo-华为云水杯一个虚荣Vainglory-华为云三合一数据线一条9月30日喇叭斯基扶摇直上喇叭斯基-华为云水杯一个扶摇直上-华为云三合一数据线一条10月9日dongdong123建木dongdong123-华为云水杯一个建木-华为云三合一数据线一条获奖地址请反馈在 获奖地址收集贴>>>，活动结束后我们统一发出礼品哦。

3.7亿条保单数据怎么分析？这个大数据平台有绝招受到新冠疫情影响，全球经济面临冲击，国内经济已进入复工复产有序发展的新常态阶段，企业想要实现持续增长需另寻突破点，越来越多的企业把视线转向了企业内部，希望通过推进精细化管理来实现降本增效。在企业精细化管理过程中，财务管理作为核心组成部分，是企业实现全面价值管理和风险管理的重要前提。因此，越来越多的企业开始引入新的管理形式和数字化系统，通过搭建业财一体化平台，将集团总部、各事业部、各业务条线的业务和财务数据进行统一的处理和加工，形成集团级数据资产，深化数据服务能力，推进集团数字化转型。大型集团的业财一体化大数据平台，对平台的性能、扩展性要求高，还要考虑到技术的快速迭代和数据量的指数级增长。华为云EI 智能数据湖FusionInsight为企业提供离线分析、交互查询、实时检索、实时流处理、融合分析、数据仓库等数据全生命周期组件。叠加在FusionInsight之上的Kyligence，为上层应用提供易用的数据模型服务，帮助分析师和数据工程师轻松从本地到云架构上构建数据服务。当前，FusionInsight联合Kyligence已在多个大型金融机构进行深度合作，并在诸多场景获得突破，业财一体化就是其中的明星场景。保险业要“正本清源”，传统数据仓库已落后在某产险公司保费增速和综合成本率双优目标背景下，需要以管理会计的全新视角归集财务成本，保证一线销售资源正本清源，协助产险各分公司“看清楚、想明白、做到位”，解决分公司资源“往哪投、投得了、敢于投”的问题。传统的数据仓库设施和平台由于本身技术架构的局限性，无法处理快速增长的数据，无法解决不同业务条线的数据孤岛问题，无法满足对海量数据中各类维度和指标进行灵活高效分析的需求，存在分析维度和分析指标偏少，分析时效滞后，分析预见性差以及回溯分析困难的痛点，无法实现业财融合。因此，全面实现业财融合，迭代资源配置方式及工具应用成为加强业务筛选、提高成本与效益平衡能力、提升公司核心竞争力的内在需求。国产大数据平台，多快好省业财一体化分析平台在数据层抽取了该财险公司3.7亿个保单数据，构建了多层级多维度的业务分析模型。技术层面通过在FusionInsight智能数据湖上部署Kyligence，结合预计算技术，高效利用Hadoop分布式计算引擎Spark，批量预计算任意维度组合的分类、汇总统计数据。同时，向应用层提供支持标准SQL接口的JDBC和ODBC驱动，无缝集成企业已有的BI前端工具，实现对BI前端查询请求的快速响应。在本案例中部署的FusionInsight和Kyligence等产品均是国产商业软件，拥有良好的本地支持团队，总体上成本较低、部署较快、扩展性较好，为企业构建了一个国产大数据平台应用。通过此项目，该险企整合来自车险、非车险、渠道、费用、精算、再保等业务财务数据，搭建了一个高性能、高并发、可扩展的业财一体化大数据平台。通过保单级成本多维构建组合分析，可支持40个维度300个指标构成的固定报表和灵活分析报表。通过维度及成本指标细分，分公司可清晰直观的剖析业务结构，筛选优质业务，结合具体业务目标及市场发展实际情况，有针对性的制定资源投放策略应对市场。通过引入精算预期赔付率与细分销售跟单费用十个段，引入成本区间分析、费赔相关系数等指标，让业务、财务均能及时清楚地了解相关层级和维度的业务成本结构，明细赔付与费用投放的匹配关系，帮助各层级机构强化对资源配置的管理。通过销管费控系统打通从销售费用预算管控到实际报销的流程，实现保单级费用险种、渠道等属性自动带入，生成最精准的分险种分渠道报表，破解过去手工指认成本属性的不准确、工作量大且业务认可度低的难题。通过保单级承保年月分类汇总“切片”，实现期间经营分析，解决经营责任无法回溯分析清晰认定的难题。最后Kyligence基于FusionInsight搭建的业财一体化分析平台，大幅提升用户分析效率，多维统计分析报表查询响应时效从“半小时”级提升到“秒”级。平台已实现40个维度、300个指标的分析规模，预算端定制报表已实现车险、非车险、农险等定制报表40余张，灵活报表数类。目前该系统已开放给1000多个总分公司机构、4000多名分析用户使用，其中车险核心用户1000多人，有效解决分公司资源“往哪投、投得了、敢于投”的问题，全面实现业财融合。828企业上云节，不如来改造升级你们的大数据平台，这里有一对一的专家服务和低价的数据库产品。

2020-08-24：什么是小文件？很多小文件会有什么问题？很多小文件怎么解决？（大数据）