本期小云妹给大家介绍个超实用的数据管理神器——数据管理服务DAS数据管理服务DAS 产品介绍页入口：https://www.huaweicloud.com/product/das.html数据管理服务帮助文档入口：https://support.huaweicloud.com/das/index.html

俗话说：人强不如家伙强，多做不如精做好；工欲善其事，必先利其器。云技术的发展和云市场的成熟，让各行各业上云势头如日中天。应用上云、业务上云，最终都离不开数据上云。那么，如何方便快捷的对云上数据进行管理呢？近期，华为云推出一款客户端数据管理服务，帮助用户实现数据可视化直接管理，大幅提高工作效率。 华为云数据管理服务（Data Admin Service），简称 DAS，是一款专业的简化数据库管理工具，提供业界领先的可视化操作界面，直接对数据结构进行查询、变更操作，旨在让数据管理变得安全和简单。                                  华为云数据管理服务 DAS 众所周知，在云上创建数据库后，云上管理关系型数据库（RDS）数据结构，经常会面临需要安装客户端，才可以访问 RDS 的问题。不但安装麻烦，而且使用不便，给用户带来不少困扰。 DAS 通过可视化界面连接和管理数据库，在云端专用通道管理数据，并且借助华为云的高安全机制，严格控制数据库访问。在云上管理数据库的同时，实现了云研发测试、快速部署和访问数据库，大大提升研发效率。                *DAS 系统架构图（目前支持引擎： MySQL、SQL Server） 三大场景，助推企业用好数据库 数据访问DAS 提供了类似 Excel 的表格方式编辑数据，让不懂 SQL 查询语言的用户也能无障碍增删、改查表数据以及统计分析。此外用户还可以保存常用的 SQL，随时引用执行，使得工作效率更高效。 结构管理 DAS 简化数据库结构设计，支持可视化的目录结构管理。例如导航树形结构，可清晰展示和管理各个对象，让数据管理更方便。此外，DAS 能在可视化页面实现 DDL 数据库模式定义，从而轻松完成数据结构变更。 3. 数据导入导出DAS 提供了 Excel 或者 INSERT （用于向表格中**新的行）语句类型的快速导出和导入数据功能，提供 SQL 模板，或自定义 SQL 窗口输入并执行计划，并根据输入的 SQL 语句导出记录，支持文档型、字符集数据导入。 值得一提的是，DAS 采用华为云专用的云端通道，严格控制访问，保障用户数据安全。在安全方面，华为云提供 VPC、子网、安全组、VPN、SSL 在内的一系列网络隔离与权限控制策略，搭配业界领先的DBSS数据库安全防护技术，多种行业安全合规、清晰的安全责任界定，安全架构可谓层层加固。 近期，DAS 上线了支持用户权限管理，用户连接、主机连接、数据库资源访问管理，事务管理，表结构DDL导出下载、表属性查看，表结构 DDL 对比等新功能。不但可在 Web 页面直接勾选，进行权限授权，而且可以对测试环境和生产环境进行差异比较，进一步满足用户的数据管理需求。 目前，DAS 已集成到华为云的管理控制台，用户创建 RDS 完成即可连接访问，实现可视化数据库管理操作。申请免费体验，请移步官网：https://www.huaweicloud.com/product/das.html 配套数据库引擎免费试用请点击：https://activity.huaweicloud.com/free_test/index.html 福利时间：华为云产品活动月，数据库产品全场 3.5 折起，安全产品全场低至 1 折；不限新老用户，下单即享折扣！ 2018 华为全联接大会将于10月份在上海召开，届时将首发华为AI战略和全栈全场景的解决方案，并携合作伙伴带来更多诸如“秦渲云”这样AI、云、大数据、5G、IoT、视频等在各行业的创新与实践，惠及更多开发者人群，“+智能，见未来”我们拭目以待。

19285这里有一款专业的简化数据库管理工具，提供业界领先的可视化操作界面，大幅提高工作效率，让数据管理变得既安全又简单！19282场景一：数据访问  类似 EXECL方式编辑数据，不懂 SQL 也能无障碍增删改查表数据以及统计分析场景二：结构管理简化数据库结构设计、可视化目录结构管理、轻松完成数据结构变更产品优势轻松管理实现云上管理数据库，可视化界面连接和管理数据库。安全防护云端专用通道管理数据数据，华为云高安全严格控制数据库访问。高效率简单方便访问数据；可视化对象管理操作，简单易用。易操作实现云端研发测试，快速访问，快速部署，提升研发效率。19284免费试用申请入口：https://www.huaweicloud.com/product/das.html19283

“什么？就只给一周时间？要在地图上展示全国所有卡口，在国内任何位置随便画个圈就能把这里的卡口摄像头调出来，还要实时看到现场情况？”老张在接到上级这一需求的时候，脑子“嗡”的一声。要知道，通常情况下，这种卡口一张图的应用需要全国的基础地图、需要地图开发引擎、需要全国卡口点位数据和调用接口、需要具备大数据地图能力的研发人员等等……“怎么说都要两个月时间才可能实现啊。”老张心里嘀咕着，却没有办法把两个月的时间说出口，因为他知道，中央领导七天后来市里视察，留给他安排保卫的时间也就只能有一周。“保证完成任务！”老张跟上级保证，心里却没有底。常规的方式根本没办法完成，必须寻找新的方案提供商。“老李，我遇到难事儿了。”老张放下电话就赶紧打给了行业百事通老李，然后把苛刻的需求复述了一遍。“你还真找对人了。我上个月刚遇到这个问题，已经完美解决了。”老李的话给了老张一颗定心丸，秘密武器就是专业地图的创新应用，落地一点说就是在北京万维吉斯公司的地图易平台上开发。“你只需要解决全国卡口点位和接口调用这个问题，其他问题都有平台解决。”老李得意的说，“一周时间足够了。”“如果只是解决卡口点位和接口调用这个问题，那一周时间还是很充裕的。”老张拨通了万维吉斯的电话，本来只是想试一试，没想到还真把他的问题解决了。地图易，把复杂地图做成“美图秀秀”当前，地图的普及程度越来越高，已经成为不可或缺的“第三只眼”，但与个人应用的界面越来越简单相反的是，行业应用一端却走上了越来越复杂的道路。用户不仅需要了解应用，往往还需要采购数据、了解接口、能够开发。随着应用越来越多，地图的行业应用也越来越复杂，已经成为舞不起来的一把大刀。普通人用不好PhotoShop，因此诞生了“美图秀秀”。普通行业用户用不好复杂的地图应用，因此诞生了“地图易”平台。“地图易”是一站式地图服务平台，平台包括了行业地图开发常用的数据和工具，提供了地图基础数据、地图数据管理工具、地图基本接口和多种地图可视化插件，极大的降低了地理信息系统的应用门槛。具体来说，“地图易”平台的简单易用表现在以下三个方面：1、采购容易传统的地图应用开发需采购数据、对数据进行处理、采购硬件、采购基础软件、采购地图引擎、系统集成、综合调试和应用部署等8个环节，需要面对至少5个厂商，最快也需要10周。而采购地图易模式，只需一次采购，最快一天到货。极大的提高了采购效率的同时还能降低风险、降低技术门槛和降低总体费用。2、开发容易传统的地图应用开发具有人员要求高、学习成本高和开发成本高的三高特点。对开发人员要求极高，需有地理信息方面的基础知识，还需有前后台开发能力；学习成本高，至少需要针对开发引擎进行数周的培训；开发成本更高，需做大量的数据管理等配套功能的开发工作和可视化插件的封装等工作。而地图易平台全面的降低了地图应用开发门槛，对开发人员只需要有一定的前台开发基础，经过半天的培训既可快速的开发出复杂定制的应用系统。开发和学习成本不到传统地图开发的五分之一。3、功能丰富“地图易”平台在极大降低学习和开发门槛的同时提供了完善丰富的功能。后台提供 了瓦片服务、要素服务和空间服务等，这些服务同时提供了JAVA、Rest和Js接口，开发者可以在不同的场景下分别使用。同时也提供了数据管理工具和数十种可视化插件。图1.热力图插件图2.聚合图插件图3.流向图插件图4.梯度图插件十年磨一剑数十个行业使用验证地图易简单易用，诞生过程却并不简单。2008年，万维吉斯创始人兼CEO叶志旺深度参与公安部PGIS（警用地理信息系统）项目建设以及标准的设立，随后负责了全国多个省市PGIS的建设，开启了地图易雏形。在之后的十年里，在地图易平台服务了数十个行业：l服务了东南亚国家联盟，帮助东盟实现了跨国区域的水域监测和分析；l服务了中科院，在遥感所对地观测中心实现了世界文化遗产管理；l服务了中石油，实现了海外人员定位精准定位和实时展示；l在中国原子能科学研究院中，进行了原子能辐射分析；l在公安行业，不仅有公安部和数十个省市的深度应用，还有公安部一所、公安部三所等多个项目的深度合作；此外，还在航天信息、航天长峰、河南省考古所、金蝶、廊坊食药监局、海航集团、海信集团、民政局、食药监局等都有多个应用。“地图易在数十个行业里，磨了十年。”叶志旺说，“我们不仅有地图易平台，稳定、易用、通用。而且，我们有地图行业专业的团队，这是一个曾经打过大仗的服务团队。”2018年5月2日，北京万维吉斯科技有限公司入住华为云市场，从此，华为云用户可以通过云平台，更方便的使用“地图易”，让地图为行业发展带来更多可能。

本帖最后由 Broaddata 于 2018-4-27 11:43 编辑14599 一、 产品介绍 上海宽数倾力打造的企业大数据智能平台EDI (Enterprise Data Intelligence)，以建设企业数据PaaS层为切入点， 帮助企业/机构快速构建新一代数据仓库和基于其上的数据产品，帮忙企业在DT时代快速数字化转型，实现数据智能，对接人工智能。EDI平台基于目前业界领先的大数据技术和理念，融合结构化、非结构化数据，实现了统一的数据架构(Unified Data Architecture)。通过部署EDI，快速的让企业/机构拥有大数据处理的能力，帮助用户在单一平台下，实现对海量数据、全类型数据、外部数据的存储归档、 搜索访问、计算加工、价值挖掘、安全控制、以及数据资产全生命周期管理。 14600 二、 产品功能及特点 上海宽数的大数据智能平台EDI通过把： 现代化的数据基础设施， 所有数据之间的关联融合， 企业对数据加工、服务的需求， 进行统一的封装，构建一个企业大数据集成和管理的PaaS平台,减少用户对于数据技术的直接使用。  数据底层 通过丰富的数据适配器，采用配置式的、自由组合的方式，适配各类现代化数据基础设施。通过统一的数据采集配置，统一调用数据基础设施，融合关联所有数据。  数据应用层 通过统一的数据API，向数据应用提供透明访问的数据服务，保证数据安全的同时，减少使用数据技术的复杂性。  数据PaaS层 剥离数据源和数据应用的复杂性，构建强大的数据管理中台，提供数据管理的各种工具。在数据管理中台，实现一体化的数据架构，在统一管理界面下，实现对海量异构数据的数据治理、存储归档、信息组织、搜索访问、安全控制、分析可视化、以及数据挖掘等。 EDI平台在架构体系层面具有一下一些特点及优势。  高可扩展设计 基于PC服务器的简单快速部署的，无需购买昂贵的传统数据仓库软件和硬件。分布式计算和存储架构，增加服务器即可获得系统性能的线性增长。  高可适应设计 适用小数据量到海量大数据项目，部署可以从3台物理机开始到超大集群，项目启动快。可以根据用户的数据量级和不同的数据类型，选择适合的基础设施，如:海量价值密度低的RFID数据可以选择Hadoop作为数据仓库，而高价值密度的业务数据可以选择GreenPlum作为数据仓库等。  统一数据架构UDA 融合了结构化和非结构化数据的管理，实现了统一数据架构UDA(Unified Data Architecture)，结构化数据和非结构化数据在一个统一的数据模型-数据对象(Dataobject)下管理。  数据高可用性和丰富API 实现全数据的全文检索，同时支持基于SQL的数据查询分析。提供丰富的数据服务API，包括元数据服务，数据搜索服务，数据聚合服务，数据任务调度等。外部数据应用要使用和共享数据，可以调用已经注册的API服务。  统一元数据管理和全面数据治理 提供统一的元数据管理工具，全面管理数据各类信息，包括类型，位置和访问信息，数据格式，数据血缘等。提供全面数据治理功能，实现数据的标准化，编码的标准化和映射，数据质量检查等。  统一数据加工框架 提供了一个统一的数据加工的框架，实现了任务调度，任务执行，运行结果显示等。目前支持以下任务： 数据批处理任务，指标计算，标签计算，关系发现，音视频文件语音识别等。  数据安全 支持灵活的用户权限管理配置，通过用户、组、角色进行多方位的用户权限管理。提供统一的数据安全模型，对所有数据的访问提供灵活定义的访问控制。记录所有关于数据访问的安全审计信息，以满足未来数据安全审计的要求。 三、 产品应用于哪些行业 EDI平台应用于各行各业进行数字化转型，包括公安、政府、教育、制造、电商等。可应用的邻域包括：  大数据管理平台  大数据采集工具  大数据处理工具  大数据分析建模  大数据业务咨询  政务网应用  业务基础及应用开发  人工智能应用开发 四、 产品能够解决什么问题 EDI平台帮助企业在DT时代迅速拥有数据能力，快速实现数字化转型：  海量业务数据分析: 更快的SQL查询、数据批处理 和 BI 报表  全类型数据全文检索: 类似“企业百度”，快速搜索企业全量，全类型数据  全面数据治理: 元数据管理，数据标准，数据质量，数据资产清单等  统一数据加工：数据清洗，指标/标签计算，关系发现，音视频文件/文本分析等  数据挖掘：预测，分类，关联分析，深度学习，挖掘数据价值等  数据API：给业务系统，BI系统，AI系统提供API服务，实现企业内数据共享  数据产品: 基于平台快速构建新的数据产品，如360度数据画像(客户，员工，设备等)，推荐系统，… 14597

本帖最后由 Sabrina 于 2018-4-4 14:59 编辑 13625 【下午茶时光——云存储知识点陪你喝咖啡】 分布式存储中的元数据管理 [indent]元数据被定义为：描述数据的数据，对数据及信息资源的描述性信息。 [/indent]元数据（Metadata）是描述其它数据的数据（data about other data），或者说是用于提供某种资源的有关信息的结构数据（structured data）。元数据是描述信息资源或数据等对象的数据，其使用目的在于：识别资源；评价资源；追踪资源在使用过程中的变化；实现简单高效地管理大量网络化数据；实现信息资源的有效发现、查找、一体化组织和对使用资源的有效管理。对于元数据的管理目前有几种常用的解决方案：中心节点管理元数据，分布式管理元数据，无元数据设计；本文谈谈三种方案的特点:136261、中心节点管理元数据在设计分布式(存储)系统时，使用中心节点是非常简洁、清晰地一种方案，中心节点通常兼具元数据存储与查询、集群节点状态管理、决策制定与任务下发等功能。优点：A.由于其元数据集中式管理的特点，可以方便的处理集群运维管理的统计分析类需求；B. 中心节点记录了用户数据的状态信息(即元数据)，在扩容时，可以选择不做rebalance操作(rebalance引起的数据迁移可能带来巨大的性能开销)，且仍能正常寻址。缺点及解决方案：a.单点故障是设计分布式系统最忌讳的问题之一，中心节点简洁的设计也带来了此问题，如何实现HA呢？；解决方案：(1)使用主备模型，主备之间使用同步或异步的方式进行增量或全量的数据同步(如TFS,mfs，HDFS2.0等)，或者主备之间使用远端共享存储(如HDFS2.0，远端存储需要高可用)；b.存在性能和容量扩展上限，集中式中心节点自身硬件设施存在扩展(scale up)上限及查询式寻址方式，导致此问题；即使client缓存元数据或使用缓存集群，也不能在根本上消除上限，在某些场景下(如海量小文件)，此问题仍然存在；解决方案：(1)优化升级硬件，如使用SSD，大内存等机器；(2)当面临此问题时，考虑使用分布式管理元数据方案。2、分布式管理元数据和中心节点的方案相似，只是将元数据分片并使用分布式节点管理存储，在保有中心节点方案优点的同时，解决了性能和容量扩展上限的问题，同时，多个节点同时提供元数据查询服务，系统性能得到提升。缺点:此类系统较为少见，系统本身结构复杂，实现也有一定难度;a.系统包含两种相对独立的分布式节点：元数据节点，数据节点，它们均是带状态节点，每种节点组成的分布式模块都要面临分布式CAP原则的取舍，都要做到可扩展，尤其是元数据对一致性有着更高要求；b.元数据节点需要共同维护数据节点的状态，并在状态变化时作出一致性的决策；这些都对系统的设计和实现构成了很大挑战；c.另外，大量元数据所需的存储设备也是一笔不可忽略的成本开销；上面两种方案有着共同思想：记录并维护数据的状态(即元数据)，数据寻址时先向元数据服务器查询，再存取实际数据。3、无元数据设计主要以ceph为例，有别于上述二者的思想，此类系统的主要思想：使用算法计算寻址，寻址算法的输入参数之一为集群状态(如数据节点分布拓扑，权重，进程状态等)的某种形式描述，此类常见算法有consistent hashing，Ceph RADOS系统的CRUSH算法，这类算法通常不直接管理用户数据，而是引入中间一层逻辑分片结构(如consistent hashing的环片段，ceph的placement group)，其粒度更大，其数量有限且相对固定，用户存取的数据隶属于其中唯一一个分片中，系统通过管理维护这些分片进而管理维护用户数据；此类系统有的也有中心配置管理节点(如ceph rados的monitor)，只提供集群和分片等重要状态的管理维护，不提供元数据的存储查询。优点：A.如前所述，系统只需管理维护逻辑分片与集群状态等信息，不存储管理用户数据的元数据，系统的可扩展性大大增强，这在大量元数据场景时尤为明显；B.寻址算法所需的参数数据量小且相对固定，client可以通过缓存的方式，达到若干client并行寻址的目的，避免了寻址性能瓶颈；缺点分析：a.集群扩容时(甚至权重改变时)，需要做rebalance，尤其是数据规模很大(PB级以上)的集群，由此带来的大量数据迁移使集群一直处于高负载的状态，进而使得正常业务请求的延时、iops等性能指标下降；但有些场景做集群扩容时，并不希望做rebalance(如集群容量不足)；对此，常见策略是每个集群预先做好性能、容量评估，需要扩容时，直接新建集群；如果单个集群必须做rebalance，通过人工干预限流降低集群负载；至于需要做rebalance的根本原因，本人认为扩容导致集群状态改变，进而导致寻址算法结果改变，最终数据分布也需随之改变；b.数据的副本分布位置通过寻址算法计算得出，位置相对固定，几乎不可人为调整；但通常可以通过改变权重的方式改变数据总体分布情况；c.中心配置管理节点只管理分片信息，不知道单个用户数据的信息，统计分析类的需求需要通过定期地收集数据节点信息等方式实现，并存储维护。总结：通过以上比较分析，三类系统的寻址策略，使系统本身均有自己相应的优缺点，它们都不是完美的，但都有其适宜的场景和业务，在系统设计与选型时，需要做全面的考量。来源：量财经区块链学堂