摘要语：全新智能化运维功能，让数据管理更简单高效华为云数据管理服务DAS提供的云DBA控制台，提供了丰富的数据库智能化运维功能，可全方位对数据库进行智能监控与诊断优化，保障数据库的高效稳定运行，让DBA在轻松管理数据库的同时，能够聚焦于数据库架构设计等更大价值的工作上，成为DBA管理数据的有力法宝。近期，云DBA智能化运维平台针对华为云用户的使用场景，新增了5大运维特性，设计了更贴合企业级用户的功能和服务，极大解放了企业DBA和运维的工作压力，让数据管理变得更简单高效。云DBA智能化运维平台新增的5大功能特性紧急Kill会话云DBA智能化运维平台提供的紧急Kill会话特性，可以在数据库实例连接数被打满，无法正常登陆时，提供一个特殊连接通道，依然可以查看会话列表、批量Kill会话，有效降低故障时间，保证系统的持续稳定。历史性能华为云DBA智能化运维平台提供的历史性能特性，可以查看实例性能、主机性能累计近500个指标的趋势走势图，还能对比分析、自定义性能常见指标，方便用户快速查看和定位问题，迅速恢复故障。具体能力如下：Ø  通过图表展示QPS/TPS、连接数、DML执行次数等历史性能指标，直观定位历史性能问题Ø  通过查看2个时间段的历史性能指标对比曲线，以及用户自定义生成的性能指标曲线图，帮助客户快速定位问题慢SQL华为云DBA智能化运维平台提供的慢SQL特性，一键SQL优化与诊断，帮助用户快速识别慢SQL语句，智能给出优化建议。具体能力如下：Ø  直观展示慢SQL的数量趋势曲线和CPU占用率曲线，清晰定位慢SQL导致CPU飙高的问题Ø  对慢SQL进行模板化汇总，并根据执行次数、耗时、锁等待时间、扫描行数、返回行数等指标进行排序，快速找出TOP N的慢SQLØ  可以查看每一条慢SQL的具体SQL内容、执行时间、客户端IP等信息Ø  对慢SQL进行自动诊断，并给出索引优化建议、SQL改写建议，帮助开发者对SQL进行自助优化实时分析华为云DBA智能化运维平台提供的实时分析特性，集查看当前资源使用率、实时性能、慢SQL、实时会话功能于一体，通过查看最新数据库的性能指标，帮助普通开发人员和企业DBA在线定位实例异常，并对数据库进行智能优化。Ø  一目了然CPU、内存、IOPS、空间、连接的当前资源使用率，直观定位哪个资源飙高的问题Ø  提供QPS /TPS 和连接数的实时性能曲线图，帮助观察当前实例的性能走向，找出性能问题Ø  对慢SQL进行模板化汇总，根据慢日志趋势、执行次数、耗时、锁等待时间、扫描行数、返回行数等指标进行排序，快速找出TOP N的慢SQLØ  查看每一条实时会话的用户、主机等信息，一旦发现异常的会话，可以选中并结束会话。空间&元数据分析华为云DBA智能化运维平台提供的空间&元数据分析能力，支持查看异常列表、实例空间概况、对象概况、数据库空间概况等，帮助用户及时发现数据库中的空间和元数据异常，有效保障数据库稳定性。此次华为云DAS服务提供的云DBA智能化运维平台，从数据库运维场景的痛点出发，给运维人员和DBA提供了更高效、简单、安全、智能化的数据管理服务。目前，华为云数据库开年采购季活动火热进行中，在迁移专区购买数据库的用户, 使用数据复制服务DRS迁移数据上云后免费赠送6个月时长。此外新用户购买云数据库1年3折，2个月仅需10元。买管家式的华为云数据库速戳：点击访问

背景:  DAS为用户提供快速导入数据的功能，允许用户上传最大为15M的SQL/CSV文件一、原始阶段一提到文件上传，首先想到的是使用最原始的html的input标签，把类型设置为file就可以了。<!-- 核心代码 --> <form action="upload" method="POST" enctype="multipart/form-data">     <input type="file" />     <input type="submit" /> </form>优点：原生HTML，简单粗暴，没有任何炫技缺点：样子过于陈旧，与DAS的中后台系统的设计格格不入1.1  第1次进化（美化）HTML的label标签for属性：表示lable标签要绑定的HTML元素，点击这个标签的时候，所绑定的元素将获取焦点。（以前这个特点经常用来在点击checkbox后面的文字时，选中/反选checkbox），所以对于文件选择器一样适用，利用这一点可以实现第1次进化（样式的进化）.inputfile {     width: 0.1px;     height: 0.1px;     opacity: 0;     overflow: hidden;     position: absolute;     z-index: -1; } .inputfile + label {     font-size: 14px;     font-weight: 400;     color: white;     background-color: #23c6c8; ... }<input type="file" id="uploader" accept=".sql" class="inputfile" /> <label for="uploader">上传...<label>为了把藏起来，把它的宽高都设置成0.1px，透明度设置为0等等无所不用其极，再精心的修改label标签的样式，使其符合DAS的风格，这样文件上传就完成了第1次进化。优点：仍然是HTML原生支持，只是使用了一点小技巧，可以通过定义css使其适配目标系统的风格缺点：对于一些较大的文件，上传过程会卡死（或者是接口超时都还没有上传完）1.2   第2次进化（分段上传）导入的文件大小限制在15M时，线上表现一直很好。直到有很多用户提出15M的限制太小了，于是DAS开始支持最大1G文件的导入。实现思路：调用接口获取1个UploadID读入文件，然后把文件切割成10M/个的分段（最大103个分段）上传所有的分段所有分段都完成后，通知服务端根据uploadID合并文件这个思路的核心在于如何在前端进行文件的分割：HTML5提供的 FileReader API提供了读取用户本地文件的能力，FileReader 对象允许Web应用程序异步读取存储在用户计算机上的文件（或原始数据缓冲区）的内容，使用File 或 Blob 对象指定要读取的文件或数据。Blob 对象表示一个不可变、原始数据的类文件对象。Blob 表示的不一定是JavaScript原生格式的数据。File 接口基于Blob，继承了 blob 的功能并将其扩展使其支持用户系统上的文件。Blob.slice(start, end, contentTyp)返回一个新的 Blob 对象，包含了源 Blob 对象中指定范围内的数据。核心伪代码：let chunks = Math.ceil(size / CHUNK_SIZE); let fileReader = new FileReader(); fileReader.onload = e => {     let fileData = new Blob([e.target.result]);             currentChunk++;     if (currentChunk < chunks) {         /* 文件分片读完了，马上开始调接口上传文件 */         uploadToServer(fileData).then(()=>{             /* 读取下一个分片 */             loadNext();         }).catch(err=>{             /* 错误处理 */         })            }  }; function loadNext() {     var start = currentChunk * CHUNK_SIZE,         end = start + CHUNK_SIZE >= file.size ? file.size : start + CHUNK_SIZE;     fileReader.readAsArrayBuffer(blobSlice.call(file, start, end)); } loadNext();在实现了分段上传后，1G文件不会再产阻塞的问题，可以顺利的上传完成，上传的过程如下图所示：1.3  第3次进化（多轮分段读取 + 前端并发控制）既然已经支持1G了，为了拉开和竟品的差距（DMS支持最大100M），DAS索性直接支持10G文件的导入。简单进行分段上传的问题开始显现出来。当只支持1G的时候，把1G文件切分后的。10G的文件全部读入是不可能的（用户内存可能都没有10G）10G文件最大有1000+个分片，顺序上传的效率又太低，必须采用并发上传的方式对于第1个问题还比较容易修改，只需要加入最大入的分段数的控制即可，这样就变成了多轮分段读取的方式了，核心代码如下：fileReader.onload = e => {     let fileData = new Blob([e.target.result]);     /* 把文件分片保存在组件中 */     fileParts.push(fileData);     currentChunk++;     if (currentChunk < chunks && fileParts.length < 12) {  // 加入一个判断的条件         /* 文件分片还没有读完,继续读 */         loadNext();     } else {                 fileParts.forEach(parts=>{             /* 文件分片读完了，开始调接口上传文件 */         })         // 分段上传完成后，把存储分段的数组清空即可。         fileParts = [];         // 重新开始新一轮的读取         loadNext()     } };第2个问题，如果要采用并发上传的方式，就必须引入一个并发控机制，确保同时上传分段数最多不超过3个，实现并发控制其实也比较简单，受数组的map方法启发，极简版本的实现核心代码如下：let mapLimit = (list, limit, asyncHandle) => {     let recursion = (arr) => {         return asyncHandle(arr.shift())             .then(()=>{                 if (arr.length!==0) return recursion(arr) // 数组未迭代完，递归继续                 else return 'finish';             })     };          let listCopy = [].concat(list);     let asyncList = []; // 正在进行的所有并发异步操作     while(limit--) {         asyncList.push( recursion(listCopy) );      }     return Promise.all(asyncList);  // 所有并发异步操作都完成后，本次并发控制迭代完成 } // 测试 var dataLists = [1,2,3,4,5,6,7,8,9,11,100,123,321,789,987]; var count = 0; mapLimit(dataLists, 3, (curItem)=>{     return new Promise(resolve => { count++         setTimeout(()=>{ console.log(curItem, '当前并发请求:', count--)             resolve();         }, Math.random() * 5000)       }); }).then(response => {     console.log('finish', response) })两者结合起来的伪代码：fileReader.onload = e => {     let fileData = new Blob([e.target.result]);     /* 把文件分片保存在组件中 */     fileParts.push(fileData);     currentChunk++;     if (currentChunk < chunks && fileParts.length < 12) {  // 加入一个判断的条件         /* 文件分片还没有读完,继续读 */         loadNext();     } else {                 mapLimit(fileParts, 3, async (file,callback)=>{             await uploadToServer(file).then(()=>{                 // 分段上传完成后，把存储分段的数组清空即可。          fileParts = [];          // 重新开始新一轮的读取          loadNext();             }).catch(err=>{                 // 预留给下一次进化             })                              })             } };1.4 第4次进化（重试 ）虽然流式读取和前端并发控制已经很大程度上改善了过程，但是然后有不足之处：一旦1000+中任何一个分片出错了，整个上传就失败了。这一点没有好好利用分段数据的优势：哪个分段上传不成功，重新上传该分段即可，不用重新上传整个文件。于是可以在上传过程中发生错误的时候进行重试，当然重试也不应该是无限制的（DAS设计为重试5次，如果某个分片上传失败后，重试5次仍然失败，整个上传过程就认为失败了），核心代码如下：fileReader.onload = e => {     let fileData = new Blob([e.target.result]);     /* 把文件分片保存在组件中 */     fileParts.push(fileData);     currentChunk++;     if (currentChunk < chunks && fileParts.length < 12) {  // 加入一个判断的条件         /* 文件分片还没有读完,继续读 */         loadNext();     } else {                 mapLimit(fileParts, 3, async (file,callback)=>{             await uploadToServer(file).then(()=>{                 // 分段上传完成后，把存储分段的数组清空即可。          fileParts = [];          // 重新开始新一轮的读取          loadNext();             }).catch(async err=>{                 // 进行5次重试                 let retryCounts = 0;                 for (let i = 0; i < MAX_RETRY; i++) {                     retryCounts++;                     let [retryErr, retryData] = await uploadToServer(file)                      .then(rs => {                                                  return [null, rs.data];                      }                          .catch(retryErr => [retryErr]);                     if (retryErr) {                         /* 重试仍然挂了,继续重试 */                         continue;                     } else {                         /* 重试成功了 */                         callback(null, retryData);                         break;                     }                 }             })                              })             } };1.5 第5次进度（支持中途取消）即使进行了几次优化，但是上传10G文件仍然需要花好久，所以需要允许用户取消文件上传；中途取消也分为两个部分：分片读取中断，不再发送新的分片上传请求正在上传中的分片取消请求第1个诉求只需要在代码中加入标记位cancelFlag即可，用户点取消时，将cancelFlag设置为true即可，核心代码如下：   function loadNext() {     if(!this.state.cancelFlag) {         var start = currentChunk * CHUNK_SIZE,             end = start + CHUNK_SIZE >= file.size ? file.size : start + CHUNK_SIZE;             fileReader.readAsArrayBuffer(blobSlice.call(file, start, end));     }    }第2个诉求目前还在实装中，主要原理是基于Cancelable Promises Proposal 实现请求的取消。核心代码如下： const CancelToken = axios.CancelToken;    const source = CancelToken.source();        post('/upload', {      cancelToken: source.token    //请求体或者头部传递一个cancelToken    }).catch(function (thrown) {      if (axios.isCancel(thrown)) {        console.log('Request canceled', thrown.message);      } else {        // handle error      }    });        source.cancel('Operation canceled by the user.');二、重构的效果15M同步上传 -> 1G分段顺序上传 -> 10G多轮分段并发上传最大支持10G文件上传上传效率高自动重试可中途取消上传

云数据时代，互联网上每分钟可产生100TB以上的数据，面对不仅数量庞大而且种类繁多的难题，该如何处理？安装各种客户端？手动写入SQL？人工分析与诊断？……关于数据管理，华为云数据管理服务（Data Admin Service，简称DAS）解决您的各种疑难杂症！DAS是一种提供数据库可视化操作的服务，包括基础SQL操作、高级数据库管理、智能化运维等功能，旨在帮助用户易用、安全、智能的进行数据库管理。可视化界面免安装、可视化的连接和管理云上数据库，导航树形结构，清晰展示各个对象并实现可视化结构管理功能，轻松实现云上数据库管理。安全防护云端专用通道管理数据库，严格的资源权限认证体系，丰富的SQL操作安全保障体系。智能诊断一键诊断锁等待、慢SQL、实时性能等智能化的运维能力。高级管理提供DML的数据追踪和回滚、周期性的定时SQL任务调度、表结构对比与同步、SQL诊断和表索引推荐等高级管理功能。 DAS主要功能模块▼1.库管理基于库维度的数据库管理方式，在库级别提供日常大部分数据库管理功能，快速生成表的测试数据等，数据库管理更为便捷简单。2.SQL窗口SQL智能提示能力进一步提升，用户输入SQL更加方便、流畅。SQL执行结果集提供追加和覆盖两种可选模式：“我的SQL”支持多维度可见级别(全部实例、当前实例、当前库)；支持保存SQL执行记录，方便进行追溯和复用；支持极高性能的搜索和翻页展示能力。智能高效又可靠，交互体验流畅，企业的好帮手。3.导入导出提供详细的日志追踪记录，用户可以在任务执行的任何阶段，主动终止任务的执行，及时规避导入导出过程中可能对库产生的性能影响。导入容量全面升级，最大支持1G的大SQL文件导入，支持各种复杂、极端的SQL语句写法，保障SQL语句拆分准确性。安全方便容量大，助力用户更好管理。4.云DBA服务云DBA服务模块，集实时性能、实例会话、SQL诊断、诊断报告、InnoDB锁等待、Binlog查询、参数智能诊断等。使用AI技术，与当前实例的性能数据相结合，智能化的预测出适合您当前实例的良好的参数设置方案，智能诊断反馈，让数据库的性能状态更赞。 迈开腿，走进DAS>>今天，先来讲讲第一步：登录DAS步骤1 在DAS数据库登录列表页面，单击“新增数据库登录”，打开新增数据库登录窗口。步骤2 在弹窗中，选择数据库类型、数据库来源、目标实例，填写登录用户名、密码、备注信息，为保障体验性能，建议开启元数据采集、SQL记录功能。步骤3 设置完登录信息，单击“立即新增”。步骤4 在数据库登录列表页面，单击操作列表中的“登录”即可。Tips：数据管家DAS目前支持对RDS、ECS自建库、DDS等数据库实例进行管理哦~更多内容，猛戳>>>

大家好，小云妹我又来了，今天给大家介绍DAS2.0中的表结构对比与同步功能，解决您数据库管理的各种问题数据管理服务DAS介绍页入口：https://www.huaweicloud.com/product/das.html数据管理服务DAS概览页文档入口：https://support.huaweicloud.com/das/index.html【往期回顾】●【第一期】初识数据管理服务DAS

华为云数据管理服务（Data Admin Service，简称DAS），是一款专业的简化数据库管理工具，提供优质的可视化操作界面，大幅度提高工作效率，让数据管理变得既安全又简单。目前，华为云DAS新出了一个功能——数据追踪与回滚，提供多重变更审计，保护核心数据安全；一键回退错误操作，快速找回数据。数据追踪与回滚功能的主要使用场景（1）核心数据变更审计，统计变更数量，查看敏感变更。例如：银行流水查看收支情况，订单表统计新增订单，配置表关键配置变更历史。（2）误操作数据回滚，找回误删除数据，恢复变更前数据状态。例如：DBA更新配置未加where条件，误删除配置数据，程序bug生成大量脏数据及其连锁反应。DAS数据追踪与回滚功能的使用步骤1.功能入口（数据方案——数据追踪与回滚）数据追踪与回滚功能入口位于数据方案菜单下，数据追踪任务列表支持按时间和数据库筛选。2.创建任务· 点击发起追踪按钮创建数据追踪任务，第一次使用数据追踪功能会提示签署数据安全协议，提醒用户DAS会存储任务涉及的变更记录，请详细阅读协议内容，用户未签署协议不能创建新的数据追踪任务。· 依据提示填写任务信息，时间范围即待追踪数据变更时间，该时间差不能超过6小时，填写完成点击预检查按钮。· 预检查会根据时间范围筛选Binlog列表，开启备份的RDS实例会定时备份Binlog文件到obs上，备份会有<=5min延迟，当用户发起对当前时间数据追踪时，会存在无最新5min变更记录的可能，遇到该情况稍后重新创建任务即可。· 读取日志会发起Binlog解析，根据任务信息将涉及变更记录存储，支持后续数据筛选及展示。 Binlog列表全部解析完成后，点击搜索日志按钮进入任务详情——搜索日志页面，该页面展示变更事件列表，支持文件过滤，表名（迷糊），字段名、字段内容（迷糊）搜索，点击查看数据可查看当前事件变更数据，点击查看回滚语句可查看当前事件回滚SQL（无主键表不支持生成回滚语句）。当有多个事件需要合并回滚时，点击新建回滚任务按钮，指定回滚事件id范围，将合并后的回滚SQL生成到obs存储中，高级选项支持表名（迷糊），字段名、字段内容（迷糊）筛选。a)变更合并：对同一记录（主键）连续3次变更（1->2->3->4）等价于1次变更（1->4）。b)语句类型选项：i.生成基于事件的回滚SQL：针对数据发生变更时的前后镜像生成反向变更SQL。ii.获取数据变更前的原始数据：将数据变更前镜像生成回滚表及insert语句。 创建的数据回滚任务，在任务详情——回滚任务列表页面，点击下载按钮可查看SQL，同一记录合并变更存在变更抵消情况（insert->delete，delete->insert，update->update），因此生成文件会存在无回滚SQL/无原始数据情况。 ·  任务完成后，可在任务列表页主动删除，任务涉及变更记录DAS存储将同步删除，未主动删除任务在15天后过期，由系统自动回收并删除变更记录DAS存储。华为云DAS聚焦数据库客户端管理，致力于让数据库管理变得高效、简单、安全，其数据追踪与回滚功能更是助力企业数据安全变更审计，保障核心数据不被丢失，一键找回变更前数据，既安全又高效。

 云数据时代的到来，互联网上每一分钟就产生100TB以上的数据，不仅数量庞大而且种类繁多，企业也因此面临各种数据库管理复杂的难题。目前企业的数据库使用者，大多面临以下问题：SQL输入费时、需要同时查看多个结果集、复杂SQL语句的批量执行需要能够被正确的拆分、需要更全面的性能分析和诊断手段、以及更大容量的SQL文件的导入能力等等。这些问题成为企业数据库使用者的头号心病，日夜萦绕于心的同时，不禁发问道：“到底什么时候才能出一款省心省力又好用的数据库管理产品呢？”针对这些问题，华为云数据管理服务（Data Admin Service，简称DAS）坚持“以客户为中心”，精心专研每一处服务，致力于为客户创造长期价值。值此盛夏之际，华为云DAS2.0全新升级，集自动化智能化于一体，新增多项数据库运维、智能诊断功能，大幅度提高开发效率，助力技术人员实现便捷的数据库客户端管理，让数据管理变得高效、安全、简单。DAS2.0对实例的库、表、字段等元数据信息，由1.0的实时查库，升级为后台任务的定期采集，减少了对用户库的查询次数，降低了对用户库的性能影响，且针对有很多表的实例，模块搜索性能提升，可提供翻页能力。但该特性的开启，需要用户打开以下3个开关：记住密码、元数据采集、SQL记录功能，方可使用。DAS主要升级功能点：1、 库管理DAS全新升级为基于库维度的数据库管理方式，在库级别提供日常大部分数据库管理功能，如查看、搜索、排序、管理各种对象列表(表、视图、存储过程等)、慢SQL诊断、可视化表结构编辑，打开表(支持行列复制、where条件过滤、在线编辑)，快速生成表的测试数据等。功能全面优化，数据库管理更为便捷简单。2、 SQL窗口SQL智能提示能力进一步提升，用户输入SQL更加方便、流畅。SQL执行结果集提供追加和覆盖两种可选模式：“我的SQL”支持多维度可见级别(全部实例、当前实例、当前库)；支持将执行过的SQL语句，并保存到SQL执行记录中，可方便进行历史追溯和SQL复用再次执行。针对表特别多的场景，表列表的展示方式，支持极高性能的搜索和翻页展示能力。智能高效又可靠，交互体验流畅，企业的好帮手。3、 导入导出导入导出提供更加详细的日志追踪记录，用户可以在任务执行的任何阶段，主动终止任务的执行，及时规避导入导出过程中可能对库产生的性能影响。导入容量全面升级，最大支持1G的大SQL文件导入，支持各种复杂、极端的SQL语句写法，保障SQL语句拆分准确性。安全方便容量大，助力用户更好管理。4、云DBA服务新增云DBA服务模块，集实时性能、实例会话、SQL诊断、诊断报告、InnoDB锁等待、Binlog查询等 6大版块于一体。实时性能：支持用户自定义显示指标、各指标的展示顺序、各指标的阈值自定义、高于阈值的高亮显示；支持跨实例的多实例实时性能对比能力、支持跨实例的多实例实时性能看板展示。实例会话：根据会话时间区间进行聚合统计，支持根据用户、数据库、来源IP进行分组过滤，支持慢SQL展示及一键诊断，支持KILL会话操作。SQL诊断：支持SQL语句和批量SQL附件两种方式诊断，诊断能力进一步提升，支持多表Join的复杂语句诊断，可随时终止诊断任务。InnoDB锁等待分析：可以查看所有发生锁等待的级联关系，可一键KILL会话节点，可查看每个会话的具体信息，包括会话时间、执行的SQL内容、持有锁的范围等等。每一轮升级均源于对客户体验的用心和对产品的虔诚，在深植于心的同时亦渗入到平日的点滴行为，一如既往，从一而终。我们坚信唯有用心与善良，方能赢取未来，也敬请期待我们开启下一轮的新升级。

数据库管理不方便，安装客户端太麻烦，华为云数据管理服务DAS上新,新功能一键全解决！想了解更多精彩内容，请扫码关注【HW云数据库】

日前，华为云数据管理服务 DAS 正式商用，上线自动生成测试数据、常用 SQL 保存功能和实例会话管理。并首家支持 SQL Server 用户权限管理，一举解决业内使用该数据库门槛高、操作复杂等问题，率先实现便捷方便的数据库客户端管理，大幅提高开发效率。DAS 实例会话管理华为云数据管理服务（Data Admin Service，简称DAS），是一款专业的简化数据库管理工具，提供优质的可视化操作界面，大幅提高工作效率，让数据管理变得安全简单。华为云 DAS 主要功能SQL 窗口管理DAS 提供了类似 Excel 的表格方式编辑数据，让不懂 SQL 查询语言的用户也能无障碍增删、改查表数据以及统计分析。SQL 窗口提供 SQL 格式化、SQL 智能提示、SQL 执行计划、SQL模板等功能。目前，DAS 新支持常用 SQL 保存功能，方便开发人员查找和复用。 DAS常用 SQL 保存功能2.数据管理DAS 提供了 Excel 或者 INSERT （用于向表格中**新的行）语句类型的快速导出和导入数据功能，支持数据在线查询、编辑数据、数据导入导出、支持 INSERT 语句或者 CSV 格式。目前，DAS 已支持数据批量导入，帮助开发人员节省时间，提高工作效率。DAS 批量导入功能3.对象管理（库、表、视图）DAS 简化数据库结构设计，支持可视化的目录结构管理。例如导航树形结构，可清晰展示和管理各个对象，支持新建对象、修改对象、表结构 DDL 导出、表结构 DDL 对比等。DAS 对象管理最值得一提的是，华为云 DAS 首家支持 SQL Server 用户权限管理，一举解决业内使用该数据库门槛高、操作复杂等问题，率先实现便捷方便的数据库客户端管理，大幅提高开发效率。华为云 DAS：数据库开发者必备利器云时代，越来越多用户将数据放在云上。数据库作为日常工作中的必须品，无论在哪都需要一个入口访问，因此一款好用方便的管理工具必不可少。那么，华为云 DAS 从哪些方面开始入手呢？1.节省支出，免去自行安装用户开通公网/内网，购买 ECS 后即可访问 DAS，无需进行复杂的自行安装调试工作，实现云端研发测试，快速访问，快速部署，提升研发效率。 2.轻松管理，降低使用门槛DAS 提供可视化的界面连接管理数据库，并通过类似 Excel 的方式进行数据编辑操作，简单易用，轻松实现云上管理数据库 3.安全防护，保障数据安全DAS 采用华为云专用的云端通道，严格控制访问，保障用户数据安全。当前，华为云提供 了 VPC、子网、安全组、VPN、SSL 在内的一系列网络隔离与权限控制安全策略，并加之业界领先的 DBSS 数据库安全防护技术，以及多种行业安全合规、清晰的安全责任界定，在提供便捷云上数据库管理的同时，保障用户数据安全，助力企业用好数据库。华为云 DAS 推出的初衷，在于解决开发者在数据库使用过程中遇到的难题。因此未来，DAS 将会基于华为云生态全方位升级，集自动化智能化于一体，成为数据库开发者手中的利器。了解华为云 DAS更多信息:https://www.huaweicloud.com/product/das.html  免费试用云数据库畅销引擎：https://activity.huaweicloud.com/free_test/index.html#sql想了解数据库更多信息，请扫码关注我们的公众号。

本期小云妹给大家介绍个超实用的数据管理神器——数据管理服务DAS数据管理服务DAS 产品介绍页入口：https://www.huaweicloud.com/product/das.html数据管理服务帮助文档入口：https://support.huaweicloud.com/das/index.html

俗话说：人强不如家伙强，多做不如精做好；工欲善其事，必先利其器。云技术的发展和云市场的成熟，让各行各业上云势头如日中天。应用上云、业务上云，最终都离不开数据上云。那么，如何方便快捷的对云上数据进行管理呢？近期，华为云推出一款客户端数据管理服务，帮助用户实现数据可视化直接管理，大幅提高工作效率。 华为云数据管理服务（Data Admin Service），简称 DAS，是一款专业的简化数据库管理工具，提供业界领先的可视化操作界面，直接对数据结构进行查询、变更操作，旨在让数据管理变得安全和简单。                                  华为云数据管理服务 DAS 众所周知，在云上创建数据库后，云上管理关系型数据库（RDS）数据结构，经常会面临需要安装客户端，才可以访问 RDS 的问题。不但安装麻烦，而且使用不便，给用户带来不少困扰。 DAS 通过可视化界面连接和管理数据库，在云端专用通道管理数据，并且借助华为云的高安全机制，严格控制数据库访问。在云上管理数据库的同时，实现了云研发测试、快速部署和访问数据库，大大提升研发效率。                *DAS 系统架构图（目前支持引擎： MySQL、SQL Server） 三大场景，助推企业用好数据库 数据访问DAS 提供了类似 Excel 的表格方式编辑数据，让不懂 SQL 查询语言的用户也能无障碍增删、改查表数据以及统计分析。此外用户还可以保存常用的 SQL，随时引用执行，使得工作效率更高效。 结构管理 DAS 简化数据库结构设计，支持可视化的目录结构管理。例如导航树形结构，可清晰展示和管理各个对象，让数据管理更方便。此外，DAS 能在可视化页面实现 DDL 数据库模式定义，从而轻松完成数据结构变更。 3. 数据导入导出DAS 提供了 Excel 或者 INSERT （用于向表格中**新的行）语句类型的快速导出和导入数据功能，提供 SQL 模板，或自定义 SQL 窗口输入并执行计划，并根据输入的 SQL 语句导出记录，支持文档型、字符集数据导入。 值得一提的是，DAS 采用华为云专用的云端通道，严格控制访问，保障用户数据安全。在安全方面，华为云提供 VPC、子网、安全组、VPN、SSL 在内的一系列网络隔离与权限控制策略，搭配业界领先的DBSS数据库安全防护技术，多种行业安全合规、清晰的安全责任界定，安全架构可谓层层加固。 近期，DAS 上线了支持用户权限管理，用户连接、主机连接、数据库资源访问管理，事务管理，表结构DDL导出下载、表属性查看，表结构 DDL 对比等新功能。不但可在 Web 页面直接勾选，进行权限授权，而且可以对测试环境和生产环境进行差异比较，进一步满足用户的数据管理需求。 目前，DAS 已集成到华为云的管理控制台，用户创建 RDS 完成即可连接访问，实现可视化数据库管理操作。申请免费体验，请移步官网：https://www.huaweicloud.com/product/das.html 配套数据库引擎免费试用请点击：https://activity.huaweicloud.com/free_test/index.html 福利时间：华为云产品活动月，数据库产品全场 3.5 折起，安全产品全场低至 1 折；不限新老用户，下单即享折扣！ 2018 华为全联接大会将于10月份在上海召开，届时将首发华为AI战略和全栈全场景的解决方案，并携合作伙伴带来更多诸如“秦渲云”这样AI、云、大数据、5G、IoT、视频等在各行业的创新与实践，惠及更多开发者人群，“+智能，见未来”我们拭目以待。

19285这里有一款专业的简化数据库管理工具，提供业界领先的可视化操作界面，大幅提高工作效率，让数据管理变得既安全又简单！19282场景一：数据访问  类似 EXECL方式编辑数据，不懂 SQL 也能无障碍增删改查表数据以及统计分析场景二：结构管理简化数据库结构设计、可视化目录结构管理、轻松完成数据结构变更产品优势轻松管理实现云上管理数据库，可视化界面连接和管理数据库。安全防护云端专用通道管理数据数据，华为云高安全严格控制数据库访问。高效率简单方便访问数据；可视化对象管理操作，简单易用。易操作实现云端研发测试，快速访问，快速部署，提升研发效率。19284免费试用申请入口：https://www.huaweicloud.com/product/das.html19283

“什么？就只给一周时间？要在地图上展示全国所有卡口，在国内任何位置随便画个圈就能把这里的卡口摄像头调出来，还要实时看到现场情况？”老张在接到上级这一需求的时候，脑子“嗡”的一声。要知道，通常情况下，这种卡口一张图的应用需要全国的基础地图、需要地图开发引擎、需要全国卡口点位数据和调用接口、需要具备大数据地图能力的研发人员等等……“怎么说都要两个月时间才可能实现啊。”老张心里嘀咕着，却没有办法把两个月的时间说出口，因为他知道，中央领导七天后来市里视察，留给他安排保卫的时间也就只能有一周。“保证完成任务！”老张跟上级保证，心里却没有底。常规的方式根本没办法完成，必须寻找新的方案提供商。“老李，我遇到难事儿了。”老张放下电话就赶紧打给了行业百事通老李，然后把苛刻的需求复述了一遍。“你还真找对人了。我上个月刚遇到这个问题，已经完美解决了。”老李的话给了老张一颗定心丸，秘密武器就是专业地图的创新应用，落地一点说就是在北京万维吉斯公司的地图易平台上开发。“你只需要解决全国卡口点位和接口调用这个问题，其他问题都有平台解决。”老李得意的说，“一周时间足够了。”“如果只是解决卡口点位和接口调用这个问题，那一周时间还是很充裕的。”老张拨通了万维吉斯的电话，本来只是想试一试，没想到还真把他的问题解决了。地图易，把复杂地图做成“美图秀秀”当前，地图的普及程度越来越高，已经成为不可或缺的“第三只眼”，但与个人应用的界面越来越简单相反的是，行业应用一端却走上了越来越复杂的道路。用户不仅需要了解应用，往往还需要采购数据、了解接口、能够开发。随着应用越来越多，地图的行业应用也越来越复杂，已经成为舞不起来的一把大刀。普通人用不好PhotoShop，因此诞生了“美图秀秀”。普通行业用户用不好复杂的地图应用，因此诞生了“地图易”平台。“地图易”是一站式地图服务平台，平台包括了行业地图开发常用的数据和工具，提供了地图基础数据、地图数据管理工具、地图基本接口和多种地图可视化插件，极大的降低了地理信息系统的应用门槛。具体来说，“地图易”平台的简单易用表现在以下三个方面：1、采购容易传统的地图应用开发需采购数据、对数据进行处理、采购硬件、采购基础软件、采购地图引擎、系统集成、综合调试和应用部署等8个环节，需要面对至少5个厂商，最快也需要10周。而采购地图易模式，只需一次采购，最快一天到货。极大的提高了采购效率的同时还能降低风险、降低技术门槛和降低总体费用。2、开发容易传统的地图应用开发具有人员要求高、学习成本高和开发成本高的三高特点。对开发人员要求极高，需有地理信息方面的基础知识，还需有前后台开发能力；学习成本高，至少需要针对开发引擎进行数周的培训；开发成本更高，需做大量的数据管理等配套功能的开发工作和可视化插件的封装等工作。而地图易平台全面的降低了地图应用开发门槛，对开发人员只需要有一定的前台开发基础，经过半天的培训既可快速的开发出复杂定制的应用系统。开发和学习成本不到传统地图开发的五分之一。3、功能丰富“地图易”平台在极大降低学习和开发门槛的同时提供了完善丰富的功能。后台提供 了瓦片服务、要素服务和空间服务等，这些服务同时提供了JAVA、Rest和Js接口，开发者可以在不同的场景下分别使用。同时也提供了数据管理工具和数十种可视化插件。图1.热力图插件图2.聚合图插件图3.流向图插件图4.梯度图插件十年磨一剑数十个行业使用验证地图易简单易用，诞生过程却并不简单。2008年，万维吉斯创始人兼CEO叶志旺深度参与公安部PGIS（警用地理信息系统）项目建设以及标准的设立，随后负责了全国多个省市PGIS的建设，开启了地图易雏形。在之后的十年里，在地图易平台服务了数十个行业：l服务了东南亚国家联盟，帮助东盟实现了跨国区域的水域监测和分析；l服务了中科院，在遥感所对地观测中心实现了世界文化遗产管理；l服务了中石油，实现了海外人员定位精准定位和实时展示；l在中国原子能科学研究院中，进行了原子能辐射分析；l在公安行业，不仅有公安部和数十个省市的深度应用，还有公安部一所、公安部三所等多个项目的深度合作；此外，还在航天信息、航天长峰、河南省考古所、金蝶、廊坊食药监局、海航集团、海信集团、民政局、食药监局等都有多个应用。“地图易在数十个行业里，磨了十年。”叶志旺说，“我们不仅有地图易平台，稳定、易用、通用。而且，我们有地图行业专业的团队，这是一个曾经打过大仗的服务团队。”2018年5月2日，北京万维吉斯科技有限公司入住华为云市场，从此，华为云用户可以通过云平台，更方便的使用“地图易”，让地图为行业发展带来更多可能。

本帖最后由 Broaddata 于 2018-4-27 11:43 编辑14599 一、 产品介绍 上海宽数倾力打造的企业大数据智能平台EDI (Enterprise Data Intelligence)，以建设企业数据PaaS层为切入点， 帮助企业/机构快速构建新一代数据仓库和基于其上的数据产品，帮忙企业在DT时代快速数字化转型，实现数据智能，对接人工智能。EDI平台基于目前业界领先的大数据技术和理念，融合结构化、非结构化数据，实现了统一的数据架构(Unified Data Architecture)。通过部署EDI，快速的让企业/机构拥有大数据处理的能力，帮助用户在单一平台下，实现对海量数据、全类型数据、外部数据的存储归档、 搜索访问、计算加工、价值挖掘、安全控制、以及数据资产全生命周期管理。 14600 二、 产品功能及特点 上海宽数的大数据智能平台EDI通过把： 现代化的数据基础设施， 所有数据之间的关联融合， 企业对数据加工、服务的需求， 进行统一的封装，构建一个企业大数据集成和管理的PaaS平台,减少用户对于数据技术的直接使用。  数据底层 通过丰富的数据适配器，采用配置式的、自由组合的方式，适配各类现代化数据基础设施。通过统一的数据采集配置，统一调用数据基础设施，融合关联所有数据。  数据应用层 通过统一的数据API，向数据应用提供透明访问的数据服务，保证数据安全的同时，减少使用数据技术的复杂性。  数据PaaS层 剥离数据源和数据应用的复杂性，构建强大的数据管理中台，提供数据管理的各种工具。在数据管理中台，实现一体化的数据架构，在统一管理界面下，实现对海量异构数据的数据治理、存储归档、信息组织、搜索访问、安全控制、分析可视化、以及数据挖掘等。 EDI平台在架构体系层面具有一下一些特点及优势。  高可扩展设计 基于PC服务器的简单快速部署的，无需购买昂贵的传统数据仓库软件和硬件。分布式计算和存储架构，增加服务器即可获得系统性能的线性增长。  高可适应设计 适用小数据量到海量大数据项目，部署可以从3台物理机开始到超大集群，项目启动快。可以根据用户的数据量级和不同的数据类型，选择适合的基础设施，如:海量价值密度低的RFID数据可以选择Hadoop作为数据仓库，而高价值密度的业务数据可以选择GreenPlum作为数据仓库等。  统一数据架构UDA 融合了结构化和非结构化数据的管理，实现了统一数据架构UDA(Unified Data Architecture)，结构化数据和非结构化数据在一个统一的数据模型-数据对象(Dataobject)下管理。  数据高可用性和丰富API 实现全数据的全文检索，同时支持基于SQL的数据查询分析。提供丰富的数据服务API，包括元数据服务，数据搜索服务，数据聚合服务，数据任务调度等。外部数据应用要使用和共享数据，可以调用已经注册的API服务。  统一元数据管理和全面数据治理 提供统一的元数据管理工具，全面管理数据各类信息，包括类型，位置和访问信息，数据格式，数据血缘等。提供全面数据治理功能，实现数据的标准化，编码的标准化和映射，数据质量检查等。  统一数据加工框架 提供了一个统一的数据加工的框架，实现了任务调度，任务执行，运行结果显示等。目前支持以下任务： 数据批处理任务，指标计算，标签计算，关系发现，音视频文件语音识别等。  数据安全 支持灵活的用户权限管理配置，通过用户、组、角色进行多方位的用户权限管理。提供统一的数据安全模型，对所有数据的访问提供灵活定义的访问控制。记录所有关于数据访问的安全审计信息，以满足未来数据安全审计的要求。 三、 产品应用于哪些行业 EDI平台应用于各行各业进行数字化转型，包括公安、政府、教育、制造、电商等。可应用的邻域包括：  大数据管理平台  大数据采集工具  大数据处理工具  大数据分析建模  大数据业务咨询  政务网应用  业务基础及应用开发  人工智能应用开发 四、 产品能够解决什么问题 EDI平台帮助企业在DT时代迅速拥有数据能力，快速实现数字化转型：  海量业务数据分析: 更快的SQL查询、数据批处理 和 BI 报表  全类型数据全文检索: 类似“企业百度”，快速搜索企业全量，全类型数据  全面数据治理: 元数据管理，数据标准，数据质量，数据资产清单等  统一数据加工：数据清洗，指标/标签计算，关系发现，音视频文件/文本分析等  数据挖掘：预测，分类，关联分析，深度学习，挖掘数据价值等  数据API：给业务系统，BI系统，AI系统提供API服务，实现企业内数据共享  数据产品: 基于平台快速构建新的数据产品，如360度数据画像(客户，员工，设备等)，推荐系统，… 14597

本帖最后由 Sabrina 于 2018-4-4 14:59 编辑 13625 【下午茶时光——云存储知识点陪你喝咖啡】 分布式存储中的元数据管理 [indent]元数据被定义为：描述数据的数据，对数据及信息资源的描述性信息。 [/indent]元数据（Metadata）是描述其它数据的数据（data about other data），或者说是用于提供某种资源的有关信息的结构数据（structured data）。元数据是描述信息资源或数据等对象的数据，其使用目的在于：识别资源；评价资源；追踪资源在使用过程中的变化；实现简单高效地管理大量网络化数据；实现信息资源的有效发现、查找、一体化组织和对使用资源的有效管理。对于元数据的管理目前有几种常用的解决方案：中心节点管理元数据，分布式管理元数据，无元数据设计；本文谈谈三种方案的特点:136261、中心节点管理元数据在设计分布式(存储)系统时，使用中心节点是非常简洁、清晰地一种方案，中心节点通常兼具元数据存储与查询、集群节点状态管理、决策制定与任务下发等功能。优点：A.由于其元数据集中式管理的特点，可以方便的处理集群运维管理的统计分析类需求；B. 中心节点记录了用户数据的状态信息(即元数据)，在扩容时，可以选择不做rebalance操作(rebalance引起的数据迁移可能带来巨大的性能开销)，且仍能正常寻址。缺点及解决方案：a.单点故障是设计分布式系统最忌讳的问题之一，中心节点简洁的设计也带来了此问题，如何实现HA呢？；解决方案：(1)使用主备模型，主备之间使用同步或异步的方式进行增量或全量的数据同步(如TFS,mfs，HDFS2.0等)，或者主备之间使用远端共享存储(如HDFS2.0，远端存储需要高可用)；b.存在性能和容量扩展上限，集中式中心节点自身硬件设施存在扩展(scale up)上限及查询式寻址方式，导致此问题；即使client缓存元数据或使用缓存集群，也不能在根本上消除上限，在某些场景下(如海量小文件)，此问题仍然存在；解决方案：(1)优化升级硬件，如使用SSD，大内存等机器；(2)当面临此问题时，考虑使用分布式管理元数据方案。2、分布式管理元数据和中心节点的方案相似，只是将元数据分片并使用分布式节点管理存储，在保有中心节点方案优点的同时，解决了性能和容量扩展上限的问题，同时，多个节点同时提供元数据查询服务，系统性能得到提升。缺点:此类系统较为少见，系统本身结构复杂，实现也有一定难度;a.系统包含两种相对独立的分布式节点：元数据节点，数据节点，它们均是带状态节点，每种节点组成的分布式模块都要面临分布式CAP原则的取舍，都要做到可扩展，尤其是元数据对一致性有着更高要求；b.元数据节点需要共同维护数据节点的状态，并在状态变化时作出一致性的决策；这些都对系统的设计和实现构成了很大挑战；c.另外，大量元数据所需的存储设备也是一笔不可忽略的成本开销；上面两种方案有着共同思想：记录并维护数据的状态(即元数据)，数据寻址时先向元数据服务器查询，再存取实际数据。3、无元数据设计主要以ceph为例，有别于上述二者的思想，此类系统的主要思想：使用算法计算寻址，寻址算法的输入参数之一为集群状态(如数据节点分布拓扑，权重，进程状态等)的某种形式描述，此类常见算法有consistent hashing，Ceph RADOS系统的CRUSH算法，这类算法通常不直接管理用户数据，而是引入中间一层逻辑分片结构(如consistent hashing的环片段，ceph的placement group)，其粒度更大，其数量有限且相对固定，用户存取的数据隶属于其中唯一一个分片中，系统通过管理维护这些分片进而管理维护用户数据；此类系统有的也有中心配置管理节点(如ceph rados的monitor)，只提供集群和分片等重要状态的管理维护，不提供元数据的存储查询。优点：A.如前所述，系统只需管理维护逻辑分片与集群状态等信息，不存储管理用户数据的元数据，系统的可扩展性大大增强，这在大量元数据场景时尤为明显；B.寻址算法所需的参数数据量小且相对固定，client可以通过缓存的方式，达到若干client并行寻址的目的，避免了寻址性能瓶颈；缺点分析：a.集群扩容时(甚至权重改变时)，需要做rebalance，尤其是数据规模很大(PB级以上)的集群，由此带来的大量数据迁移使集群一直处于高负载的状态，进而使得正常业务请求的延时、iops等性能指标下降；但有些场景做集群扩容时，并不希望做rebalance(如集群容量不足)；对此，常见策略是每个集群预先做好性能、容量评估，需要扩容时，直接新建集群；如果单个集群必须做rebalance，通过人工干预限流降低集群负载；至于需要做rebalance的根本原因，本人认为扩容导致集群状态改变，进而导致寻址算法结果改变，最终数据分布也需随之改变；b.数据的副本分布位置通过寻址算法计算得出，位置相对固定，几乎不可人为调整；但通常可以通过改变权重的方式改变数据总体分布情况；c.中心配置管理节点只管理分片信息，不知道单个用户数据的信息，统计分析类的需求需要通过定期地收集数据节点信息等方式实现，并存储维护。总结：通过以上比较分析，三类系统的寻址策略，使系统本身均有自己相应的优缺点，它们都不是完美的，但都有其适宜的场景和业务，在系统设计与选型时，需要做全面的考量。来源：量财经区块链学堂