华为公有云各种上云结构图集

Tableau是一个非常流行的商业智能和数据可视化工具，可以连接各种数据源，将数据转化为交互式可视化图表和仪表板，帮助用户更好地理解和分析数据。通过Tableau连接可以帮助我们更加高效、可视化地探索大数据，通过数据辅助业务决策。接下来，跟着我们的教程来操作吧。

创建伸缩配置：1、登录管理控制台，2、 选择“计算 > 弹性伸缩 > 伸缩实例”。 3. 单击“创建伸缩配置”。 4. 在“创建伸缩配置”页面，填写弹性伸缩配置信息，您可以选择使用已有云服务 器规格为模板或者使用新模板。 创建弹性伸缩组： 1. 返回“伸缩实例”页面，单击“创建弹性伸缩组”。 2. 在创建伸缩组页面，填写弹性伸缩组的基本信息，例如，名称、最大实例数、最 小实例数、期望实例数等，在高级配置中还可对标签进行配置。 其中，“伸缩配置”选择已创建的伸缩配置。创建伸缩策略 1. 在伸缩组所在行的“操作”列下，单击“查看伸缩策略”。 2. 在“伸缩策略”页签，单击“添加伸缩策略”。通过伸缩控制可以实现弹性云服务器（ECS）实例伸缩和带宽伸缩：伸缩控制：配置策略设置指标阈值/伸缩活动执行的时间，通过云监控监控指标是否达到阈值，通过定时调度，实现伸缩控制。配置策略：可以根据业务需求，配置告警策略/定时策略/周期策略。配置告警策略：可配置CPU、内存、磁盘、入网流量等监控指标。配置定时策略：通过配置触发时间可以配置定时策略。配置周期策略：通过配置重复周期、触发时间、生效时间可以配置周期策略。云监控监控到所配置的告警策略中的某些指标达到告警阈值，从而触发伸缩活动，实现ECS实例的增加/减少或带宽的增大/减小。到达所配置的触发时间时，触发伸缩活动，实现ECS实例的增加/减少或带宽的增大/减小。

感受到了AI的强大，简简单单输入一个字就可以自动作诗，堪比曹植的七步成诗。

用户手工配置：创建伸缩组——创建伸缩配置——创建伸缩策略系统根据用户配置，自动实施：启用伸缩组——检测伸缩策略——执行伸缩活动一、创建伸缩配置：1、登录管理控制台，2、 选择“计算 > 弹性伸缩 > 伸缩实例”。 3. 单击“创建伸缩配置”。 4. 在“创建伸缩配置”页面，填写弹性伸缩配置信息，您可以选择使用已有云服务 器规格为模板或者使用新模板。二、创建弹性伸缩组： 1. 返回“伸缩实例”页面，单击“创建弹性伸缩组”。 2. 在创建伸缩组页面，填写弹性伸缩组的基本信息，例如，名称、最大实例数、最小实例数、期望实例数等，在高级配置中还可对标签进行配置。 “伸缩配置”选择已创建的伸缩配置。三、创建伸缩策略 1. 在伸缩组所在行的“操作”列下，单击“查看伸缩策略”。 2. 在“伸缩策略”页签，单击“添加伸缩策略”。通过伸缩控制可以实现弹性云服务器（ECS）实例伸缩和带宽伸缩：伸缩控制：配置策略设置指标阈值/伸缩活动执行的时间，通过云监控监控指标是否达到阈值，通过定时调度，实现伸缩控制。配置策略：可以根据业务需求，配置告警策略/定时策略/周期策略。配置告警策略：可配置CPU、内存、磁盘、入网流量等监控指标。配置定时策略：通过配置触发时间可以配置定时策略。配置周期策略：通过配置重复周期、触发时间、生效时间可以配置周期策略。云监控监控到所配置的告警策略中的某些指标达到告警阈值，从而触发伸缩活动，实现ECS实例的增加/减少或带宽的增大/减小。到达所配置的触发时间时，触发伸缩活动，实现ECS实例的增加/减少或带宽的增大/减小。弹性伸缩技术： 弹性伸缩（Auto Scaling，以下简称AS）是根据用户的业务需求，通过设置伸缩规则来自动增加/缩减业务资源。当业务需求增长时，AS自动为您增加弹性云服务器（ECS）实例或带宽资源，以保证业务能力；当业务需求下降时，AS自动为您缩减弹性云服务器（ECS）实例或带宽资源，以节约成本。AS支持自动调整弹性云服务器和带宽资源。

介绍合作伙伴租户在开发态环境和运行态环境部署的组网要求。开发态（公有云）开发态部署参考组网如图1所示。图1 开发态部署组网原生服务部署跟AppCube所在租户需要隔离部署，通过VPC对等连接的方式打通租户通信；原生服务提供伙伴自行申请华为云租户资源完成原生服务的部署。原生服务提供伙伴可以自行登录自己的租户维护自己的原生服务。开发态伙伴测试环境可以使用k8s单机版， microk8s等其他方式部署，只需开通公网的访问环境并且确保AP1环境可以访问即可。深度集成时必需要部署时，在测试阶段临时申请公有云资源，调测完成后释放，减少不必要的费用。运行态（ 公有云、Cube）运行态部署参考组网如图2所示。图2 运行态部署组网伙伴原生服务部署采用专门的NameSpace，跟AppCube平台及园区自有服务分开NameSpace部署，共用K8S集群，不存在租户区分。伙伴原生服务的安装部署采用CDNative安装流水线一起安装部署。伙伴原生服务自行开发并提供CDNative安装流水线需要的安装脚本。不提供单独的伙伴原生服务的维护和管理，纳入统一的运维管理体系，跟园区自有原生服务采用相同的维护机制。CDNative工具是华为基于开源工具开发的部署原生服务的流水线工具。

查看BO租户开通后，默认已经安装了GIS服务BO，您可以通过以下方式查看已安装的BO资产。在AppCube平台首页单击“管理”，进入租户管理台。选择“应用管理 > BO配置”。在BO配置界面查看当前租户已安装的BO资产。在APP中添加BO在开发APP过程中，既可以直接引用GIS BO，也可以将GIS BO添加到APP中。添加方式如下。进入APP开发界面，单击模块树右侧的“”，选择“BO服务”。图1 导入BO在“添加BO”对话框中选择“GIS”，单击“添加”。BO导入成功后，在APP下部会显示“GIS”。升级资产当租户已安装工单资产、且资产又有新版本发布时，可以通过升级安装的方式，获取最新版本的资产。第一次安装资产时，不需要执行如下步骤。在AppCube平台首页单击“管理”。选择“应用市场 > 全局应用市场 > GIS”。单击“GIS”的升级图标，执行资产升级。操作完成，等待系统提示安装成功信息。也可以在“应用管理 > 软件包管理>软件包安装”中查看，是否已存在安装记录，如果已存在则说明升级成功。

用户手工配置：创建伸缩组——创建伸缩配置——创建伸缩策略系统根据用户配置，自动实施：启用伸缩组——检测伸缩策略——执行伸缩活动一、创建伸缩配置：1、登录管理控制台，2、 选择“计算 > 弹性伸缩 > 伸缩实例”。 3. 单击“创建伸缩配置”。 4. 在“创建伸缩配置”页面，填写弹性伸缩配置信息，您可以选择使用已有云服务 器规格为模板或者使用新模板。 二、创建弹性伸缩组： 1. 返回“伸缩实例”页面，单击“创建弹性伸缩组”。 2. 在创建伸缩组页面，填写弹性伸缩组的基本信息，例如，名称、最大实例数、最小实例数、期望实例数等，在高级配置中还可对标签进行配置。 “伸缩配置”选择已创建的伸缩配置。三、创建伸缩策略 1. 在伸缩组所在行的“操作”列下，单击“查看伸缩策略”。 2. 在“伸缩策略”页签，单击“添加伸缩策略”。 通过伸缩控制可以实现弹性云服务器（ECS）实例伸缩和带宽伸缩： 伸缩控制：配置策略设置指标阈值/伸缩活动执行的时间，通过云监控监控指标是否达到阈值，通过定时调度，实现伸缩控制。 配置策略：可以根据业务需求，配置告警策略/定时策略/周期策略。配置告警策略：可配置CPU、内存、磁盘、入网流量等监控指标。配置定时策略：通过配置触发时间可以配置定时策略。配置周期策略：通过配置重复周期、触发时间、生效时间可以配置周期策略。云监控监控到所配置的告警策略中的某些指标达到告警阈值，从而触发伸缩活动，实现ECS实例的增加/减少或带宽的增大/减小。到达所配置的触发时间时，触发伸缩活动，实现ECS实例的增加/减少或带宽的增大/减小。

1 资源计划在大数据应用，尤其是实时分析处理数据的场景中，常常需要根据数据量的变化动态调整集群节点数量以增减资源。MRS的弹性伸缩功能已经支持根据集群负载对集群进行弹性伸缩。此外，如果数据量以天为周期有规律的变化，并且希望在数据量变化前提前完成集群的扩缩容，MRS新特性资源计划将派上用场。资源计划也可以理解为定时弹性伸缩，可以单独使用，也可以与按负载弹性伸缩叠加使用。1.单独使用资源计划考虑如下场景：某项实时处理业务数据量在每天7:00-13:00出现高峰，其他时间保持平稳低水平。假设我们使用MRS流式集群来处理该业务数据，在7:00-13:00时，为应对数据量高峰需要5个task节点的资源，其他时间只需要2个task节点，如下图所示：·         数据量较小时，集群保持2个task节点·         7:00开始，集群扩容到5个task节点以应对数据量高峰·         数据量回落后，在13:00集群缩容到2个节点。在上述场景中，MRS资源计划的配置如下图所示：打开弹性伸缩开关，默认节点数量范围设置为2-2，意为除资源计划规定时间范围外，其他时间task节点数量固定为2个。在高级配置中配置7:00到13:00的资源计划，节点数量范围为5-5，授权后单击确定。2.资源计划与按负载弹性伸缩叠加使用假如数据量并非非常平稳，有可能出现超出预期的波动，因此并不能保证固定2个或5个task节点一定可以满足业务场景，我们需要在资源计划的基础上根据实时负载对task节点数量进行调整。那么在使用资源计划时，我们可以设置在7:00-13:00期间，task节点的数量范围是5-8个，其他时间task节点数量外围为2-4个。资源计划触发时，会以变化最小的方式使节点数量满足计划规定范围，即如果需要扩容则扩容到计划节点数量范围的下限，如果需要缩容则缩容到计划节点数量范围的上限。在此基础上，设置基于负载的弹性伸缩规则，以实现当数据量超出预期后，task节点数量可以在资源计划规定的范围内根据负载情况进行浮动，但不会超出该规定范围，如下图所示：·         数据量较小时，集群保持2个task节点·         7:00开始，根据资源计划将集群扩容到5个task节点以应对即将出现的数据量高峰·         9:00左右，数据量出现超出预期的增长，此时集群负载增加，根据负载情况，MRS集群扩容到7个节点·         11:00左右数据量回落，集群负载减小，根据负载情况，MRS集群缩容到5个节点·         数据恢复低水平后，在13:00，根据资源计划，MRS集群缩容到4个节点·         15:00左右集群负载较低，根据负载情况，MRS集群缩容到2个节点·         19:00左右数据量再次出现超出预期的增长，根据负载情况，弹性伸缩再次触发·         22:00数据量回落之后，根据负载情况，集群恢复到2个task节点在上述场景中，MRS弹性伸缩配置如下：打开弹性伸缩配置页面，配置默认节点数量范围为2-4，配置伸缩规则，上图配置的规则是当storm的可用slot百分比小于10%时扩容一个节点，大于90%时缩容一个节点。在高级配置中，配置7:00-13:00的资源计划为5-8个节点。这样一来既能保证节点数量在资源计划范围内，又能根据负载进行小范围的节点数量调整。在数据量变化存在周期性规律时，通过配置资源计划，您将不再需要为应对某个时间段的大量数据而始终保有较大数量的节点，造成成本增加与资源浪费；同时，使用资源计划可以在数据量增加前提前做好准备，避免出现增加资源的延后性；资源计划与基于负载的弹性伸缩叠加使用使得计划的弹性更好，足以应对偶尔超出预期的数据峰值出现。2 自动化脚本有些业务场景要求在集群扩缩容之后，根据节点数量的变化对资源分配或业务逻辑进行更改，手动扩缩容的场景客户可以登录集群节点进行操作。但对于弹性伸缩来说，对这一过程实现自动化处理十分必要。MRS支持自定义弹性伸缩自动化脚本为这一问题提供了解决方案。自动化脚本可以存储在MRS集群虚拟机或OBS上。客户也可以传递自定义参数，多个参数中间用空格隔开，由于与扩缩容相关的调整操作往往与扩缩容的类型、节点数等相关，MRS预定义了以下几个参数，使用时可以直接填写在参数配置框中传递给脚本：·         ${mrs_scale_node_num}：扩缩容节点数，始终为正数。·         ${mrs_scale_type}：扩缩容类型，扩容为scale_out，缩容为scale_in·         ${mrs_scale_node_hostnames}：扩缩容的节点hostname，多个节点间以“,”分隔·         ${mrs_scale_node_ips}：扩缩容的节点ip，多个节点间以“,”分隔·         ${mrs_scale_rule_name}：触发扩缩容的规则名，资源计划为 “resource_plan”可以指定脚本执行的节点类型，而脚本执行的时机可以选择扩容前、扩容后、缩容前或缩容后。最后，用户可以选择如果脚本执行失败则继续或终止整个扩缩容操作。举个例子，假设我们使用MRS集群的storn运行word count，拓扑名为word-count，同时我们配置了弹性伸缩，节点数量会发生变化。由于storm本身不支持动态加减拓扑的worker数量，我们通过扩缩容自动化脚本来实现集群扩缩容时拓扑自动调整worker数量。首先明确worker数量变化的规则：MRS集群的storm supervisor配置的默认slot数量为3个，所以我们希望扩容（缩容）n个task节点则拓扑增加（减少）3*n个worker。扩缩容脚本需要获取调整前的worker数量，并根据这一规则计算调整后的worker数量，最后用storm rebalance命令调整拓扑worker数量。编写脚本，内容如下：#!/bin/bash #弹性伸缩类型 scale_type=$1 #扩缩容节点数 scale_num=$2 #要调整的拓扑名 topo_name=$3 source /opt/client/bigdata_env #安全集群需要执行kerberos认证，取消下行注释并替换用户名与密码 #echo "password" | kinit username #获取调整前拓扑worker数 current_worker_num=`storm list | grep $topo_name | awk '{print $4}'` #计算要增加或减少的worker数 worker_num_diff=`expr $scale_num \* 3` #计算调整后的worker数 if [ "x$scale_type" == "xscale_out" ] then    final_worker_num=`expr $worker_num_diff + $current_worker_num` fi if [ "x$scale_type" == "xscale_in" ] then    final_worker_num=`expr $current_worker_num - $worker_num_diff` fi #调整拓扑worker数 storm rebalance $topo_name -n $final_worker_num将脚本上传到在OBS上，假设路径为：s3a://XXX/storm_scale.sh。接下来到弹性伸缩配置页面进行配置自定义自动化脚本名称，我们分别命名为storm_scale_out_balance和storm_scale_in_balance。在脚本路径配置框里单击右侧的文件夹图标，选择存储在obs上的脚本文件。执行节点类型选择Master，并勾选Active Master，以使脚本只在主Master节点上执行。参数配置为“${mrs_scale_type} ${mrs_scale_node_num} word-count”，执行时机分别选择扩容后与缩容前，失败操作选择继续。单击确定保存脚本配置。配置完成后，脚本将在每次扩容完成后与缩容执行前运行。配置以上脚本以后，就可以在弹性伸缩后自动为指定拓扑增减worker，自动适应业务负载的变化，免去了人工操作。同时，自动化脚本给用户实现个性需求提供了途径，完全自定义的脚本与多个可选的执行时机基本可以满足用户的各项需求，使弹性伸缩更具灵活性。

随着企业的数据越来越多，越来越多的企业选择使用Spark/Hive等技术来进行分析，由于数据量大，处理任务繁重，资源的消耗比较高，因此使用成本也是比较高。MRS在和客户的交流中，识别到并不是每个企业在每时每刻在进行分析，而一般是在一天的一个时间段内进行分析汇总，因此MRS提供了弹性伸缩能力，可以自动在业务在繁忙时申请额外资源，业务不繁忙时释放闲置资源，让用户按需使用，尽可能的帮助客户降低使用成本，聚焦核心业务。 [*]降低使用成本： 部分企业在进行批量分析时，并不是时时刻刻都在进行分析，例如一般都存在数据持续接入，而到了特定时间段（例如凌晨3点）进行批量分析，可能仅需要消耗2小时。MRS提供的弹性伸缩能力，可以帮助客户，在晚上的时候，将分析节点扩容到指定规模，而计算完毕后，则自动释放计算节点，尽可能的降低使用成本。 14880 XX行每日处理1T增量数据分析成本 [*]平衡突发查询： 大数据集群上，由于有大量的数据，企业会经常面临临时的分析任务，例如政府的临时审计要求、支撑企业决策的临时数据报表、突发热点事件等，都会导致对于资源的消耗在极短时间内剧增。MRS提供的弹性伸缩能力，可以让突发大数据分析时，可以及时的补充计算节点，避免因为计算能力不足，导致业务宕机，使用户无需购买额外资源，当突发事件结束后，MRS会自动判断缩容时机，自动完成缩容。下图展示的是使用非弹性伸缩集群20节点和使用弹性伸缩集群，从10节点，当业务突增时弹性到20节点时的性能影响。14881 XX行使用弹性伸缩特性，面对业务突发场景的性能影响 [*]聚焦核心业务： 大数据作为二次开发平台，要开发人员判断具体的资源消耗，还是比较困难的，因为查询分析的条件复杂性（例如全局排序，过滤，合并等）以及数据的复杂性，例如增量数据的不确定性等，都会导致预估多少计算量是非常困难的行为，而使用弹性伸缩能力，可以让业务人员专注于业务开发，无需分心再做各种资源评估。 MRS作为大数据软件开发平台，专注于将业界最通用的大数据开源产品提供给客户使用，开源，开放，让客户最方便使用大数据完成核心业务的开发。

本帖最后由 胖豆 于 2017-11-14 09:28 编辑4686 【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区），文章链接，文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件至：hwclouds.bbs@huawei.com 进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容。

本帖最后由 yd_83676402 于 2017-9-14 16:12 编辑本文以搭建discuz论坛为例，介绍如何使用华为云的弹性伸缩等服务搭建一个可自动横向扩展的web服务。 1.准备工作 1.1 申请虚拟私有云 a) 在创建云主机之前，需要创建一个虚拟私有云，在虚拟私有云界面点击【申请虚拟私有云】进行申请。 b) 完成虚拟私有云VPC_DISCUZ的创建后，VPC_DISCUZ下会自动创建一个子网和安全组，此时我们仍需创建一个弹性IP用于绑定接下来要创建的云主机，弹性IP是指可以提供互联网上合法的静态IP地址的服务。将弹性IP地址和路由网络中关联的虚拟机绑定，可以实现VPC内的业务资源通过固定的公网IP地址与互联网互通。在刚刚创建的虚拟私有云VPC_DISCUZ下点击【申请弹性IP】，填写合适的参数完成弹性IP的申请。 c)安全组创建后，用户可以在安全组中定义各种访问规则，当虚拟机加入该安全组后，即受到这些访问规则的保护。选择VPC_DISCUZ下的安全组，配置安全组规则。 1.2 申请负载均衡 a) 进入弹性负载均衡页面，点击【创建负载均衡】，选择之前创建的VPC_DISCUZ以及合适的公网带宽，创建负载均衡。 b) 点击进入刚刚创建的弹性负载均衡，点击【添加监听器】，选择合适的参数，完成监听器的创建。 1.3 安装数据库 数据库可以使用华为云的RDS服务，也可以自行创建云服务器安装所需的数据库。这里主要介绍在创建的云服务器上安装数据库。 a) 在弹性云服务器的界面点击【购买弹性云服务器】，选择相应规格的云服务器，网络相关参数选择刚刚创建的虚拟私有云、安全组以及弹性IP，完成云服务器的创建。 b) 等到弹性云服务器页面上该云服务器的状态为【运行中】时，即表示该云服务器创建完成，就可以对这台虚拟机进行操作了，使用XFtp、Xshell等工具连接云服务器的弹性IP，完成mysql数据库的安装配置。 2. 创建一台云服务器用于安装discuz论坛 2.1 创建云服务器 重复1.3过程，创建一台云服务器。由于可通过私网访问数据库，因此可以将之前用于绑定数据库节点的弹性IP解绑以节省资源。进入虚拟私有云界面，选择刚刚用于绑定数据库节点的弹性IP，点击【解绑定】，解除弹性IP与数据库节点的绑定后，点击【绑定】，选择新创建的云服务器进行绑定。此时即可通过公网访问该云服务器，安装PHP、Apache、Mysql等环境。 2.2 安装论坛 环境安装完成后，即可进行discuz论坛的安装，安装方法可参考discuz官方文档。完成全部的安装操作后，可选择将弹性IP解绑后释放以节省资源。 注：此处数据库服务器所填参数为之前安装mysql云服务器的私网IP，而数据库用户名和密码为安装mysql时所授权远程访问的用户名和密码。