• [其他] MRS集群磁盘扩容指导
    背景MRS集群默认有5个节点,节点已经挂载有数据盘,如果按照默认的配置,真正存储数据的Core节点挂载的数据盘只有1个100G的盘,再加上HDFS的存储默认有3个副本,对于业务量比较大的客户来说,3个Core节点挂载的3个100G的数据盘是远远不够的,运行一段时间后就会出现磁盘空间不足了。那出现这种情况要怎么处理呢?操作步骤购买云硬盘Ø  进入到云服务器控制台,在云硬盘页面“购买云硬盘”12110Ø  购买云硬盘时,根据实际业务需要设置容量,“磁盘类型”与待扩容集群core节点类型保持一致,如果原有节点的单块磁盘的容量为100G,那最好这里购买的磁盘也是100G,即保证节点上挂载的盘大小都是一样的,不要出现磁盘大小异构的情况。12111Ø  购买完成以后可以看到几块可用的云硬盘12112Ø  在弹性云服务器页面查找待扩容的云服务器,点击“云服务器名称连接”进入云服务器详细页面12113Ø  给云服务器执行“挂载磁盘”操作12114Ø  选择刚才创建的云硬盘进行挂载,并选择挂载点12115Ø  依次给其他待扩容core节点挂载磁盘12116格式化磁盘并挂载分区Ø  执行以下命令查看新挂载上的云硬盘,可以看到多了一块100G的磁盘12117Ø  对添加成功的磁盘创建文件系统12118Ø  执行以下命令查看新挂载的磁盘的uuid12119Ø  创建数据分区目录如果使用的分析集群,需要将新增加的盘挂载到HDFS和Yarn目录下,则挂载点为/srv/BigData/hadoop/dataX其中dataX表示data1,data2,data3以此类推如果使用的流式集群,需要将新增加的盘挂载到Kafka目录下,挂载点为/srv/BigData/kafka/dataX其中dataX表示data1,data2,data3以此类推以下的例子以挂载到Kafka目录为例,如果为分析集群,请做相应修改。创建挂载目录 并修改挂载目录的权限1212012124将新创建的磁盘写入到/etc/fstab12122Ø  执行mount -a进行磁盘挂载,并查看挂载的结果12125修改集群配置分析集群修改HDFS配置Ø  登陆 MRS Manager进入到HDFS配置页面,修改dfs.datanode.data.dir为/srv/BigData/hadoop/data1/dn,/srv/BigData/hadoop/data2/dnØ  保存配置,并重启相关服务12126分析集群Yarn配置自动生效12127查看后台Yarn的配置12128流式集群修改Kafka配置Kafka的数据目录配置为自动检测的,在添加完新盘后,在MRS Manager界面同步配置并重启Kafka服务即可。12129后台查看Kafka配置,已经生效:12130业务处理分析集群业务处理Ø  执行hdfs balance操作12131Ø  向HDFS中写入数据,新增数据分区写入数据成功12132流式集群业务处理在添加完磁盘后,已经进入Kafka的数据不会自动的分布到新增加的磁盘上,新增加的数据会自动分布到新增的磁盘上。将已经进入Kafka的数据进行磁盘间移动见文档: http://forum.huaweicloud.com/thread-6075-1-1.html至此,MRS集群扩容磁盘操作完成。
  • [互动交流] 华为的云硬盘都是三副本备份的?三副本是同一区域的不同IDC做备份?
    华为的云硬盘都是三副本备份的?三副本是同一区域的不同IDC做备份?
  • [互动交流] 监控项只有的云磁盘没有专属存储,我们的专属云没有配置云硬盘,这是否与我的专属存...
    监控项只有的云磁盘没有专属存储,我们的专属云没有配置云硬盘,这是否与我的专属存储有对应关系?
  • [互动交流] 共享云硬盘直挂载之后就可以使用了吗?
    共享云硬盘直挂载之后就可以使用了吗?
  • [互动交流] 关于云硬盘的请求认证方式是指什么?
    关于云硬盘的请求认证方式是指什么?{:2_31:}
  • [互动交流] 云硬盘那些功能支持云硬盘加密呢?
    云硬盘那些功能支持云硬盘加密呢?
  • [下午茶时光] 【Day 31--2018/3/7】打造坚实云基座 华为云块存储服务通过可信云认证
    11751 【下午茶时光——业界热点陪你喝咖啡】 【打造坚实云基座 华为云块存储服务通过可信云认证】 在近期举办的可信云第九次发布会期间,华为云块存储服务顺利通过审核,获得可信云服务认证,彰显深厚的存储可靠性积累,以及对数据安全隐私的始终坚守。企业云化转型风头正盛,业务运行在公有云上如何确保高可用,数据存放在云端怎样保证不丢失,这些课题的重要性正在日益凸显。块存储相当于云主机的硬盘,是云上业务与数据的基座,用户在选择这样的核心组件时,有必要参考权威第三方机构的认证。可信云认证是国内权威的云计算评估体系,根据标准:《云计算服务协议参考框架》以及数据中心联盟技术文件《可信云服务认证评估方法》,从多个维度,对国内50家主流云厂商进行针对性测评。 11752 据介绍,本次对块存储的测评,涵盖了存储的持久性、业务可用性、业务资源调配能力、故障恢复能力、数据可销毁性等16个维度。继云主机、对象存储、弹性负载均衡、云数据库等服务后,华为云块存储服务EVS(Elastic Volume Service)也顺利通过了可信云认证,测试项目100%通过,获得专家评审组的高度认可,可谓实至名归。 11753 根据用户最关心的几点,华为云EVS块存储服务具备如下几个特点: 1、数据高可靠华为云EVS的高可靠,根植于十余年的企业级存储技术积累,以及EB级的全球成熟规模商用经验 2、数据高安全密钥完全由租户管理、应用无感知的数据加密功能,配合华为云安全服务,形成数据安全立体防护 3、业务高可用通过完善的故障管控体系,EVS做到故障实时监控、问题快速定位,确保用户业务高可用 此次,华为云块存储服务获得可信云服务认证,进一步体现出华为云的深厚技术积累,以及对业务边界的恪守。Cloud2.0时代,华为云块存储服务致力于为用户提供更加稳定可靠,值得信赖的数据基座。
  • [互动交流] 华为云云硬盘都支持那些监控指标?
    华为云云硬盘都支持那些监控指标?
  • [互动交流] 云硬盘的那个磁盘模式是什么意思?
    云硬盘的那个磁盘模式是什么意思?
  • [互动交流] 我想问下云硬盘是否支持扩容和缩容
    我想问下云硬盘是否支持扩容和缩容?
  • [互动交流] 为什么我的共享云硬盘卸载之后状态还是显示正在使用呢?
    为什么我的共享云硬盘卸载之后状态还是显示正在使用呢?
  • [互动交流] 华为云一个服务器可以挂载多少个云硬盘呢?
    华为云一个服务器可以挂载多少个云硬盘呢?
  • [互动交流] 扩容云硬盘时候,每次最小可以扩容多少,有没有“起步价”这一说啊?
    扩容云硬盘时候,每次最小可以扩容多少,有没有“起步价”这一说啊?
  • [互动交流] 如果将创建快照的云硬盘删除,里面的快照还有吗?另外华为云现在可以生成几个快照
    如果将创建快照的云硬盘删除,里面的快照还有吗?另外华为云现在可以生成几个快照。
  • [互动交流] 为什么我点击删除云硬盘删除不了呢,有没哪位老手教一下?
    为什么我点击删除云硬盘删除不了呢,有没哪位老手教一下?
总条数:259 到第 页
上滑加载中