-
一、引言参与“云技术精髓入门级开发者认证课程”是一次深刻且富有成效的学习经历。本文旨在分享我在学习过程中的一些心得体会和实验操作经验,并结合实际案例进行分析或个人见解。该课程不仅涵盖了云计算的基本概念和服务模型,还深入探讨了主流云服务提供商(AWS、Azure和GCP)的核心服务与功能。通过实际操作和案例分析,我对云计算的理解更加深入,技能也得到了显著提升。二、云技术基础概念2.1 云计算定义云计算是一种通过互联网提供动态伸缩的虚拟化资源的技术。它允许用户按需获取计算能力、存储空间和应用程序,而无需拥有和维护物理硬件设备。这种模式使得云计算具有弹性、自助服务、多租户、按需付费和广泛网络访问的特点。这些特点使得云计算成为现代IT基础设施的重要组成部分。2.2 服务模型(IaaS, PaaS, SaaS)云计算服务通常分为三种主要模型:基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。IaaS: 提供基础设施层面的服务,如虚拟机、存储和网络。例如,AWS的EC2和Azure的虚拟机。PaaS: 提供一个平台,允许开发者在平台上构建、部署和管理应用程序,而无需关心底层的基础设施。例如,Google App Engine和Microsoft Azure的App Service。SaaS: 直接向用户提供应用程序,用户可以通过浏览器访问这些应用,而无需安装或维护任何软件。例如,Google Workspace和Microsoft Office 365。2.3 主要云服务提供商介绍2.3.1 AWS亚马逊网络服务(Amazon Web Services, AWS)是全球最大的云服务提供商之一,提供广泛的云计算服务,包括计算、存储、数据库、分析和机器学习等。其核心服务包括EC2(Elastic Compute Cloud)、S3(Simple Storage Service)和RDS(Relational Database Service)。例如,EC2支持可扩展的计算资源,提供多种操作系统和编程语言。2.3.2 Microsoft Azure微软Azure是一个全面的云服务平台,从基础设施层到应用层提供各种服务。其核心服务包括Azure Virtual Machines、Azure Blob Storage和Azure SQL Database。例如,Azure Virtual Machines提供灵活的计算能力,支持多种虚拟机大小和配置。2.3.3 Google Cloud Platform (GGP)谷歌云平台(Google Cloud Platform, GGC)提供高性能的计算、存储和数据分析服务。其核心服务包括Compute Engine、Cloud Storage和Cloud SQL。例如,Compute Engine提供可扩展的计算资源,支持高性能计算和大规模数据处理。三、核心服务与功能3.1 计算服务计算服务允许用户在云端运行应用程序和工作负载。AWS的EC2、Azure的Virtual Machines和GGP的Compute Engine都是典型的计算服务。它们提供了可扩展的计算资源,支持多种操作系统和编程语言。例如,AWS EC2支持可扩展的计算资源,提供多种操作系统和编程语言。3.2 存储服务存储服务提供了持久化的数据存储解决方案。AWS的S3、Azure的Blob Storage和GGP的Cloud Storage都是对象存储服务,适用于大规模数据存储和检索。它们提供了高可用性和持久性,确保数据的安全和可靠。3.3 数据库服务数据库服务提供了托管的数据库解决方案,简化了数据库的部署、管理和运维。AWS的RDS、Azure的SQL Database和GGP都是关系型数据库服务。此外,还有NoSQL数据库服务如AWS的DynamoDB和支持MySQL的Cloud Firestore。3.4 网络服务网络服务提供了虚拟网络环境的配置和管理。AWS的VPC(Virtual Private Cloud)、Azure的Virtual Network和GGP的VPC网络都允许用户创建隔离的网络环境,配置子网、路由表和防火墙规则。这些服务确保了网络的安全性和可靠性。四、实验操作心得4.1 实验环境搭建在开始实验之前,我选择了AWS作为实验平台,因为其提供了丰富的免费层资源,适合初学者进行练习。通过AWS Management Console,我创建了一个免费的账户,并设置了必要的安全凭证。接着,我熟悉了AWS的基本操作界面,包括仪表板、服务列表和服务组资源。4.2 虚拟机部署与管理在AWS中,EC2(Elastic Compute Cloud)是用于部署和管理虚拟机的核心服务。通过EC2控制台,我学会了如何创建一个新的EC2实例。首先,我选择了合适的AMI(Amazon Machine Image),然后配置实例类型、网络设置和存储选项。启动实例后,我使用SSH连接到实例,并安装了基本监控工具,如htop,以实时监控系统性能。此外,我还学会了如何使用EC2的自动缩放功能,根据负载动态调整实例数量。4.3 存储桶实践操作S3(Simple Storage Service)是AWS提供的海量存储服务,适用于非结构化数据存储。在实验中,我学会了如何创建存储桶,并配置权限以控制访问。通过AWS CLI工具(Command Line Interface),我练习了上传、下载和删除文件的基本操作。例如,使用aws s3 cp命令将本地文件复制到S3桶中,并使用ls命令列出桶中的文件。此外,我还探索了S3的版本控制功能,可以跟踪文件的变化,并在需要时恢复到之前的版本。4.4 API调用示例API是与云服务交互的重要方式。在实验中,我学习了如何使用AWS提供的SDK来实现基本的操作。例如,使用Python的boto3库,我编写了一个简单的脚本,实现了启动和停止EC2实例的功能,并获取实例的状态信息。此外,我还尝试了RESTful API直接与AWS服务进行通信,通过HTTP请求执行各种操作,如创建新的S3桶和上传文件。这些实践让我更深入地理解了云服务的工作原理,并提高了我的编程能力。五、学习方法与技巧5.1 主动学习与实践结合在学习过程中,我采用了主动学习和实践相结合的方法。除了观看视频教程外,我还积极参与在线实验室和实操项目,通过实际操作加深对理论知识的理解。每当学到一个新概念或技术时,我都会立即在实验环境中进行验证,确保自己真正掌握了这些知识。这种边学边做的方式不仅提高了我的动手能力,也增强了我的自信心。同时,我还利用模拟器和沙箱环境进行测试,避免在实际项目中出现错误。5.2 参与社区讨论加入相关的技术社区是提升技术水平的有效途径之一。我积极参与了多个云计算社区,如Stack Overflow、Reddit的r/aws和GitHub上的开源项目。在这些社区中,我可以与其他开发者交流问题和解答疑问,并阅读他人的帖子和评论来获取更多的技术见解。此外,我还关注了一些知名的技术博主和专家,定期阅读他们的博客和技术文章,从中获取最新的行业动态和前沿技术。这些互动不仅拓宽了我的视野,也帮助我建立了一个支持性的学习网络。5.3 构建个人项目为了更好地巩固所学知识,我决定构建一个个人项目——一个简单的云原生Web应用程序。这个项目的目标是展示如何在云端部署一个完整的应用栈,包括前端、后端和数据库。我选择了AWS作为部署平台,并使用了EC2、S3、RDS和Lambda等服务。在项目开发过程中,我遇到了许多挑战,如配置网络安全组、优化数据库查询性能和并发处理等。通过查阅官方文档、搜索解决方案和社区成员的帮助,我最终成功部署了这个应用程序,并通过CI/CD流水线实现了持续集成和交付。这个项目不仅让我将理论知识应用于实践,还锻炼了我的问题解决能力和项目管理能力。六、总结与展望通过参与“云技术精髓入门级开发者认证课程”,我不仅掌握了云计算的基本概念和服务模型,还通过实际操作加深了对这些知识的理解。实验操作让我更加熟练地使用各种云服务,并积累了宝贵的实践经验。我也学会了如何有效地学习和解决问题的方法。希望这篇笔记能对其他学员有所帮助,让大家在云计算的学习道路上少走弯路,更快地掌握这门前沿技术。
-
目录引言云技术基础概念云计算定义与特点服务模型(IaaS, PaaS, SaaS)主要云服务提供商介绍AWSMicrosoft AzureGoogle Cloud Platform (GCP)核心服务与功能计算服务存储服务数据库服务网络服务实验操作心得实验环境搭建虚拟机部署与管理存储桶操作实践API调用示例学习方法与技巧主动学习与实践参与社区讨论构建个人项目结语附录参考文献相关资源链接1. 引言参与“云技术精髓入门级开发者认证课程”是一次深刻而富有成效的学习经历。本文旨在分享我在课程学习、实验操作以及学习方法上的一些心得体会,希望能为同样对云计算感兴趣的朋友们提供有价值的参考。该笔记将涵盖课程的重点知识内容,结合实际案例和个人学习经验进行分析,力求做到逻辑连贯、知识点清晰,并对其他学员的学习具有参考价值和实用性。2. 云技术基础概念2.1 云计算定义与特点云计算是一种通过互联网提供动态伸缩的虚拟化资源的技术。它允许用户按需获取计算能力、存储空间和应用程序,而无需拥有或维护物理硬件。云计算的主要特点包括弹性、自助服务、多租户、按需付费和广泛的网络访问。这些特点使得云计算成为现代IT基础设施的重要组成部分。2.2 服务模型(IaaS, PaaS, SaaS)云计算服务通常分为三种模型:基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。IaaS(Infrastructure as a Service): 提供基础设施层面的服务,如虚拟机、存储和网络。例如,AWS的EC2和Azure的虚拟机。PaaS(Platform as a Service): 提供一个平台,允许开发者在平台上构建、部署和管理应用程序,而无需关心底层的基础设施。例如,Google App Engine和Microsoft Azure App Services。SaaS(Software as a Service): 直接向用户提供应用程序,用户通过浏览器访问这些应用,无需安装或维护软件。例如,Google Workspace和Microsoft Office 365。3. 主要云服务提供商介绍3.1 AWS亚马逊网络服务(Amazon Web Services, AWS)是全球最大的云服务提供商之一,提供广泛的云计算服务,包括计算、存储、数据库、分析和机器学习等。其核心服务包括EC2(Elastic Compute Cloud)、S3(Simple Storage Service)和RDS(Relational Database Service)。例如,EC2提供可扩展的计算资源,支持多种操作系统和编程语言。3.2 Microsoft Azure微软Azure是一个全面的云服务平台,提供从基础设施到应用的各种服务层。其核心服务包括Azure Virtual Machines、Azure Blob Storage和Azure SQL Database。例如,Azure Virtual Machines提供灵活的计算能力,支持多种虚拟机大小和配置。3.3 Google Cloud Platform (GCP)谷歌云平台(Google Cloud Platform, GCP)提供高性能的计算、存储和数据分析服务。其核心服务包括Compute Engine、Cloud Storage和Cloud SQL。例如,Compute Engine提供可扩展的计算资源,支持高性能计算任务。4. 核心服务与功能4.1 计算服务计算服务允许用户在云端运行应用程序和工作负载。AWS的EC2、Azure的Virtual Machines和GCP的Compute Engine都是典型的计算服务。它们提供了可扩展的计算资源,支持多种操作系统和编程语言。4.2 存储服务存储服务提供了持久化的数据存储解决方案。AWS的S3、Azure的Blob Storage和GCP的Cloud Storage都是对象存储服务,适用于大规模数据存储和检索。它们提供了高可用性和持久性,确保数据的安全和可靠性。4.3 数据库服务数据库服务提供了托管的数据库解决方案,简化了数据库的部署、管理和运维。AWS的RDS、Azure的SQL Database和GCP的Cloud SQL都是关系型数据库服务。此外,还有NoSQL数据库服务如AWS的DynamoDB和GCP的Cloud Firestore。4.4 网络服务网络服务提供了虚拟网络环境的配置和管理。AWS的VPC(Virtual Private Cloud)、Azure的Virtual Network和GCP的VPC网络都允许用户创建隔离的网络环境,配置子网、路由表和防火墙规则。这些服务确保了网络的安全性和灵活性。5. 实验操作心得5.1 实验环境搭建在开始实验之前,我首先选择了AWS作为实验平台,因为其提供了丰富的免费层资源,适合初学者进行练习。通过AWS Management Console,我创建了一个免费的账户,并设置了必要的安全凭证。接着,我熟悉了AWS的基本操作界面,包括仪表板、服务列表和服务资源组。5.2 虚拟机部署与管理在AWS中,EC2(Elastic Compute Cloud)是用于部署和管理虚拟机的核心服务。通过EC2控制台,我学会了如何创建一个新的EC2实例。首先,我选择了合适的AMI(Amazon Machine Image),然后配置了实例类型、网络设置和存储选项。启动实例后,我使用SSH连接到实例,并安装了基本的监控工具,如top和htop,以实时监控系统性能。此外,我还学会了如何使用EC2的自动缩放功能,根据负载动态调整实例数量。5.3 存储桶操作实践S3(Simple Storage Service)是AWS提供的海量存储服务,适用于非结构化数据存储。在实验中,我学会了如何创建存储桶,并配置权限以控制访问。通过AWS CLI(Command Line Interface)工具,我练习了上传、下载和管理文件的基本操作。例如,使用aws s3 cp命令将本地文件复制到S3存储桶中,并使用ls命令列出存储桶中的文件。此外,我还探索了S3的版本控制功能,可以跟踪文件的变化,并在需要时恢复到之前的版本。5.4 API调用示例API是与云服务交互的重要方式。在实验中,我学习了如何使用AWS提供的SDK(软件开发工具包)来实现基本的操作。例如,使用Python的boto3库,我编写了一个简单的脚本,实现了启动和停止EC2实例的功能,并获取实例的状态信息。此外,我还尝试了使用RESTful API直接与AWS服务通信,通过HTTP请求执行各种操作,如创建新的S3存储桶和上传文件。这些实践让我更深入地理解了云服务的工作原理,并提高了我的编程技能。6. 学习方法与技巧6.1 主动学习与实践在学习过程中,我采用了主动学习和实践相结合的方法。除了观看视频教程外,我还积极参与在线实验室和动手实操,通过实际操作加深对理论知识的理解。每当学到一个新概念或技术时,我都会立即在实验环境中进行验证,确保自己真正掌握了这些知识。这种边学边做的方式不仅提高了我的动手能力,也增强了我的自信心。同时,我还利用模拟器和沙盒环境进行测试,避免在实际项目中出现错误。6.2 参与社区讨论加入相关的技术社区是提升技术水平的有效途径之一。我积极参与了多个云计算社区,如Stack Overflow、Reddit的r/aws和GitHub上的开源项目。在这些平台上,我可以与其他开发者交流问题和解答疑问,并阅读他人的帖子和评论来获取更多的技术见解。此外,我还关注了一些知名的技术博主和专家,定期阅读他们的博客和技术文章,从中获取最新的行业动态和技术趋势。这些互动不仅拓宽了我的视野,也帮助我建立了一个支持性的学习网络。6.3 构建个人项目为了更好地巩固所学知识,我决定构建一个个人项目——一个简单的云原生应用程序。这个项目的目标是展示如何在云端部署和管理一个完整的应用栈,包括前端、后端和数据库。我选择了AWS作为部署平台,并使用了EC2、S3、RDS和Lambda等服务。在项目开发过程中,我遇到了许多挑战,如配置网络安全组、优化数据库查询性能和处理并发请求等。通过查阅官方文档、搜索解决方案和社区成员的帮助,我最终成功部署了这个应用程序,并通过CI/CD流水线实现了持续集成和交付。这个项目不仅让我将理论知识应用于实践,还锻炼了我的问题解决能力和项目管理能力。7. 结语通过参与“云技术精髓入门级开发者认证课程”,我不仅掌握了云计算的基本概念和服务模型,还通过实际操作加深了对这些知识的理解。实验操作让我更加熟练地使用各种云服务,并积累了宝贵的实践经验。同时,我也学会了如何有效地学习和解决问题的方法。希望这篇笔记能对其他学员有所帮助,让大家在云计算的学习道路上少走弯路,更快地掌握这门前沿技术。8. 附录8.1 参考文献AWS官方文档Microsoft Azure官方文档Google Cloud官方文档8.2 相关资源链接AWS Free TierMicrosoft Azure Free AccountGoogle Cloud Free Tier
-
传统场景下,当数据库需要进行数据恢复时,往往只能选择周期性自动备份的全量备份,数据恢复耗时较长,可恢复时间颗粒度较大,严重影响了客户的使用体验。华为云DDS,一款兼容MongoDB的文档数据库服务,最近新增的PITR(全称point-in-time recovery,中文名称:时间点恢复)特性能够让这一局面得到大幅改善,实现绝大多数场景下的任意时间点数据恢复,并让可恢复时间精确到秒级。本文主要介绍华为云DDS集群PITR特性的基本原理以及实测性能表现。如你需要了解具体操作,请移步cid:link_0。1. PITR特性原理数字化经济时代下,数据成为企业的关键资产。如何保证数据资产的安全、稳定及可用,是企业必须考虑的事情。华为云DDS产品在原生MongoDB的基础上,做了一系列特性增强,使其相对于自建数据库拥有更高可用、高可靠、高安全、低成本等多项优势,更加贴切企业要求,是MongoDB业务上云的不二选择。下面将以华为云DDS4.0集群版本为例,阐述其PITR特性的内部实现原理。1.1. 基础介绍集群模式下,PITR特性的实现前提是能够维护一个连续的增量备份,而增量备份的基础,则是一个基于全局一致性的全量备份。华为云DDS集群在应用实践中,通过“Hidden节点备份”,“磁盘文件快照”,“Oplog备份”的方式,在既有的“逻辑时钟”基础上,做到了全局一致的全量备份,为增量备份的实现打好了坚实基础。原理概要图如下:1.2. 增量备份MongoDB官方,本身没有提供增量备份和PITR恢复的方案。为了实现集群模式的增量备份,华为云DDS专门对原生ChangeStream接口进行了增强,简称PCS接口(ChangeStream性能优化实践:cid:link_2)。之所以选用增强ChangeStream接口的方式,而不是原生ChangeStream或者oplog作为增量数据,主要是为了加快增量备份的速率,同时屏蔽集群实例内部的各种变化(如均衡/故障/主备延时等);此外还对ChangeStream场景进行进一步增强,以使得增量备份过程更具有可靠性(可以断点续传)和稳定性(基于备节点读数据,分担主节点压力),从而为PITR特性奠定基础。增量备份示意图如上图所示。PITR提供的增量备份是基于全局一致性的全量备份进行的,增备频率作为可调整参数,根据不同客户的业务场景进行调整,尽可能地做到了实时备份。增量备份内部实现是基于华为自研的PCS接口,即使在发生不可预测的异常时,只要实例最终状态能恢复成功,在大多数场景下,都可以实现增量备份的全时间覆盖。增量备份内部过程:(1) 采用了多并发导出的机制,提升了增量备份的性能。(2) 相比社区特性,覆盖了更多用户侧的业务操作,增强了增量备份的场景覆盖范围。1.3. PITR恢复PITR恢复,是借助于全量备份和增量备份进行的。华为云DDS在大部分场景下,都可以基于历史上的任一时间点,以秒为单位进行数据恢复。PITR恢复过程示意图如上图所示。PITR优先选择最近的一次全量备份,先进行全量恢复;然后依次恢复之后的各个增量备份,直到恢复至用户指定的时间点。在增量数据恢复过程中,华为云DDS专门添加了一层优化器,可以加速增量数据的恢复,实现了文档级别的并发恢复。2. PITR性能表现经过测试,在特定同等数据模型及业务压力场景下,华为云DDS基于PITR特性进行秒级时间点恢复时,恢复性能大都优于同类产品,更加有利于达到快速恢复数据的目的。实例规格:DDS 4.0 集群 2U4G 2mongos2shard测试场景:4库X4表,hash分片,每表预置100chunk,每表使用ycsb插入200W条数据恢复数据量:5X5X1000w(158G)3.总结企业数字化转型如火如荼,面临的业务挑战也愈加复杂,一款具备优秀的备份恢复特性的数据库,在企业数据库选型过程中起到了很好的加分作用。华为云DDS集群的PITR特性提供了完整且稳定的备份恢复功能,既能保证数据本身的安全,也便于客户集中精力在自身的业务实现上,助力业务发展更上一层楼。本文作者:华为云数据库GaussDB NoSql团队北京/西安/杭州/深圳简历投递yuanjing16@huawei.com更多产品信息,欢迎访问官方手册:cid:link_1
-
使用场景DDS支持手动进行内核小版本升级,内核小版本升级涉及性能提升、新功能或问题修复等。华为云DDS有新的补丁发布时,您可以在“实例管理”页面看到补丁升级的提示,单击“补丁升级”跳转到升级页面对DDS内核小版本进行升级。注意事项当有对应的补丁更新时(定期同步开源社区问题、漏洞修复),请及时进行升级。补丁升级会重启实例,服务可能会出现闪断,请您尽量在业务低峰期执行该操作,或确保您的应用有自动重连机制。补丁升级过程中禁止event的ddl操作,如create event、drop event和alter event。约束条件目前支持补丁升级的实例类型有集群和副本集。实例的版本需为3.4、4.0和4.2。实例状态异常或执行其他action时,无法进行补丁升级。实例中存在异常节点,无法进行补丁升级。只读节点不支持补丁升级。操作步骤1. 登录管理控制台。2. 单击管理控制台左上方的,选择区域和项目。3. 在页面左上角单击,选择“数据库 > 文档数据库服务 DDS”,进入文档数据库服务信息页面。4. 在“实例管理”页面,选择指定的实例,单击“数据库版本”列的“补丁升级”。 您还可以单击目标实例名称,在“基本信息”页面,“数据库信息”模块的“数据库版本”处,选择“补丁升级”。 5. 在弹出框中,根据业务需求选择升级方式,单击“确定”。您可在任务中心查看补丁升级情况。中断时间最短:升级过程对业务影响较小。变更时长最短:升级过程时长相对较短。
-
文档数据库服务(Document Database Service,简称DDS)完全兼容MongoDB协议,提供安全、高可用、高可靠、弹性伸缩和易用的数据库服务,支持集群、副本集、单节点三种产品架构,同时提供一键部署、弹性扩容、容灾、备份、恢复、监控和告警等功能。文档数据库服务具有以下特点:① 自动搭建基于三副本的副本集实例供用户使用,提供一键式部署、数据高可靠存储、容灾以及故障切换等功能。② 提供基于shard、mongos、config组成的分片集群实例,轻松扩展读写性能,用户可以方便快捷地构建DDS分布式数据库系统。③ 提供一键式的数据库备份、恢复功能。用户可以通过管理控制台进行数据库常规备份及恢复。④ 提供多项性能监控指标及告警功能,数据库性能可视化管理。
-
目前我们有使用到MDC300F作为主机,外挂一个ARM板子做数据采集,通过网络回传数据,所以,想请问下,MDC300F的DDS是否支持开源的FastDDS/OpenDDS通信?如果支持,需要做什么特别的配置或者有指导文档吗?
-
目前我们有使用到MDC300F作为主机,外挂一个ARM板子做数据采集,通过网络回传数据,所以,想请问下,MDC300F的DDS是否支持开源的FastDDS/OpenDDS通信?如果支持,需要做什么特别的配置或者有指导文档吗?
-
什么是只读节点只读节点是一种只支持读,不支持写的节点类型。为了扩展主节点的读请求能力,DDS提供具备独立连接地址的只读节点,适合独立系统直连访问,以缓解大量读请求给主节点造成的压力。应用场景在对数据库没有写请求,但是有大量读请求的应用场景下,数据库的主备节点可能难以承受读取压力,甚至对业务造成影响。为了分担主备节点的访问压力,您可以根据业务需求创建一个或多个只读节点,来满足大量的数据库读取需求,增加应用的吞吐量。只读节点与备节点(Secondary)的区别节点说明应用场景备节点副本集备节点具有高可用保障,即某个备节点故障时,系统会自动切换流量至隐藏节点,保障服务不受影响。相应的,在主节点故障时,每个备节点均有可能被选举为新的主节点,来执行数据写入请求。主备节点可以使用高可用地址连接实现全局读写分离,适用于读多写少的并发场景。从而在性能扩展的同时,屏蔽节点故障对业务带来的影响。只读节点副本集只读节点仅从主节点同步数据,不具备高可用保障,也不会被选举为主节点。只读节点具有独立的连接地址,适合独立系统直连访问,与已有副本集主备节点的连接互不干扰。适合需要从现有实例中大量读取数据的业务场景。使用限制目前仅副本集实例支持挂载只读节点。暂不支持创建带有只读节点的实例。DDS实例版本需为3.4、4.0及4.2版本。只读节点仅供读取请求访问,不参与主备节点选举。单个副本集实例中最多可以添加5个只读节点。主节点和只读节点之间的数据复制方式为异步复制,存在秒级延迟。功能特点可以根据业务需求随时更改只读节点个数,节省业务成本。与主节点采用一致规格,自动同步主节点的数据。不占用主节点的资源,增减只读节点的操作不会对主节点的业务构成干扰。提供独立的连接地址,与已有副本集实例主备节点的连接互不干扰。适合独立系统及应用直连访问,应用程序无需做任何修改。提供只读节点系统性能监控。如何创建只读节点1. 登录华为云管理控制台。2. 单击管理控制台左上方的,选择区域和项目。3. 在页面左上角单击 ,选择“数据库 > 文档数据库服务 DDS”,进入文档数据库服务信息页面。4. 在“实例管理”页面,选择指定的副本集实例,单击实例名称。进入实例的“基本信息”页面。5. 在“基本信息”页面的“节点信息”区域,单击“添加只读节点”。图1 添加只读节点6. 在“添加只读节点”页面,选择节点数量及延迟时间,单击“下一步”。图2 添加只读节点7. 在确认页面,确认节点信息。如需重新选择,单击“上一步”,修改相关配置。核对无误后,单击“提交”,开始添加节点。8. 查看添加节点结果。添加节点过程中,实例运行状态显示为“只读节点扩容中”,整个添加节点的过程持续15分钟左右。在实例“基本信息”页面的“节点信息”区域,可查看新增节点信息。在只读节点右侧“操作”列单击“查看延迟时间”可查看当前节点的延迟时间。
-
文档数据库服务DDS介绍页入口,详情请点击链接文档数据库服务DDS成长地图入口,详情请点击链接
-
【摘要】 文档数据库服务4.2版本上线官网,诚邀公测!华为云DDS是一款兼容MongoDB 3.4、4.0版本的文档数据库服务,目前支持分片集群(Sharding)、副本集(ReplicaSet)和单节点(Single)三种部署架构。作为NoSQL中非常流行的一款数据库,华为云文档数据库服务DDS广受客户和开发者的青睐,经过几年的沉淀与积累,具备了提供持续、稳定、高性价比的文档数据库服务能力。近日,华为云文档数据库服务DDS团队正式推出了全新的DDS 4.2版本,新版本不仅覆盖了社区4.2版本中的新特性,还新增了一部分社区4.4版本的特性,能力得到全新升级。目前华为云官网已免费公测DDS 4.2版本,诚邀广大客户和开发者前来体验。华为云DDS 4.2版本新增了10+个新特性,本文将选取其中6个代表性的新特性进行介绍。 华为云DDS 4.2版本新特性详解分布式事务(Distributed transactions)作为社区近几个版本中复杂度最高的特性,华为云DDS从4.2版本开始支持该功能,提供了集群模式下跨分片的分布式事务能力,还结合了4.0版本副本集上的多文档事务。因此,客户就可以不受部署模式的限制,自由地使用事务接口以及享受此功能带来的好处。 通配符索引(Wildcard Indexes)在业务开发过程中,为了拥有更好的查询性能,通常需要给集合建立对应的索引,但是实际场景中,由于业务场景复杂,客户可能不能精确地确定实际的查询字段,为了解决上述问题,华为云DDS 4.2版本引入了通配符索引特性,利用该特性可以支持在一个集合的单个字段或者对整个集合创建一个通配符索引,创建该索引后,客户可对通配符索引上的任意字段进行索引查询。对单个字段创建通配符索引:假设用户有如下数据:{ "students" : { "addresss" : [ " xian ", "shanghai" ] } }{ "students" : { "shengao" : 160 } }如果用户想在使用上述每种字段查询时都启用索引,那么可以采用如下方式:db.data.students ( { " students.$**" : 1 } )该索引支持如下查询:db.data.find({"students.addresss" : "xian" })db.data.find({"students.shengao" : { $gt : 150 } }) 聚合增强(Aggregation Improvements)DDS 4.2版本在聚合功能上充分兼容社区版4.0版本之后的新增加的大部分算子以及stage供业务调用。兼容的新算子有:社区版本算子名称Stage4.2 $rand, $round, $sampleRate, $trunc, $replaceAll, $regexFind, $regexFindAll, $regexMatch, $degreesToRadians, $radiansToDegrees, $acos, $acosh, $asin, $asinh, $atan, $atan2, $atanh, $cos, $cosh, $sin, $sinh, $tan , $tanh$merge, update with aggregation pipeline 4.4 $accumulator, $binarySize, $bsonSize, $first, $function, $isNumber, $last, $replaceOne,$unionWith 客户端字段加密(Client-Side Field Level Encryption)官方社区版本的“客户端加密功能”提供了显式加密和自动加密(仅官方企业版支持)两种加密方式。DDS 4.2版本也支持客户端字段级加密(仅支持显式加密),使用对应版本驱动,通过驱动的加密框架接口,在数据被写入服务端之前进行加密,极大降低了数据在网络传输中或在磁盘存储中被泄露的风险。 隐藏索引(Hidden Indexes)数据库创建索引和删除索引是一个影响很大的操作,客户在维护索引时,一旦删除索引可能会对业务产生比较大的影响,同时重创建会消耗大量时间。隐藏索引功能则用来满足用户在不删除索引的前提下,对索引进行维护,评估某些索引对查询的影响。通过使用hideIndex以及unhideIndex命令对集合的索引进行隐藏和去隐藏操作,当集合内的某个索引设置为hidden: true,则在该集合的查询计划中不再使用该索引。具体使用方法可以参考下面的样例:db.testIndex.hideIndex({c1:1,c3:-1}) 片键后缀扩展(Refinable Shard Keys)用户可以通过给分片表的ShardKey增加后缀字段进行扩展,这样可以解决JumboChunk的问题。该特性目前是带开关,默认关闭。如需打开,联系华为云后台操作。具体使用方法可以参考下面的样例: db.adminCommand( { shardCollection: "test.coll", key: { a: 1, b: 1 } } )db.coll.createIndex({a: 1, b: 1, c: 1, d: 1})db.adminCommand({refineCollectionShardKey: "test.coll", key: {a: 1, b: 1, c: 1, d: 1}})此外,DDS 4.2版本也删除索引value最大1024 字节的限制以及索引名字总长度127字节的限制,满足常见场景应用的需求。华为云DDS 4.2版本在支持分布式事务、索引查询、聚合增强、字段加密等方面实现了巨大提升,满足了更复杂的业务场景,为企业业务保驾护航。现在前往华为云官网,选择DDS 4.2版本创建实例,即可参与公测:https://www.huaweicloud.com/product/dds.html
-
使用文档数据库服务(Document Database Service,简称DDS)实例时,实例连接失败真是令人头大。万事开头难,跟着小云妹,耐心阅读本贴,让你自学成才,实例连接自此畅通无阻!顺着以下几个方面进行排查,问题就可以迎刃而解~1. 排除数据库实例异常可能原因:DDS系统故障,实例状态异常,实例或表被锁定等。解决方法:尝试实例重启功能。2. 使用正确的客户端连接方式建议安装使用4.0版本以上的MongoDB客户端连接实例,以集群为例:连接方式使用场景内网方式系统默认提供内网IP地址。当应用部署在ECS上,且该ECS与DDS实例处于同一区域,同一VPC时,建议单独使用内网IP连接ECS与DDS实例。公网方式不能通过内网IP地址访问DDS实例时,使用公网访问,建议单独绑定弹性公网IP连接ECS(或公网主机)与DDS实例。3. 使用正确的SSL方式安全连接(推荐)SSL方式:实例连接管理页面的SSL开关开启,并且上传证书到ECS。普通方式:实例基本信息页面的SSL开关关闭。4. 排除连接命令错误请获取正确的连接地址、端口参数配置、用户名和密码、SSL方式下命令错误,并重试连接实例。SSL内网连接集群示例:./mongo mongodb://rwuser:****@<DB_HOST>:<DB_PORT>,<DB_HOST>:<DB_PORT>/test?authSource=admin --ssl --sslCAFile <FILE_PATH> --sslAllowInvalidHostnames连接地址连接信息可在“实例管理”页的“连接地址”列获取。图1 连接地址数据库端口目标实例的“连接管理”页面,“内网连接”页签的“数据库端口”。用户名和密码root管理员帐号及其对应的密码。证书名称SSL证书文件名,该文件需放在执行该命令的路径下。SSL公网连接集群示例:./mongo mongodb://rwuser:****@<DB_HOST>:<DB_PORT>/test?authSource=admin --ssl --sslCAFile <FILE_PATH> --sslAllowInvalidHostnames连接地址单击实例名称,在实例“连接管理”页面“公网连接”页签的公网连接地址处获取。数据库端口目标实例的“连接管理”页面,“公网连接”页签的“数据库端口”。用户名和密码root管理员帐号及其对应的密码。证书名称SSL证书文件名,该文件需放在执行该命令的路径下。5. 排除网络不通跨网段访问(配置IP映射)确保在源端ECS网络与实例节点网络连通,如果网络不通,可以可以通过建立VPC对等连接进行相关配置。在客户端与副本集实例部署在不同网段的情况下需要进行跨网段访问配置,例如访问副本集的客户端所在网段为192.168.0.0/16,副本集所在的网段为172.16.0.0/24,则需要添加跨网段配置192.168.0.0/16才能正常访问。内网访问检查ECS与RDS是否在同一个区域,VPC。● 不同区域的云服务之间内网互不相通,无法访问实例。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。● 不同VPC下,可以通过建立VPC对等连接实现网络互通。检查安全组规则。在ECS上测试是否可以正常连接到DDS实例地址的端口。安全组外访问安全组内的DDS实例时,需要为安全组添加相应的入方向规则。telnet <实例地址> {8635}公网访问检查安全组规则。安全组外访问安全组内的DDS实例时,需要为安全组加相应的入方向规则。检查网络ACL规则。a. 进入虚拟私有云网络ACL列表。b. 检查EIP绑定的网卡是否在网络ACL关联的子网下。c. 查看网络ACL当前是“开启”状态还是“关闭”状态。d. 若网络ACL为“开启”状态,需要添加ICMP放通规则进行流量放通。注意:网络ACL的默认规则是丢弃所有出入方向的包,关闭“网络ACL”后,其默认规则仍然生效。相同区域主机进行ping测试。如果在原ECS上没有ping通DDS实例绑定的EIP,请在相同区域的另一台ECS上去ping该EIP,如果可以正常ping通,说明虚拟网络正常,请提交工单联系华为云客服协助解决。6. 排除实例的连接数满的情况查看实例的连接数是否已达上限。云监控服务目前可以监控数据库CPU、内存、磁盘、连接数等指标,并且设置告警策略,出现告警时可以提前识别风险。7. 连接失败的常见报错及处理方法Mongo Shell连接实例失败,提示:isMaster该命令为非SSL方式下连接实例的命令,若实例已开通SSL连接,执行此命令会报错。可用以下方式解决: 。关闭SSL连接,使用非SSL方式下的命令连接实例。 。下载SSL证书,将证书上传到ECS目录下(示例:/root/ca.crt),使用SSL方式下的命令连接实例。Mongo Shell连接实例失败,提示No route to host以及connection attempt failed可能是DDS实例的端口错误,也可能是DDS实例与ECS不在同一个区域活子网。可以通过curl命令确认到达DDS实例的网络是否畅通。Mongo Shell连接实例失败,提示No route to host以及connection attempt failed可能是DDS实例的端口错误,也可能是DDS实例与ECS不在同一个区域活子网。可以通过curl命令确认到达DDS实例的网络是否畅通。Mongo Shell连接实例失败,提示:Authentication failed可能是连接DDS实例命令中管理员密码错误。请重新输入正确的管理员密码。Mongo Shell连接实例失败,提示:couldn't connect to server可能是未设置正确的安全组策略,导致从安全组外访问安全组内的DDS实例失败。请设置正确的安全组策略。Mongo Shell连接实例失败,提示:Cannot list multiple servers in URL without 'replicaSet' option可能是由于MongoDB客户端版本太低导致的。请使用4.0版本以上的MongoDB客户端连接实例。Mongo Shell连接副本集实例失败,提示:Cannot list multiple servers in URL without 'replicaSet'option可能是使用Connection String URI连接副本集实例时,URI命令行没有加双引号。请将命令行添加双引号,再连接副本集实例。Java驱动连接实例失败,提示:Timeout while receiving message可能是由于异常的慢查询占用实例资源,导致CPU使用率激增甚至到达峰值,请检查是否有慢查询,建议添加索引进行优化。也可能是应用端连接池的配置错误导致,如超时时间的设置等,请检查应用端连接池的配置是否正确。更多详细内容,赶紧戳这里,了解详情吧~~
-
1. 在DdsXXXServiceInstance里面的如下标签下,如下设置是否也会走shm(当单帧消息小于FragSize时)?2. 或者说这里,不配置UDP,为空,是否也会走shm(当单帧消息小于FragSize时)?3. 是否对于Dds来说,这个配置是否写,或者干脆空置,对于通信系统来说,都是等效的?都会在实时判断是否满足shm要求,满足就dds,不满足就udp。
-
文档数据库DDS介绍页入口,详情请点击链接文档数据库DDS迁移指导入口, 详情请点击链接噔噔,新一期的数据库干货又来啦~如果您因业务调整或需要使用华为云文档数据库特性功能时,可以通过数据迁移功能将原有MongoDB数据库的数据迁移至华为云文档数据库。小云妹带来了几种不同的方式,一起来学习下 【往期回顾】●【第一期】华为云DDS-云上高性价比文档数据库服务●【第二期】小云妹之DDS实例安全基本操作●【第三期】文档数据库可视化运维 高频需求一键式便捷操作
-
服务名称云图说内容链接云数据库RDS【云图说】第14期 初识华为云关系型数据库【云图说】第117期 小云妹带你快速玩转关系型数据库实例操作 01期【云图说】第132期 小云妹带您快速玩转RDS实例操作(2)——删除与退订云数据库 RDS for MySQL【云图说】第35期 小云妹的数据库之旅 01 万万没想到,RDS for MySQL原来是这样的【云图说】第38期 小云妹的数据库之旅 02 这些购买RDS for MySQL的技能实用到哭,你确定不来看看?【云图说】第41期 小云妹的数据库之旅 03 云数据库 RDS for MySQL一键实现弹性扩展是种什么样的体验?【云图说】第64期 小云妹的数据库之旅 06 数据库的私人医生—云DBA【云图说】第169期 华为云数据库 RDS for MySQL内核小版本升级全攻略【云图说】第201期 读请求太多怎么办?云数据库RDS for MySQL一键开通读写分离,轻松应对业务高峰云数据库 RDS for PostgreSQL【云图说】第48期 小云妹的数据库之旅 04 太给力了!认识云数据库 RDS for PostgreSQL只需要这三步云数据库RDS for SQL Server【云图说】第61期 小云妹的数据库之旅 05 这才是云数据库 RDS for SQL Server最正确的打开方式文档数据库服务DDS【云图说】第29期 华为云文档数据库服务(DDS),多快好省惠【云图说】第128期 小云妹之DDS实例安全基本操作【云图说】第147期 文档数据库可视化运维 高频需求一键式便捷操作【云图说】第198期 将源端MongoDB业务搬迁至华为云DDS的几种方式数据复制服务DRS【云图说】第46期 超便捷的华为云数据复制服务【云图说】第120期 小云妹带您揭秘——数据复制服务四大功能【云图说】第157期 华为云数据复制服务DRS 打造不一样的数据库迁移【云图说】第226期 DRS数据对比——带您随时观测数据一致性数据管理服务DAS【云图说】第75期 初识数据管理服务 DAS【云图说】第141期 DAS表结构对比与同步 实现您多个数据库管理心愿云数据库 GaussDB(for MySQL) 【云图说】第161期 华为云GaussDB(for MySQL),新一代企业级高扩展海量存储分布式数据库云数据库 GaussDB NoSQL【云图说】第166期 华为云自研云数据库GaussDB NoSQL 兼容多款NoSQL接口的数据库服务云数据库GaussDB(for Cassandra)【云图说】第209期 初识云数据库GaussDB(for Cassandra) ——华为新一代Cassandra宽列云数据库云数据库GaussDB(for Redis)【云图说】第223期 初识云数据库GaussDB(for Redis)云数据库 GaussDB【云图说】第204期 初识华为云数据库GaussDB,新一代企业级分布式数据库分布式缓存服务Redis【云图说】第76期 DBA·王的Redis优化历程分布式数据库中间件DDM【云图说】第197期 初识华为云分布式数据库中间件DDM
-
在mdc300中使用dds方式发送大数据遇到下面两个问题,测试代码见附件:1、在mdc300中通过AP的dds方式发送数据花费时间更长2、dds发送5MB数据隔一段时间消耗时间将近1s时间ap数据类型数据量收发类型收发时间间隔备注vector5MBsomeip12msdds24.5ms间隔一段时间出现一个980多ms。vector10KBsomeip0.2msdds0.2msvector1MBsomeip2.8msdds5.3ms
上滑加载中
推荐直播
-
华为AI技术发展与挑战:集成需求分析的实战指南
2024/11/26 周二 18:20-20:20
Alex 华为云学堂技术讲师
本期直播将综合讨论华为AI技术的发展现状,技术挑战,并深入探讨华为AI应用开发过程中的需求分析过程,从理论到实践帮助开发者快速掌握华为AI应用集成需求的框架和方法。
去报名 -
华为云DataArts+DWS助力企业数据治理一站式解决方案及应用实践
2024/11/27 周三 16:30-18:00
Walter.chi 华为云数据治理DTSE技术布道师
想知道数据治理项目中,数据主题域如何合理划分?数据标准及主数据标准如何制定?数仓分层模型如何合理规划?华为云DataArts+DWS助力企业数据治理项目一站式解决方案和应用实践告诉您答案!本期将从数据趋势、数据治理方案、数据治理规划及落地,案例分享四个方面来助力企业数据治理项目合理咨询规划及顺利实施。
去报名
热门标签