• [技术干货] GaussDB(DWS)技术发展
    GaussDB(DWS)是大数据分析的一个软件平台,产品愿景是希望可以做到全场景一站式的分析,我们提供了三种产品形态,IOT数仓、实时数仓、云数仓,提供数据集市、数据探索、高维分析。能够通过一个强大的数据分析平台,实现全场景一站式分析,简化IT架构,使能人人用数。用户行为数据、交易数据、视频图像、应用数据、实时数据、批量数据接入数据平台,通过OLAP、OLTP、HTAP这些能力,提供实时大屏、实时风控、实施头寸、反欺诈业务,包括联机查询的自助分析、BI报表、数据探索服务、监管报送、客户画像高维分析业务,同时可以和数据湖平台、AI平台做湖仓一体、数智融合的平台。GaussDB(DWS)从2011年开始做市场预研,从做原型开发到现在整11年了,全球累计1700+大客户,IDC2021年数据仓库市场追踪报告中被评为本地部署数据仓库份额第一。IDC 2011年大数据市场份额跟技术实力的双领先,本地部署数据库份额国产第一,入选Gartner魔力象限、获得2021年贵州数博会领先科技成果奖,2020~2021连续蝉联大数据领域“金沙奖”。从2011年做这个产品开始,就做了专利布局,核心专利250多家,包括在美国、欧洲的一些专利,同时我们也是国内首家通过CC安全认证。核心代码完全自研,整体自研率96%以上,自主率非常高。
  • [技术干货] GaussDB(DWS)发展趋势
    国家“十四五”规划,将科技创新提到前所未有的高度,是核心发展策略,科技创新两个关键点分别是关键核心技术的自主可控和数字经济是未来数10年产业升级的主路径。众所周知,中国是世界基建狂魔,国家从未来角度出发,提出新基建的概念,区别于传统基建,新基建包括像5G、AI、大数据等信息建设,能够更好的促进互联网+、工业互联网发展,将中国的经济往一个新的高度引领。随着5G、AI、大数据时代的到来,数据量激增,呈海量化发展、多样化发展、实时化发展和生态化发展,这4个发展的趋势在新基建或者数字经济的大的背景下,逐步的释放潜力。自数字化以来,数据量年增长30%,每三年翻一番。互联网交易数据是4.5亿笔/天,这是海量化的一个过程。当前数据价值挖掘的并不是非常充分,为了未来能够发掘数据的潜力,数据保存周期越来越长,促进了数据海量化。数据多样化是大家逐步在挖掘数据的价值,比如日志、遥感、文件、图片的数据,从这里面去掘一些信息。实时化是讲现在做的实时风控、工业OT。IDC中国关系数据库市场与规模预测中显示,2020年数据库市场全年增速35.5%。2020--2025年,年均增长达到25%以上,数据库发展前景非常不错。2020年数据库公有云的部署超过了传统部署模式,未来这个供应模式也会继续提高。
  • 提供设备级标准API
    我们在华为云物联网平台上搭建了一款基础的充电桩的数字模型,华为云IoT提供了标准物模型的概念,那么什么是标准物模型呢?在物联网方案构建的过程中,标准物模型可以统一物联网数据的接入格式,提供设备级标准的API,可供开发者进行按需调用或批量的复制。我们看到有三个矿井设备,这三个设备又分别来自于不同的厂家,它们在与云端对接的时候,使用的协议、数据格式等都不一样,平台针对这三款设备提供的API就会有差异,在设备与上层应用在做对接的时候,就需要进行三次开发对接,大大地增加了集成开发的工作量。在这种情况下,如果设备厂商在接入华为云时,使用了标准的物模型,在统一数据格式后,只需要使用同一个模型即可实现三款不同设备与上层应用的对接。即使后续再有新增的设备,也无需重复开发,大大提升了开发集成效率。当前华为云IoT正在联合行业内的芯片、模组厂商等,沉淀了300多款物模型,并联合信通院进行标准物模型的发布,在交通、园区、医疗等行业中均有应用。我们希望通过标准物模型的构建,让更多的厂商都能参与到物联网生态的构建中,加速物联网行业的应用落地。
  • [技术干货] 多场景的设备上云
    在物联网大屏搭建的演示过程中,我们在华为云IoT平台上使用了设备模拟器,模拟充电桩设备接入平台以及与平台通信的过程,在此过程中,设备模拟器采用的时MQTT协议。但实际上,在物联网行业中,不同的行业场景往往采用的是不同的协议,比如交通行业使用了JT808协议,水利中使用的SL651协议,以及电力、环保、医疗等等行业中都有不同的物联网协议。华为云IoT平台除了支持标准的行业协议接入外,还通过提供泛协议插件的能力,支持各种私有协议的接入。大家可以基于平台提供的泛协议插件,开发适配私有协议的插件,无需对设备进行改造,即可实现私有协议设备上云。无论是行业标准协议,还是私有协议,都可以通过泛协议解析插件,实现快速接入。同时平台还支持统一托管运维,无需厂商进行额外采购服务器、网络等资源,无需构建针对协议插件的运维能力。华为云IoT希望通过泛协议插件的能力,让平台更加开放和灵活,从而能帮助更多的行业、更多的设备联网上云,从而加速各行业的数字化转型。
  • [技术干货] 数据管理层面向架构设计层面演进
    与传统数据库相比,云数据库具备即开即用、一键安装部署、高可用、高可靠、监控告警等能力,极大释放了DBA一部分重复繁琐的运维工作,但也带来了一定挑战,比如云数据库设置了细粒密度权限,DBA无法访问宿主机文件系统;云数据库基于云服务构建,需要DBA掌握一定的云计算知识。但挑战也意味着机遇,云数据库时代,DBA需要从数据库管理员角色转换为架构师。因为云数据库已经提供了基础运维的功能,DBA需要将重心转移到整个数据库架构层面,跟业务更紧密结合。云数据库时代,DBA需要提升数据库整体认知,从数据管理层面向架构设计层面演进,具体可以从以下四个方面提升能力:1. 夯实数据库基础知识。重新审视DBA在云数据库时代中需要具备的能力,衡量哪些是DBA必须要去做的的事情,不断巩固和提升基础知识。2. 融合公有云和私有云的能力。公有云和私有云的基本逻辑是相通的,结合两者的能力更有助于理解和学习数据库知识。3. 识别和强化核心能力。在掌握基础知识的基础上,不断强化数据库核心能力,比如架构设计、内核研发等,持续打造核心竞争力。4. 紧密结合业务。所有产品都是为客户业务服务的,DBA需要结合业务场景不断练就技术内功,比如SQL管理、慢日志管理、索引优化等,才能更好地为业务服务。
  • [技术干货] DBA主要负责哪些工作内容
    DBA工作内容可从两个维度回答,第一个维度是从数据库整个工作范围来看,包括运维管理、数据迁移、架构优化三个部分,这三个部分是一个技术迭代的过程,对技能要求逐次递增。运维管理通常指的是安装部署、监控报警、备份恢复、在线变更等常规操作。在云时代,这些工作可以被云数据库替代。数据迁移指的是数据流转,包括数据库的升级、不同数据库之间的迁移等,会涉及到整个数据域的范畴。架构优化属于更高维度的内容,包含架构和优化两部分,比如:高可用架构、分布式架构、SQL优化、数据模型优化等。第二个维度是从数据库分层来看,可分为四层。最上层是数据服务层,涉及到专家服务、云服务等内容。第二层是打造一个安全、稳定、高效的数据存储平台。第三层是架构支持层,包括高可用、公司架构、数据模型等内容。第四层是基础资源规划层,不同的数据库存储引擎对应不同技术栈,通过架构串联起底层资源,为上层提供稳定高效的数据存储平台。一个合格的DBA需要具备的能力可简单分为三点,第一是对数据库的基本原理有更深入的理解;第二是关注时代变化,学习和研究前沿技术;第三是在架构层面持续技术演进,因为很多工作不是短期或者是一次性能完成的过程,需要不断去迭代升级。
  • [互动交流] hudi相关依赖下载
    关于hudi的相关依赖包没法下载,找不到相关依赖
  • [技术干货] 【获奖公示】DTSE Tech Talk丨NO.73:华为云DataArts+DWS助力企业数据治理一站式解决方案及应用实践
    中奖结果公示感谢各位小伙伴参与本次活动,欢迎关注华为云DTSE Tech Talk 技术直播更多活动~本次活动获奖名单如下(部分视频号抽奖用户无账号名): 奖项名称 奖品名称  华为云账号优质提问华为云开发者定制长袖圆领卫衣wangziying007优质提问华为云开发者定制长袖圆领卫衣hid_a0211e-bd-x__sw持久观看有奖华为FreeBudsSE2无线耳机linghz666口令抽奖华为云开发者定制鼠标垫qingqingjiayuan6口令抽奖华为云开发者定制鼠标垫ccs2022108180102
  • [公告] 【获奖公示】DTSE Tech Talk丨NO.72:物联网资深专家带你轻松构建AIoT智能场景应用
    中奖结果公示感谢各位小伙伴参与本次活动,欢迎关注华为云DTSE Tech Talk 技术直播更多活动~本次活动获奖名单如下(部分视频号抽奖用户无账号名): 奖项名称 奖品名称  华为云账号优质提问华为云开发者定制长袖圆领卫衣hw_008615770616135_01优质提问华为云开发者定制长袖圆领卫衣hid_a0211e-bd-x__sw持久观看有奖华为云开发者定制双肩包nanospeed口令抽奖华为云开发者定制鼠标垫hw025295594口令抽奖华为云开发者定制鼠标垫qiuyurumeng口令抽奖华为云开发者定制鼠标垫xiaozhongy
  • [互动交流] dolphinschedler部署完成 删除修改无反应
    dolphinschedler 安装部署完成 UI界面正常登录创建项目正常dolphinschedler 点击删除、或者修改保存确定的时候没有任何反应。dolphinschedler3.1.8 - 3.2.0 版本都试过 zookeeper是3.8.4 jdk是1.8.141 mysql jar是 mysql-connector-java-8.0.33
  • [分享交流] 🎉重大消息!10 月 21 日华为开发者布道师第三场直播来袭!🎉
    活动信息【活动主题】:昇思MindSpore:AI 领域的创新力量与跨平台之路【报名链接】:https://developer.huawei.com/home/activity/60b58a1735f24db681a1641429a6932c【直播时间】:2024/10/21 19:00-20:30【直播嘉宾】:华为开发者布道师、郑州轻工业大学梅科尔工作室核心成员陈新杰【直播链接】:待定【直播简介】:深度探索昇思 MindSpore 在 AI 领域的精彩应用,剖析技术精髓,通过医疗创新案例展示实际应用与技术突破,涵盖问题识别到解决方案全过程,重点介绍算法关键步骤,还简述 PyTorch 到 MindSpore 框架转换技巧,为开发者提供跨平台开发指南。【直播福利】:福利一:互动有礼1.礼品列表:定制开发者布道师Polo杉,抽华为定制充电宝2.拟定互动口令,便于官网直播间发口令“华为开发者布道师”抽 华为精美礼品福利二:有奖提问1.礼品列表:定制开发者布道师保温杯福利三:连续打卡1.后续会上线一系列的开发者布道师线上直播活动,连续参加活动并签到的开发者,会获得连续签到激励,奖品多多,敬请期待!
  • [技术干货] 数据抓取、数据采集、数据爬取、数据分析与数据挖掘 
     1. 借助大数据技术搭建分析模型 大数据技术的发展使得数据抓取、数据采集、数据爬取变得更加容易和高效。在数据分析和挖掘过程中,我们需要借助这些技术来获取大量的原始数据。接下来,我们将介绍如何选择合适的大数据分析和机器学习算法,构建分析模型。  1.1 数据收集 数据收集是整个数据分析过程中的第一步。我们需要从不同的数据源中抓取、采集和爬取数据。这可能包括网站、数据库、API等。数据收集的质量和数量直接影响到后续分析和挖掘的效果。  1.2 数据清洗 在数据收集完成后,我们需要对数据进行清洗,以去除重复、错误和无关的数据。数据清洗是数据处理过程中非常重要的一环,它关系到最终分析结果的准确性和可靠性。  1.3 数据整合 经过数据清洗后,我们需要对数据进行整合,将不同来源的数据进行统一和整理。这一步骤的目的是为了方便后续的数据分析工作。  2. 模型搭建 在完成数据收集和整理后,我们开始选择合适的大数据分析和机器学习算法,构建分析模型。常用的算法包括决策树、神经网络、支持向量机等。  2.1 选择算法 选择合适的算法是构建分析模型的关键。我们需要根据实际问题和数据特点来选择最合适的算法。例如,对于分类问题,我们可以选择决策树、神经网络等算法;对于回归问题,我们可以选择支持向量机、线性回归等算法。  2.2 模型训练 选择好算法后,我们需要利用数据对模型进行训练。这一过程中,我们需要不断调整模型的参数,以达到最佳的性能。  2.3 模型评估 模型训练完成后,我们需要对模型进行评估,以检验模型的准确性和泛化能力。常用的评估指标包括准确率、精确率、召回率、F1值等。  3. 模型优化 在模型评估的过程中,我们可能会发现模型存在一些问题,如过拟合、欠拟合等。针对这些问题,我们可以采用一些方法对模型进行优化,如正则化、交叉验证、特征选择等。  数据抓取、数据采集、数据爬取、数据分析与数据挖掘是一个复杂的过程,需要我们借助大数据技术和机器学习算法来完成。通过对数据的收集、清洗、整合,我们可以选择合适的算法构建分析模型,并通过优化模型来解决实际问题。 
  • [互动交流] FI Kafka主题监控指标数据存储在哪里?
    问题:FI Kafka主题监控指标数据存储在哪里?需求:需要获取数据做外部系统主题流量监控
  • [技术干货] 深度数据包检测 (DPI) 技术   精准数据获取
    深度数据包检测 (DPI) 技术是一种能够深入分析和控制网络流量的技术,其检测粒度达到应用层,可以识别和控制各种应用协议,如HTTP、FTP、DNS等。DPI技术广泛应用于网络安全、网络优化、业务运营等领域,能够帮助企业提高网络性能、保障网络安全、提升用户体验。 DPI技术的工作原理是对网络流量进行深入的分析和控制。当网络流量经过DPI设备时,设备会对流量进行深度分析,识别出流量的应用协议,然后根据预设的策略对流量进行控制,如允许、限制或阻断等。  例如,在网络安全方面,通过对网络流量进行深度分析,DPI可以实时检测和防范各种网络攻击,如DDoS攻击、网络钓鱼等。在网络优化方面,DPI可以识别和控制各种应用层协议,有效优化网络资源,提高网络性能。   DPI技术的应用对于企业和个人都有着重要的意义。对于企业来说,DPI技术可以帮助他们提高网络性能、保障网络安全、提升用户体验,从而提高企业的运营效率和竞争力。对于个人来说,DPI技术可以保护他们的网络安全,避免网络攻击和网络钓鱼等安全威胁,提高他们的网络使用体验。  DPI技术还可以用于构建用户画像。在当今这个信息爆炸的时代,品牌了解自己的用户变得越来越重要。用户画像中包含了用户的年龄、性别、地域、社交关系、兴趣偏好、触媒习惯、行为特征、消费习惯等信息,可以帮助品牌深入了解目标用户群体,洞察用户真正的动机和行为。这对于品牌来说,具有重要的营销和产品设计意义。  
  • [技术干货] 深度数据包检测 (DPI) 构建用户画像 
    在当今这个信息爆炸的时代,品牌了解自己的用户变得越来越重要。用户画像中包含了用户的年龄、性别、地域、社交关系、兴趣偏好、触媒习惯、行为特征、消费习惯等信息,可以帮助品牌深入了解目标用户群体,洞察用户真正的动机和行为。 构建用户画像的原理和机制主要基于对用户行为数据的收集、分析和建模。通过数据收集工具,如网站分析工具、社交媒体监控工具等,收集用户的行为数据。然后,对这些数据进行深入分析,包括用户的人口统计学特征、兴趣爱好、行为习惯等。基于这些分析结果,建立用户画像模型,从而实现对用户的全面理解和精准刻画。例如,某电商企业通过收集用户的购物行为数据,分析用户的年龄、性别、地域、购物偏好等信息,建立了用户画像。基于这些用户画像,该企业可以进行精准的商品推荐,从而提高用户的购物体验和满意度,提高商品的销售转化率。构建用户画像在营销、产品设计、客户服务等方面都具有重要的应用价值。通过用户画像,品牌可以深入了解目标用户,制定更有效的营销策略,设计更符合用户需求的产品,提供更有针对性的客户服务。用户画像还可以帮助企业进行用户行为预测,从而提前布局,抢占市场先机。构建用户画像对于提升品牌竞争力,实现业务增长具有重要的意义。
总条数:1437 到第 页
上滑加载中