• [行业资讯] 交通领域的物联网如何让大数据对企业产生价值
    运输中的物联网数据与机器学习和人工智能相结合,有助于使供应链变得透明和高效。全球物流市场不断增长,科技正成为发展的主要触发器。 企业正在寻找用于运输的物联网解决方案,以帮助他们提高供应链的可见性、改善物流各个阶段的运营并节省资源。 这可以通过使用物联网设备收集有关物流过程的数据并将其转换为有价值的业务信息来实现。 让我们考虑一下交通中的物联网如何创造持续的有用信息流,从而使公司充分利用大数据。物联网如何将数据转化为价值在交通运输中实施物联网不仅仅是将设备或传感器连接到网络。 运输中的物联网将供应链中的每个对象都变成了信息源。 要将收集的信息用于企业利益,您必须能够分析物流和供应链管理中的大数据。 非结构化信息没有价值。 您需要了解如何使用数据来发展您的业务。如果数据通过收集-沟通-聚合-分析-行动链,它们就会变得有意义。 物联网传感器收集数据并将其上传到云端,在云端将信息转换为可用格式和结构化。 “纯化的”信息成为训练分析数据和自动化某些流程的机器学习算法的基础。 ML 和 AI 发现模式并做出预测。 物流公司可以全面了解供应链中的情况。哪些数据对物流有用2020年,物流大数据分析市场价值35.5亿美元。 专家建议,到2026年将增长到92.8亿美元,年均增长率为17.31%。 组织必须能够分析不断增长的传入信息量并改进物流运营。运输中的物联网解决了主要问题,即供应链的透明度和可见性。 传统上,管理人员只能在装运点控制货物的流动。 不可能确定检查站之间的货物发生了什么。没有透明度,就很难理解货物在什么条件下运输以及承运人是否履行了合同条款。 也无法确定:货物在特定时间的位置;货物是否破损(包装是否密闭,集装箱门是否关闭等);是否遵守运输条件(温度、湿度和其他指标);什么样的天气或道路事故会妨碍货物的及时送达;承运人是否偏离航线;货物能否准时到达等问题。如果缺少此信息,则交付是盲目的。 经理不知道供应链中的问题出在哪里以及如何解决。访问正确的数据提供了改进的空间。 传感器创建连续的物联网数据流并提供对供应链的可见性。
  • [技术干货] openLooKeng,一款面向海量、跨DC的大数据分析利器
    本文介绍的内容包括四部分,然后第一部分是openLooKeng是什么,然后第二部分是 openLooKeng的典型应用场景。第三部分是openLooKeng的架构解析和关键特性。第四部分是关于openLooKeng 的开源策略以及伙伴的帮助计划。1. openLooKeng是什么1.1 openLooKeng打破数据和应用壁垒,快速实现数据价值首先我们在介绍 openLooKeng之前,我们大致的介绍一下当前大数据面临的一些困难。然后主要是困难就是包括左边的三个方面。第一个就是我们看到的我现在一个很典型的场景,就是很典型的问题,就带大数据的。在大数据中心里面,我们都会有很多的引擎,比如说有OLTP的、 OLAP 的,同时有 hadoop 还有 noSQl 的,然后不同的引擎又有不同的语法。然后通常我们还要面临的是跨地域的一个访问。所以说总结起来就有三个部分的困难。一个就是用数难,对于我们面临的开发的组件越多,老开发语言越多,这样的话导致的开发成本越高。但是说我们要从不同的数据语言中,如果进行关联分析的话,我们需要掌握的语言会很多。第二个问题就是找树难,找树难一个典型特性是数据比较分散,然后管理复杂,流动性差,查询效率也低。第三部分就是数据的取数难,跨源分析通常需要数据的半天效率不高。通常我们在进行分析的时候要从一个数据源导到另一个数据源,这样的话导致数据存在多份拷贝,然后数据迁移的效率有部分也很低。而openLooKeng的出现就是为了打破数据壁垒,然后快速实现数据的价值。openLooKeng有三个比较典型的特征,就是用数极简,找数极速取数高效。在下面的 App 中灰着重的讲述这几份方面。然后用数极简的话,第一个方面就说的是在openLooKeng我们提供一个统一的简化的接口,就是 SQL 语言,然后找数取数的话就是我们会在openLooKeng里面利用了很多的增强特性来提高数据的查询速度。然后取数高效,就是我数据在分析的时候不需要搬迁,我们可以实现一个跨源跨域以及跨数据中心的一个联合的查询,从而实现快速的查找数据。1.2 openLooKeng统一高效的数据虚拟化引擎,让大数据变简单openLooKeng用一句话来说就是openLooKeng 是一个跨域的高效的虚拟化查询引擎。它主要是分为三个部分,第一部分就是统一接口层,向外接口的话,我们向上层次提供 2003 兼容的SQL语法。然后中间一层是内核引擎层在内核引擎层我们做了很多的优化,比如说启发式索引动态过滤算子下推以及包括一些企业级特性AA的高可用以及权限的控制。第三部分就是数据源层,openLooKeng提供了一个抽象的数据源框架 data connect framework ,这样的话针对的不同的数据源,我们只要复写它提供的一些接口,就可以简单高效的把数据源接入到 openLooKeng引擎里面来。当前 openLooKeng支持的数据源应该有二十种,然后重新开发一种数据源也是非常简单的。同时我们也实现了一个跨 DC 的 connect 也就是说我们通过openLooKeng的 DC connect 可以去访问另一个openLooKeng集群,这样的话我们形成一个跨域的级联的分析。总体整体来说就是说 openLooKeng有四个特点。第一个就是同一路口化环为点,单一引擎支持多场景。然后第二部分就是内核增强,高性能查询。第三部分就是跨源关联分析,数据消费零搬迁。然后第四部分就是我们提供了一个的 DC connect 实现跨域的协同分析、广域网的部署、局域网的体验。我们在 DC connect 里面实现了多重的优化,包括数据压缩、断点续传以及算子下推,从而实现在 DC connect 性能跨域访问性能的增强。2.3 openLooKeng:统一高效的数据虚拟化引擎我们接下来看一下就是openLooKeng在大数据一个整体的解决方案中的一个位置。我们可以看到就是openLooKeng属于一个在引擎层的位置,它属于数据查询的一个组件。但是相比于 Spark Hive 参数来看的话,它处于一个更高的层次,因为它下层可以接的数据源就包括了 MySQL hive, hbase 等。而底层的硬件设备是可以支持 Kunpeng和X86 都是可以的。然后上层openLooKeng的上层就是 ISV 的大数据解决方案,这个大数据解决方案可以是数据中台等的解决方案。再上层就是我们的数据使能层。数据使能层就包括数据开发的工具、调度工具,然后再上层就是我们的应用。比如说我们典型的五大应用,政府、金融、安频、互联网、电力加三大运营商。2. openLooKeng的典型应用场景2.1 openLooKeng面对行业应用四大场景持续发力openLooKeng面临的四大场景,也就是openLooKeng跟主要发力的四大场景。第一个就是单引擎覆盖交互式的场景。然后现在一个比较典型特征就是比如说我要进行一个数据分析的话,首先数据是导到 Hive 里面,然后经过 ETL 的过程导到一个专题数据库里面,这样的话就有两个烟串,两份数据管理复杂查询数据搬迁的效率也差。那这是第一个场景,通过openLooKeng的话,我们可以使用它的域跨源能力实现数据关联分析。第二个就是大数据实时数据实时分析场景,这个主要是通过openLooKeng的 Kafka connector 这种数据兼容能力,可以实现数据实时的录入,然后实时的对数据进行分析。第三个的就是引擎接口,就是实现一个跨域跨源的数据分析,比如说我的底程有 Hive 和 mpb 数据源,由于这两种数据源它的本身的接口是不一样的,Hive使用的是 Hsql ,然后MPPDB所是使用的是标准的 SQL ,他们在分析的时候由于他们俩的接口不一样,然后需要写不同的语言对他的数据进行一个读取,然后在上层的平台进行一个关联分析,然后下面的几个应用场景也是在实在实际中用到的一个场景。第一个就是 OPPO 跟的用 OPPO 跟去替换 Hive 或者 Spark 目标的场景是这样子的,交互场景目的是为了分析人员提供或是为数据分析人员提供更方便快捷的机器查询能力,性能的要求是很高的,通常是秒级查询。这个是在我司应用的一个场景,他开当前的话之前他们用的是 Hive 然后中间的有一个比较明显特征是中间结果落盘次数比较多,然后调度效率低。而通过使用 open 螺根然后同时以使用了 open 螺根的启发式索引、执行计划、cache等一些技术。然后还有一个比较典型的特征是 OPPO 跟本来是基于一个内存的全 pipeline 的一个数执行模式,这样的时候数据是没有落盘的,最终效率是提高了两至十倍。这是一个在我市应用的一个场景。然后第二个就是融合分析的场景,就统一 SQL 跨源融合分析。我们看就是下沉有三个数据源,一个是 Hive 一个是 hbase 一个是 ES 这样话通过以前的话就你可要通过不同通过他们各自的 connect client 把它的数据拉取上来,然后通过一块源的综合分析程序来实现一个关联分析。那么的话这个一个就是你的开发成本很高,然后你的效率也很低。就很完美的解决这个问题。然后第四个场景就是一个跨域的协同分析的场景。现在的跨如果需要两个 DC 之间需要做一个关联分析,首先比如说我 DC 1 要访问 DC 2 的数据到 dcr,需要把数据放到前置机上,然后通过共享交互平台的方式把数据传送给 DC 1,这样的话肯定是不能做到一个T+0准确的分析。通常的话是一个T+ 1 的分析模式。那通过openLooKeng的跨域的 disconnector 就可以实现一个跨域的实时分析。+2.2 即席服务提供秒级查询能力下面的几个应用场景也是在实际中用到的场景。第一个就是用openLooKeng去替换 Hive 或者 Spark 目标的场景,交互场景目的是为了分析人员提供或是为数据分析人员提供更方便快捷的机器查询能力,性能的要求是很高的,通常是秒级查询。这个是在我司应用的一个场景,当前的话之前用的是 Hive 然后中间的有一个比较明显特征是中间结果次数比较多,然后调度效率低。而通过使用openLooKeng启发式索引、执行计划、cache等一些技术。然后还有一个比较典型的特征是openLooKeng本来是基于一个内存的全 pipeline 的一个执行模式,这样数据是没有落盘的,最终效率是提高了两至十倍。这是一个在我司应用的一个场景。然后第二个就是融合分析的场景,就统一 SQL 跨源融合分析。我们看就是下面有三个数据源,一个是 Hive ,一个是 hbase ,一个是 ES 这样话通过以前的话就你可要通过不同通过他们各自的 connect client 把它的数据拉取上来,然后通过一跨源的综合分析程序来实现一个关联分析。那么的话这个一个就是你的开发成本很高,然后你的效率也很低。然后通过openLooKeng的跨源分析能力,我们可以通过增加新的 connector 把数据源数据接入到openLooKeng引擎里面来。然后通常的话开发一个 connector 只需要一人/月的成本。如果说你很熟悉的话,通常两个礼拜就好了。然后通过这种模式,同时openLooKeng又是一个标准的 mppDB架构的一个分析引擎,通过它的统一的北向接口,南向的抽象 connect 的访问模式,就可以把数据实现一个跨源的融合分析场景。一个很典型特征就是它可通过一个统一的 SQL 2003 的接口,屏蔽了异构数据源访问差异,简化应用程序开发提高点,极大的提升了开发效率。然后就是一个高性能提供百毫秒级的一个分析能力。2.3 融合分析:跨DC联合查询,更强的数据分析能力第三个场景就是跨 DC 的融合关联分析。之前的话都是一个手动处理的一个模式,然后它是 T +1 的一个数据分析能力。然后通过openLooKeng的 DC connect 我们可以实现的一个 T +0 的实时的共享分析能力。那比如说他当前的新的一个业务痛点就是数据量膨胀,导致数据分级分散,存储各省二十一个地市 3000 多的数据源,每天接入的数据总量大于 200 TB ,分析目标人群,分析业务跨域分析效率低。通常的话我们是需要把数据手动的导入到需要访问它的一个DC 里面去通openLooKeng的 DC connect ,无需人工的去搬运数据,然后同时通过openLooKeng DC connect 提供的比如说算子下断点续传以及数据压缩并行传输等特点来提升跨域的一个访问能力,把之前的从天级别的分析速度提高到分钟级的一个分析能力。2.4 融合分析:一份数据,节约存储成本以前有一个典型的流程就是生产数据经,首先是流到 Hive 或者是流到其他系统,然后再流到一个专题的数据库里面。比如说 Oracle 、mppdb这种的话,一个典型的特征就是 ETL 流程长,数据重复搬迁,一致性差。同时有个很大的业务痛点就是提拉高了建设成本。然后通过openLooKeng引擎我们也看到就是数据只需要录到一个数据源中,然后通过openLooKeng的跨源跨域的分析能力,这样的话数据在数据源中只会存在一部分,也存在一份数据,减少了 ETL 过程和不必要的数据的搬迁。3. openLooKeng架构解析和关键特性下面一张图就是显示了openLooKeng的一个典型的架构。首先openLooKeng是一个典型的mppdb 的结构。你它是由 coordinator 和 worker 组成的, coordinator 是负责接收应用层来的 SQL 然后经过他的执行优化再通过他的调度把任务调度到 worker 上去执行。同时每个 worker 是负责整个 SQL 的一部分的数据。然后底层的数据源通过 data connect framework 的方式接入到数据源里面来。然后 data connect framework 提供了两个很重要的接口。一个就是分片的机制就是你要告诉 connector 数据语是怎么分片的,从而实现了一个就是分布式并行处理的一个能力。第二个就是告诉我数据是怎么读取的。其实 connector 就是要告诉引擎就数据是怎么分片的。第二个就是数据是怎么从你的数据源里面读取的。比如说我拿一个很简单的例子,拿 Hive 举例的话,就是它首先会告它的 support manager 就是我们的分片的管理的一个模块,它会告诉openLooKeng引擎我的数据按照DFS block 的大小来调度它。通常一个 block 可能会比较大,可能会按照四分之一个 block 也就是 32 道或者是 60 道的单位来进行一个调度。引擎告诉 worker 在执行的时候怎么去获取这个数据。然后针对于 Hive 数据源的话,它其实就是通过访问文件的方式。首先它会从 HMS 去获取它的元数据,获取它元数据之后就知道它存储在 Hive 哪个地方。这样的话 worker 在执行的时候就会去用 three reader 去解析这个 strip ,然后 strip就解析里面的 strap,这样的话就是可以对数据进行一个分析。图中另外还显示了一个就是跨 DC 的能力。DC connector 走的是 JDBC 的方案,openLooKeng是一个典型的 MPP 架构,高可用无,单点无单点故障。因为之前 codinator 是单节点的,现在我们已经实现了 codinator 一个双活的特性。然后openLooKeng是一个向量化的存储引擎,是基于内存的流水线处理。相比于 Spark 的话,它是一个基于内存的完全的 pipeline 的一个处理引擎,这也是openLooKeng相比于 Spark 性能有提升的一个重要的原因。3.1 openLooKeng关键技术概览openLooKeng重要特征,一个就是索引。索引的会创建一个外置索引,我们提供了 create index 等命令,让用户去根据需要去创建比如说 mini max brow failed bitmap 以及 B +树这种索引。然后在数据读取的时候,我们会去用这用索引去过滤分片,同时也可以用这种索引去获取。另外一个是动态过滤。在左右表作用的时候,通过把右表的列建立一个 felt 去过滤左表的数据,这种效果其实特别的明显。3.2 高性能:对标PrestoSql*,源自开源,领先开源openLooKeng引擎相对与其他引擎的一个性能的优势,对标的是 PrestoSql,源自开源,领先开源。我们当前是用的是十一个节点,每个节点是有238 G 的内存,CPU 的特征列在上面,大家可以仔细看一下,然后测试的数据集是 10 TB 的。我们首先我们可以看一下整体的耗时。 openLooKeng 是用了大概 11,000 多。然后是然后 PrestoSq 347 是用了将近24,00。也就说openLooKeng 1.2 相对于 PrestoSql 347提高了52%,其中有 76% 的 SQL 用时使用率是低于 PrestoSql 347的。可以看到一些典型的,就有有一些 SQL 是体现的很明显的。3.3 高性能:对标impala*,性能领先第二个就是对标impala,可以看到它整个的环境还是和之前一样。是十一个节点,内存稍微小一点,数据量是2 TB。首先看一下它的整个的延时openLooKeng 大概在 1400 秒,然后impala是在 2100 多秒。openLooKeng 是对 tpc-ds 是 100% 的支持的,impala它仅仅是支持了78%,它有一些算子是不支持的。3.4 高性能:对标spark 2.3.2再看一下对标 Spark2.3.2,是同一个数据集群,然后测试数据集是 1 TB。openLooKeng 的用时大概是 1600 秒,然后 Spark 用时大概是在 4700s。其实相对于 Spark 的话openLooKeng 相当于有两倍的性能提升,其实这个性能提升还是很好理解的,因为本身 Spark 它是一个基于 stage ,然后每个 stage要等待上一个 stage 所有的 task 执行完。3.5 OmniRuntime: the Foundation for High-Performance Data AnalyticsopenLooKeng当前正在做的一些优化,runtime 就是现在针对于所有引擎就是做一个 CA comment big data ,简单来说就是一个 native 的 code 键的一个执行环境,用于减少CPU 指令。看到整体的之前的话,相对于之前的话我们有优势的话就是之前PrestoSql spark Hive它都自己在做这种 local optimization ,然后我们的目标是实现一个统一的,就是可以供所有人应用的一个 big data 的 runtime 。3.6 OmniRuntime:Analytics Operator Ecosystem OmniRruntime 主要也就是包含有四个部分,然后一个就是Omni flex ,第二个部分就是 Omni operator ,第三个部分就是Omnicache ,然后第四部分是Omni change,在这里主要是介绍一下Omni vector 还有 Omni operator ,Omni vector就是在内存中的一个数据存储格式,就是数据在内存中是怎么表示的。Omni operator就是我们用 C++重新写了一个算子。Omni cache 现在还正在设计,omni change 是一个兼容 RDMA 和 TCP 的一个传输传输方式。3.7 OmniRuntime: Performance Evaluation首先是从 operator 级别,然后是端到端的一个性能提升,可以看得出来就是在算子级别,OmniRuntime:提升的还是特别的明显的。举个例子,就是 filter hash X 其他都是有数倍的提升,最大的提升可能有 10 倍,但是单个算子在整个的 SQL 中的占比会比较少。比如说整个 SQL 中 hash贡献只占了20%,那最多也就是提升 20% 。我们可以看一下单个就是针对于端到端的一个性能提升, tbch 的Q1,可以看在一并发和四并发以及十发的时候,它大概都有 30% 左右的一个提升。3.8大数据OmniData算子下面介绍是OmniData数据计算,就是比如说我们现在要做一个数据分析,通常我要去分析一个表,然后通常我们会带那种过滤条件,然后我从下拿 8 亿行的数据,然后通过OmniData推到数据存储端去计算。、原理就是一个 NTP 的数据计算的一个原理,就把数据的把算子把能够推的算子推到进数据端去执行。然后我们可以看到它最终上来的数据只有 78.7 万行,然后执行时间从之前的 3800 多秒下降到了 2084 秒,这个是在我司的一个真实的案例。ominta 本身的一个目的就是把算子以及它的加解密以及它的解压缩这些算子推到存储团存,推到存储的 CPU 或者是 DPU 上去。因为现在 DPU 也其实一个很火的概念,大家很多公司都在做,然后就是把用多就是用多出来的算力减少,从而减少那个 C 现在以 CPU 为 CPU sentry 的那种结构模式,架构模式 of 缓解 CPA 的压力,本身 DPU 上可能还会带有那种解压缩或者是加解密的引擎,从而我们是应用上硬件的能力来加速整个 SQL 的执行。这样的话我们可以看出在右图我们可以看出是以它的一个整体的架构。我在这里画的是一个纯算分离的场景,就是在 open log 它是由 coinator 就是这个框和 worker 这两个组件组成,然后存储端是 HDFS 集群。然后我们可以看的就是我们红色的部分代表我们的一个修改我们增加了一个 omindata server 这个 omedata server 其实就是用来管做算子下推的。然后同时我们会在执行计划层做一些修改。因为我们现在的需要把算子下推到 admin data sever 里面去。所以我们在执行计划优化的时候会去识别哪些算子能够适合下推。比如说我们会根据算子的选择率,把算子选择率就是把算子最终的选择选,把算子选择率低的推到面对实验我去。比如说之前我这个表是 100 万行,我过滤之后只有 1 万行,我那这个这个选择这这种选择率就特别适合推送到 G 数据端去执行的。3.9 OminData架构设计OminData本身的一个目的就是把算子以及它的加解密以及它的解压缩这些算子推到存储的 CPU 或者是DPU 上去。从而减少现在以 CPU 为 结构的模式,本身 DPU 上可能还会带有那种解压缩或者是加解密的引擎,从而我们是应用上硬件的能力来加速整个 SQL 的执行。这部分已经产品化了,然后在鲲鹏的 support 网站上已经发布了。一个很简单的总结就是openLooKeng下推项目前就是一个同时支持 Spark Hive 组件下推 来缓解 CPU 压力,实现净数据计算,减少数无效数据在网络上传输,从而提升整个大数据。3.10 OmniData: Performance Evaluation接下来我们可以看一下就是OmniData性能,左侧是openLooKeng引擎,右侧是 Spark 引擎,然后这个是在 实际业务上测出来的。我们可以看出整体上提升的效果还是挺明显。无论是 Spark 引擎还是openLooKeng引擎。接下来是在实际的业务中一个性能测试,性能是归一化的。3.11 openLooKeng的四大优势总结一下就是 openLooKeng有四大优势,一个就是融合风险,就是跨源,还有一个就是跨域。然后第三个就是一份数据,而第二个部分就是高性能。通过我们新增的一些特性,比如说动态过滤、启发式索引算子下推聚合 cte 等特性,从而提升 SQL 查询端到端的时延大概提升两到十倍。第三个部分就是南北向生态向北向统提供一个统一的访问层,就是 SQL 阶段 SQL 2003 的一个语法。然后向南向提供了一个 connect framework 可以实现解数据的快速接入。第四部分就是企业级的特性,就包括 autoscanning ,autoscanning 就是 worker 的动态伸缩,我们会根据 worker 的繁忙程度来动拓来动态的升增加或者减少。然后第二部分就是 coordinator 的 AA 就是实现了 coordinator 的双活,任一个 connect都可以接受任务,下发任务到 worker ,然后第三个就是 task level 的 recover 就是任务级别的恢复。然后第四个就是资源隔离,3.12 高可用:坚如磐石般的“数据库”体验openLooKeng在故障域的处理主要是分为三部分,一个是 query 级别的资源控制。就是可以对单条 query 的使用的资源进行一个控制。第二个就是集群资源弹性伸缩,,因为openLooKeng 的 worker 是一个无状态的,可以实现按需的动态扩动态的扩展或者是收缩,第三部分就是自动化的处理节点故障,然后节点故障是业务感知的。4. openLooKeng开源策略及伙伴帮助计划接下来给大家介绍的是 openLooKeng一个开源的策略以及伙伴帮助计划。4.1 openLooKeng社区与Presto社区关系openLooKeng和 Presto社区的一个关系是同针对一些大颗粒的特性会同步过来。同时会做一个能力的提升。我们是基于开源,然后就是超越开源,就是从基线版本会做一些很多的性能提升,实现能力的增强。同时如果有新的大颗粒的出现,我们会把社区的大颗粒特性根据需要。比如这个需求这个特性是很有必要的,我们会移植过来。然后第二部分就是其实也可以看到是社区也在应用openLooKeng的一些新的特性。而第三就是和合作伙伴实现一个合作共赢的一个目的。然后开源的一个策略就是持续使能伙伴共建大数据繁荣生态,第一个方面就是代码开源,合作开发,解决商业利益冲突,让合作伙伴放心使用。当前我们太原都是开发开放在那个 DT 上面,任何都可以去下载或者是通过 TPR 的方式给社区提做出贡献。第三部分是拥抱标准,统一接口,降低被集成的难度。openLooKeng提供了一个 SQL 2003 的一个接口,就是估计大家使用 SQL 比较简单,然后大家都习惯于使用 SQL 来进行一个数据分析。然后第二部分就是全场景的能力。第三个就是全场景能力的一个保证,逐步补齐查询场景,第四部分就是友好对接现有生态。比如说现现有生现有的数据源中,我可以对它实现一个灵活的访问。+总结就是代码开源,易于集成技术支持,帮助合作伙伴大数据解决方案,提升提升伙伴的大数据竞争力。4.2 ISV对接模式然后我们可以看一下 SV 的三个对接方式。第一种是自研的大数据平台,这种方式的话就是需要手动的去集成 OPPO 跟这样的话需要的 SV 能力状态的要求能力,能力的要求状态会比较高,它需要自行的去集成openLooKeng引擎,当然我们一定会给予基础知识。然后第二步就是基于现有的免费大数据平台,比如说 CDH 去集成openLooKeng引擎这个的相对来说就会相对来说比较简单一点,因为它本首先它的底层的组件都是一个开源的通过开源的组件构建出来的。然后本身openLooKeng也是开源的,然后底层的组件也都是基开源的。第三个就是商业发行版,比如说华为公司与平台 ISV 合作,辐射对应行业ISV ,这三种模式我们都会提供比较大提供很大的技术支持。华为测试会持续投入openLooKeng社区,使能数据伙伴,同时会在高校或是线下展开一系列的活动,让大家去更好的去了解openLooKeng。5. 总结本文介绍的openLooKeng是一种"开箱即用"的引擎,支持在任何地点(包括地理上的远程数据源)对任何数据进行原位分析。它通过SQL 2003接口提供了所有数据的全局视图。openLooKeng具有高可用性、自动伸缩、内置缓存和索引支持,为企业工作负载提供了所需的可靠性。openLooKeng用于支持数据探索、即席查询和批处理,具有100+毫秒至分钟级的近实时时延,而无需移动数据。openLooKeng还支持层次化部署,使地理上远程的openLooKeng集群能够参与相同的查询。利用其跨区域查询计划优化能力,涉及远程数据的查询可以达到接近“本地”的性能。本文参与华为云社区【内容共创】活动第17期。https://bbs.huaweicloud.com/blogs/358780 任务15:openLooKeng,一款面向海量、跨DC的大数据分析利器
  • [问题求助] 【MRS产品】如何从开源大数据平台切换MRS大数据平台
    1、应用系统本身有大数据平台,是基于开源组件搭建的,现在要适配MRS安全集群,打算将原有大数据平台与应用先行解耦,再在MRS上进行组件适配,不知道此思路是否正确?2、安全集群内MRS内的组件需要做安全认证,但MRS内的组件并不能满足所有业务需求,还需要部署开源组件,开源组件涉及到调度MRS内的组件,请问这种情况是否需要做安全认证?
  • [技术干货] 立足国产数据库重大需求,探索课程体系建设新模式
    专访对象:杜小勇。中国人民大学二级教授、博士生导师。现任中国人民大学校长助理、理工学科建设处处长、明理书院院长、数据工程与知识工程教育部重点实验室主任,数据库课程虚拟教研室和“101计划”数据库系统课程虚拟教研室负责人,CCF大数据专家委员会主任,国家重点研发计划项目首席科学家。数据库是信息系统的基础和核心,国产数据库实现自主可控、自主创新已成为信息产业的发展战略重点,人才需求逐年递增,人才培养迫在眉睫。  为贯彻落实“十四五”教育发展规划有关部署,助力高质量创新型人才培养,2022年2月,教育部公布首批虚拟教研室建设试点名单,数据库课程虚拟教研室榜上有名。该项目旨在探索数据库课程教研改革与人才培养的新模式、新路径,是首批15个教育部—华为“智能基座”课程虚拟教研室试点之一。  虚拟教研室作为数字时代新型教学研究的组织形式,备受各方关注。聚焦数据库领域,虚拟教研室建设能否助力数据库人才培养问题的解决?虚拟教研室该如何建设运行?如何创建面向产业需求的人才培养新范式?近日,中国教育在线专访了数据库课程虚拟教研室牵头人杜小勇教授,深入了解数据库课程虚拟教研室的建设思路和社会价值。  指向数据思维,高校数据库人才培养模式亟待改进  数据库是计算机软件皇冠上的明珠,在数字经济时代,小到一个企业,大到一个国家,都离不开数据库。杜小勇介绍说:“国内数据库产业发展非常迅速,目前做国产数据库的企业已经有200多家,像华为这样的头部企业,已经都有了自己的数据库产品。”国产数据库厂商迎来了弯道超车的机会,而如何更好地培养数据库人才,提升数据库行业竞争力,则成为迫在眉睫的事。  杜小勇指出:“数据库是一门非常传统的学科,在我们国家最早的计算机专业培养方案里,数据库就是7门核心课程之一。随着新技术地不断涌现,人才需求不断变化。而且,在大数据时代,数据库已经从一种工具演变成一种思维——数据思维。但传统数据库课程既满足不了企业对数据库内核研发人才的需求,也不能让学生感受到数据思维的作用。”在数据库课程教学上,高校作为人才培养的第一阵地,面临着理论课程内容依赖国外或开源数据库、教学案例与生动的应用实际脱节、缺少基于国产数据库的操作实践学习等痛点,高校数据库人才培养模式亟待改进。  探索共建共享新机制,为人才培养提供新动能  2021年7月,《教育部高等教育司关于开展虚拟教研室试点建设工作的通知》发布。以此为契机,数据库课程虚拟教研室启动。该虚拟教研室由中国人民大学牵头,发起单位包括清华大学、东北大学、山东大学、华为等各层次各区域高校和企业。截止目前,数据库课程虚拟教研室共有106家成员单位。  在运行模式上,虚拟教研室以立德树人为根本任务,以提高人才培养能力为核心,以CMOOC 联盟数据库课程工作组、教育部-华为“智能基座”联合工作组以及获批的国家级线上一流本科课程、国家级线下一流本科课程、国家级线上线下混合一流本科课程为依托,在前期建设的数据库课程“跨校协作组”和教育部-华为“智能基座”项目基础上,进一步按照开源软件社区的模式进行共建与共享,系统化开展数据库类课程的教学研究和建设,深化课程教学内容、教学方法、教学资源、教学评价等方面建设,为高等教育高质量发展提供有力支撑。  在运行机制上,数据库虚拟教研室以“开放、奉献、竞争、有序”为指导思想,崇尚“人人为我、我为人人”的志愿者精神,强调成果贡献,淡化身份标签,采用民主决策制度,遵循“木兰”协议共享成果,以开源社区的方式运行。“数据库虚拟教研室是架构在互联网之上的面向全国的跨校的组织,没有经费支持,所以我们一定要强调开放、奉献。而组织里面引入竞争机制,也能让那些想干事、能干事、干成事的老师逐渐显露出来。不过教研室毕竟是一个组织,我们要在制度上让它有序运行。为此,虚拟教研室发起单位共同组建了委员会,作为最高决策机构进行民主决策。”杜小勇解释说。  在国产数据库实现自主可控、自主创新成为信息产业发展战略重点的背景下,虚拟教研室的推出及其跨校协作、校企合作的实践探索将极大提升高校人才培养的效果,为专业人才培养工作的实施提供了新动能。  校企协同,为虚拟教研室建设提供有力支撑  数据库作为关键基础软件,是我国面临的35项需要重点突破的技术之一,国产数据库行业内核技术开发人才缺口很大。针对国产数据库人才的宏观需求、高新技术对数据库类课程群建设的全新挑战以及高校实践教学的设计痛点,杜小勇带领的数据库课程虚拟教研室还着力探索推动高校与产业界的全方位合作。杜小勇表示:“无论是数据库内核开发人才的培养,还是大数据应用人才的培养,单靠高校的师资和资源,我们深感力不从心,在这种情况下,校企合作显得特别重要。”  据介绍,数据库课程虚拟教研室以产业发展的新需求、新成果为导向,与国产数据库头部企业产教融合,加深与华为公司在创新人才培养模式、促进师生发展、改进数据库课程教学设置等方面的合作,探索课程体系建设新模式,建设合作共享的优质教研资源,全面提高国产数据库创新人才培养水平。杜小勇提到:“我们希望有更多的高校学生实践能够在国产数据库上开展,在学生一代就解决那些先入为主的国产数据库不行的观念。校企还可以联合办竞赛,通过开源的方式把同学们的兴趣吸引到数据库系统的开发和发展上来。”  针对数据库的未来发展以及人才的培养,杜小勇表示:“数据库人才培养的方向要从过去的数据库使用者变为适应新时代新需求的数据库内核开发者,同时让学生感受数据思维,实现大数据的多样性应用。我相信校企合作在虚拟教研室里大有可为。”  对于国产数据库而言,未来的竞争本质就是人才的竞争。在新型智能时代,课程体系建设的新模式离不开产学研用,校企协同,产业聚集人才,为高校人才提供动能,人才同时也将更好地引领产业发展。理论应用到教学实践,数据库课程虚拟教研室的建设也将为其他高校培养创新型人才提供示范和借鉴意义。共创新、共发展,才能共建坚实的数字世界底座。来源:中国教育在线
  • [行业资讯] 遥感监测、物联网、云计算……浙江大运河世界文化遗产监测系统全面上线,现代科技守护“千年文脉”
    一水连南北,文脉贯古今。“中国大运河”成功列入《世界遗产名录》已然八载,这个活着的世界文化遗产,在悠悠岁月中承载着古今文化的传扬,吟诵着江南韵味的篇章。今天上午,“同一条运河:千年运河情,百年共富梦”第二届浙江大运河世界文化遗产宣传周活动在湖州市南浔区大运河畔启幕。作为大运河诗路的人文荟萃地,南浔区拥有大运河和桑基鱼塘两大世界级文化遗产。当下,一场运河古镇集群文化复兴行动正在南浔区展开,以打造“活态的文化,活着的古镇”为目标,南浔区整合南浔古镇、练市古镇、双林古镇、菱湖古镇、善琏古镇、荻港古镇6个古镇资源,打造世界级运河文化集中展示地、长三角水乡旅游首选地、新时代文化润富新高地。一部《条例》守护运河千年文脉的“浙江经验”大运河浙江段列入《世界遗产名录》的共有5段河道,长327公里,流经5个设区市,遗产点13个,涉及遗产区26.58平方公里,缓冲区103.59平方公里。这一流淌的、动态的世界遗产如何保护?2020年9月24日,《浙江省大运河世界文化遗产保护条例》经浙江省十三届人大常委会第十四次会议审议通过,于2021年1月1日起正式施行。这也是国内第一部关于大运河世界文化遗产保护的省级地方性立法,为有效保护大运河提供了法治支撑。《条例》施行一年多来,浙江省坚持“保护优先、活态传承、合理利用”的原则,努力保护好、传承好、利用好大运河这一祖先留给我们的宝贵遗产。对大运河遗产区、缓冲区外核心监控区的开发利用实行负面清单管理制度,实现了文化遗产保护、生态环境提升以及国土空间管控的统筹协调,推动了大运河文化带和大运河国家文化公园建设。截至目前,浙江已实施大运河岸线保护整治工程项目1240个、投入资金41.53亿元,接待人次5105.9万人。浙江省文化和旅游厅党组成员、省文物局局长杨建武说,大运河保护是无尚荣光,也是千钧重担,在社会经济快速发展的背景下,规模巨大的大运河遗产面临的保护压力是显而易见的,要认真贯彻落实好《浙江省大运河世界文化遗产保护条例》,搭建一个全社会知法守法护法的常态化普法传播平台,推动形成全社会共抓大保护的格局。一个“窗口”五地联动共同勾勒运河沿岸动人图景随着《浙江省大运河世界文化遗产保护条例》的施行,浙江省大运河沿线城市党委政府以及相关省级部门紧紧围绕打造“重要窗口”,全力推进大运河遗产保护及文化传承各项工作。大运河不断焕发新的生机与活力,同时也推动着文化的传播、历史的传承,推动着人们走向无限向往的远方。动仪式上,保护运河仍是核心话题。杭州、宁波、湖州、嘉兴、绍兴五座运河沿线城市视频连线,共同讲述大运河的遗产价值以及沿线民众参与大运河保护、与大运河交融共生的动人故事。积极回应了大运河保护是历史文化,也是当代生活。只有当大运河文化遗产保护、特色地域文化传承展示与生态环境提升、文旅融合发展以及沿岸民生改善统一起来,大运河才能成为两岸人民的致富河、幸福河。一套系统构建大运河数字化监测和保护体系据了解,《浙江省大运河世界文化遗产保护条例》明确,县级以上人民政府应当建立健全大运河遗产综合保护协调机制,根据需要明确或者设立监测专业机构。去年浙江省首届大运河世界文化遗产宣传周期间,由浙江省世界文化遗产监测中心联合杭州、宁波、嘉兴、湖州、绍兴五地共同成立了“浙江省大运河世界文化遗产监测联盟”。在今年的宣传周活动现场,“浙江省大运河世界文化遗产监测系统”全面建成并正式上线运行。该系统综合运用地理信息、遥感监测、物联网、云计算等技术实现一个界面纵览(浙江段)世界文化遗产基础数据,横向协同自然资源、生态环境、交通水利等多部门数据,并贯通国家、省、市、县四级管理体系,以数字化改革赋能世界遗产保护,将有助于全面提升大运河(浙江段)保护管理能力和水平治理能力。本次宣传周活动谋划了古城复兴计划启动、杭甬城市对话等系列精彩活动,深入挖掘运河文化价值,开展群众喜闻乐见、参与体验性强的运河民俗活动,集中呈现大运河浙江段世界文化遗产的动人魅力,进一步凝聚全社会合力,共同守护同一条运河,同一个梦想。
  • [积分闯关赛] 【GDE直播公开课·第八期】大数据开发和DataFactory 观后感+nukinsan
     直播链接:https://bbs.huaweicloud.com/forum/thread-187465-1-1.html    观后感:DataFactory是一种快速的,易於产生测试数据的带有直觉用户介面的工具。它能建模复杂数据关系。在当今快速的开发环境中,应用程式的测试总是处於次要地位。DataFactory是一种强大的数据产生器,它允许开发人员和QA很容易产生百万行有意义的正确的测试数据库,该工具支持DB2、Oracle、Sybase、SQL Server数据库,支持ODBC连接方式,无法直接使用MySQL数据库。 DataFactory 首先读取一个数据库方案,用户随后点击滑鼠产生一个数据库。Big Data—大数据,一种无法在一定时间内用常规工具进行捕捉、管理和处理的数据集合。大数据开发其实可以分为两类,第一类是编写一些Hadopp、Spark的应用程序;第二类是对大数据处理系统本身进行开发。大数据处理技术需要建立一个数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。数据仓库是由数据库搭建而来的,因此在此部分需要学习SQL语句、MySQL数据库、大数据技术处理中所需要用到的数据库以及数据仓库工具。
  • [积分闯关赛] 【GDE直播公开课·第八期】大数据开发和DataFactory 观后感+nukinsan
     直播链接:https://bbs.huaweicloud.com/forum/thread-187465-1-1.html    观后感:DataFactory是一种快速的,易於产生测试数据的带有直觉用户介面的工具。它能建模复杂数据关系。在当今快速的开发环境中,应用程式的测试总是处於次要地位。DataFactory是一种强大的数据产生器,它允许开发人员和QA很容易产生百万行有意义的正确的测试数据库,该工具支持DB2、Oracle、Sybase、SQL Server数据库,支持ODBC连接方式,无法直接使用MySQL数据库。 DataFactory 首先读取一个数据库方案,用户随后点击滑鼠产生一个数据库。Big Data—大数据,一种无法在一定时间内用常规工具进行捕捉、管理和处理的数据集合。大数据开发其实可以分为两类,第一类是编写一些Hadopp、Spark的应用程序;第二类是对大数据处理系统本身进行开发。大数据处理技术需要建立一个数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。数据仓库是由数据库搭建而来的,因此在此部分需要学习SQL语句、MySQL数据库、大数据技术处理中所需要用到的数据库以及数据仓库工具。
  • [行业资讯] 机器视觉让小明不用再找次品
    最近居家办公时侄子一道小学数学题把我问倒了,题目是这样的:小明寒假去姑姑工厂帮忙,姑姑让他在60个零件中找出一个不合格的工业品,这个次品其它的工业品轻一些,问小明如果用天平称的方法去找,至少称多少次才能保证找到这个次品。相信绝大多数读者也做不出来,我也一样,但在侄子心中无所不能的我怎么可能承认自己做不出来,于是我心生一计,决定用高科技来引起侄子的好奇,顺便掩盖我不会这道题的事实:你知道吗阳阳,只要我在工厂流水线上安装上一个特制的摄像头,扫描每一个经过的工业品,那么我甚至不用多花时间精力去称重,就能准确找出每一个残次品,这种技术叫做机器视觉。侄子果然被镇住了,向我投来好奇又炙热的目光,完全忘记了他还有多少作业没写,于是我趁热打铁,向他介绍起了机器视觉。机器视觉:比人眼看得更快更准更细机器视觉系统是指通过图像摄取装置(分 CMOS 和CCD两种)将被摄取目标转换成图像信号,传送给专用的图像处理系统,系统再根据目标的像素分布和亮度、颜色等信息,转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征,如面积、粗细、接驳位置、长度,再根据预设的允许度和其他条件输出结果,包括尺寸、数量、合格与否等,最后根据判别的结果来控制现场设备执行的动作,如不满足条件的目标会马上发出警报,引导机械手臂去准确地抓取,整个过程非常迅速,基本不影响原本生产的速度。机器视觉的过程由上面过程可以看出,机器视觉系统可以提高生产的自动化程度,大大减少次品率与检查产品的时间。在大批量工业生产过程中,用人工视觉检查产品质量效率低且精度不高,如题中少年小明,且不说他是否能准确检查出每一个次品,就算他做到了,他怎样从1700个产品中挑出所有有问题的产品?要花费多少时间和精力?而只要用上了机器视觉产品,有问题的产品经过时马上发出警报查出,这样生产出的产品次品率就会非常的低或为0。另外,在某些微小或要求高精度的产品中,人眼根本无法察觉出细小的差别,而机器视觉就能做到,有些可达到精度0.01mm甚至μm级。因此,在现代自动化生产过程中,人们将机器视觉系统广泛地用于成品检验和质量控制等领域。小编调研时所拍的机器视觉产品机器视觉的前景中国是工业大国,机器视觉行业的下游就是工业,随着中国工业化进程不断加快,中国机器视觉行业也迎来蓬勃发展。据统计,机器视觉应用领域由集中在电子、消费电子、平板显示领域逐步拓展至包装、食品/药品等众多行业,分布情况如下:而根据GGII预测,到2023年中国机器视觉市场规模将达到156亿元,2020-2023年复合增长率达到25.46%左右。结合中国机器视觉市场规模在全球中的占比进行测算,预计到2026年我国机器视觉市场规模将突破200亿元。写在最后事实上,机器视觉不仅使广大中小学生和厂家免受次品困扰,而且它能提高厂家声誉。举个例子,其它条件相同的一批产品,如果采用了机器视觉产品的甲工厂给到客户手上的一件次品也没有,而乙工厂就算已经将次品率控制得很低,但终究还是有次品存在,如果恰好这个次品给到了关键客户手上,你觉得客户下次会选甲厂还是乙厂?因此,机器视觉会在中国的高端制造竞争中发挥越来越重要的作用。“舅舅,所以小明称多少次才能保证找到这个次品?”......
  • [积分闯关赛] 【GDE直播公开课·第八期】大数据开发和DataFactory观后感+y-wolfandy
    直播链接:https://bbs.huaweicloud.com/forum/thread-187465-1-1.html    观后感:DataFactory是一个全场景、一站式的开发平台,其流程为数据接入->数据建模-> 数据探索->在线调测->数据开发->打包发布->CI/CD->调度执行->数据呈现->数据运维->数据运营。其具备一下一下三大特征:全场景数据编排涵盖数据采集、建模、治理、计算、智能分析、存储、策略、呈现端到端能力。低门槛开发模式以no code/low code 拖拽开发为主,pro code开发为辅,使能业务人员,普惠数据敏捷开发。释放业务开发人员经理,使得业务人员更专注自身业务。资产原生(Asset Native)编排资产由研领域特定语言DPL承载,屏蔽具体引起技术栈,可长期沉淀数据资产,长期复用和分发。DataFactory的上下文DataFactory处于DataCube的统一大数据处理引擎编排体验,实现数据中台能力开放,打造具备高易用性、低门槛、生态开放、可扩展的大数据处理核心的数据编排框架,具备兼容收纳SEP、Universe存量业务资产能力,打通数据编排和通用作业编排APP和模型断点。数据编排DataFactory 为用户提用根据自身业务来使用DataCube的众多能力,流程调用->流程编排,服务调用->通用作业编排,X统一入口:入口、检索、开发流水线、打包、部署:GDE场景化编排。
  • [交流分享] 【悦识鲲鹏系列 第50期】鲲鹏BoostKit大数据图分析算法——让数据处理更快、更简单
    了解鲲鹏BoostKit大数据图分析算法,更多详情可参见鲲鹏文档中心:https://www.hikunpeng.com/document/detail/zh/kunpengbds/appAccelFeatures/algorithmaccelf_ga
  • [行业资讯] 大数据的“基石”——传感器的分类以及其头部企业
    随着信息科技的发展,有一种东西的重要性越来越凸显出来,那就是传感器。因为无论是“大数据”、“人工智能”,还是“物联网”,其最重要的“基石”就是它。什么是传感器?就是能够把力、温度、光、声、化学成分等能感受到被测量的信息,按一定规律变换成为电信号或其他所需形式的信息输出,以满足信息的传输、处理、存储、显示、记录和控制等要求。力学传感器力学传感器:能感受力学量并转换成可用输出信号的传感器。头部企业:柯力传感——成立于1995年,是目前全球称重领域物联网研发与推广应用的主要引领者之一,也是中国重要的称重元件制造及销售企业之一和工业物联网产业开拓者之一。主要研制和生产各类物理量传感器、提供专业的物联网软件定制服务,建有“称重设备数据中心”、物联网实验中心及26个实验室。惯性传感器:检测和测量加速度、倾斜、冲击、振动、旋转和多自由度(DoF)运动,是解决导航、定向和运动载体控制的重要部件。头部企业:意法半导体——于1987年成立,是由意大利的SGS微电子公司和法国Thomson半导体公司合并而成。有8,100名研发人员,并拥有13个制造基地横跨整个半导体供应链,是世界最大的半导体公司之一。热学传感器:能感受热学量并转换成可用输出信号的传感器。头部企业:高德红外——创立于1999年,是专业从事红外探测器芯片、红外热成像产品、综合光电系统及完整武器系统科研生产的民营上市公司。已建成全球唯一覆盖从底层红外核心器件到十几个分系统直至顶层完整武器系统全产业链的军民两用产品研制基地。声学传感器声学传感器:主要是检测声音包括超声波传感器和声压传感器。头部企业:歌尔微电子——成立于2017年10月,是一家以MEMS器件及微系统模组研发、生产与销售为主的半导体公司,业务涵盖芯片设计、产品开发、封装测试和系统应用等产业链关键环节。公司主要产品包括MEMS传感器和微系统模组,广泛应用于智能手机、智能无线耳机、平板电脑、智能可穿戴设备和智能家居等消费电子领域及汽车电子等领域。光学传感器光学传感器:主要检测光信息,包括光传感器和CMOS图像传感器。头部企业:韦尔股份——是全球排名前列的中国半导体设计公司。研发中心与业务网络遍布全球,年出货量超过123亿颗。其传感器在手机、安防、汽车电子、可穿戴设备,IoT,通信、计算机、消费电子、工业、医疗等领域都有应用。气体传感器:主要检测各种气体,包括光学气体传感器、半导体气体传感器和电化学气体传感器。头部企业:汉威科技——成立于1998年9月,主要从事传感器,智能仪器仪表,物联网综合解决方案三大业务,在传感器领域深耕二十余年,产品线布局全面,传感器占全市场品类的 70%,拥有 200 多款传感器,监测300余种气体。目前已经建立起以传感器为核心,覆盖多种物联网应用场景,提供优质和完善的整体解决方案
  • [积分闯关赛] 【GDE直播公开课·第八期】大数据开发和DataFactory 观后感 hash_7
        直播链接:https://bbs.huaweicloud.com/forum/thread-187465-1-1.html    观后感:
  • [行业资讯] 江苏大丰经济开发区&前海翼联,政企携手助力5G物联网产业升级发展
    随着5G技术、大数据及人工智能的快速发展,万物智慧互联将成为智慧交通、智慧穿戴、智慧医疗、智慧城市、智慧农业、智能家居等新兴产业的核心基础。而5G物联网技术日益完善以及庞大的市场需求,正在为物联网产业发展提供巨大的空间和机遇。6月1日,江苏大丰人民政府区委副书记 区政府区长戴勇先生率代表团莅临深圳前海翼联科技有限公司考察 ,与前海翼联就大丰经济开发区5G物联网产业发展进行了深入的交流和探讨,并共同签署了“5G物联智能终端项目”战略合作协议。前海翼联是集芯片研发、物联网、大数据平台、智能硬件设计制造和营销为一体的创新型物联网高新企业,计划投资20亿元在丰建设5G物联智能终端项目。江苏大丰人民政府区委副书记 区政府区长戴勇先生、区委常委 副区长房其勇、开发区党工委书记仇兆华、区政协副主席沈旭峰、北方青鸟董事长施马文斌共同出席了本次会议,并见证了签约仪式。本次合作是双方经过多次实地考察和深入探讨的双赢结果,双方将深化5G物联智能终端产业合作,共同助力大丰经济开发区5G物联网产业经济快速发展。会前,前海翼联集团总裁李晓杰对嘉宾们的到来表示了热烈欢迎,并共同参观了前海翼联开放性综合办公室、现代化生产车间和研发基地,代表团对前海翼联的研发生产技术给予了充分的肯定,并进行了深入交流。会上,江苏大丰人民政府区委副书记 区政府区长戴勇指出,伴随着5G、人工智能、大数据等技术的创新发展,5G 规模化应用已提档加速。2022年3月,江苏省印发了《5G应用“领行”行动计划》,大丰经济开发区将积极响应省政府5G战略计划,以5G物联网产业作为新一轮发展的核心引擎。此次与前海翼联达成战略合作,是政企增进友谊互信的成果,希望双方以此为契机加强交流,不断拓宽合作领域,共同构建5G生态产业链。前海翼联集团总裁李晓杰向代表团嘉宾们介绍了集团公司,并针对5G物联智能终端项目落地做了详细介绍:前海翼联深耕于物联网智能软硬件研发已有十余年,我们将充分利用多年的研发技术成果和落地经验,在智慧交通、智慧安防、智慧城市、智慧医疗等领域赋能大丰经济开发区,以江苏省5G物联网战略计划为指导方向,全力整合全国上下游优质资源,拓宽合作渠道,提高研产技术投入,协同开发区经济发展规划,共同构建开发区5G物联智能终端产业园,从点到面,助力大丰经济开发区5G物联网产业链快速发展。5G物联网技术作为各行业智慧升级改造的核心驱动力,拥有着无法估量的市场前景,也为各行业经济发展提供巨大的空间和机遇。前海翼联作为行业领先的物联网智慧升级方案运营商,将充分发挥自身优势,持续推进5G物联网项目的技术创新,与大丰经济开发区共同探讨更宽广的合作领域,携手奋进开启共创佳绩的新篇章。
  • [行业资讯] 重庆将打造新一代现场级工业物联网“主干道”
    重庆日报消息,6月9日,记者从仙桃国际大数据谷获悉,国家重点研发计划“工业软件”重点专项“新一代现场级工业物联网融合组网与配置前沿技术研究”项目近日在重庆邮电大学工业互联网研究院正式启动,旨在打造工业物联网数据传输的“主干道”,让“大路小路”互联互通,为智能工厂提供重要支撑。据介绍,该项目于2021年12月获得立项,由重庆邮电大学牵头,重庆邮电大学工业互联网研究院具体实施,联合中国科学院沈阳自动化研究所、中兴通讯股份有限公司、浙江大学、北京东土科技股份有限公司、中冶赛迪重庆信息技术有限公司等单位共同承担,项目总经费达到1600万元,其中国拨经费800万元。“工业物联网跟人们常见的交通路网有相似之处,如果说我们以前通过各种协议搭建的网络是‘小路’,那么这个项目通过引入5G、时间敏感网络等新兴技术搭建的网络就是‘主干道’。”项目负责人、重邮自动化学院魏旻教授介绍,以前,现场级工业物联网协议众多、系统尺度和维度各异,网络互联互通难且传输效率低,缺乏高效的融合组网架构、灵活的配置方法及跨网确定性保障机制,难以应对工业生产中实时协同控制任务的需要,制约了智能工厂的发展。该项目启动实施后,将提出无缝信息交换架构、网络资源模型等基础理论方法,突破工业物联网互联互通、统一配置及确定性传输等关键技术,研制工业多网络融合新型网关设备等核心原型产品,并推进在各种典型场景中的应用验证,形成适配智能工厂人机料法环的新一代现场级工业物联网融合组网与配置管理前沿技术体系,为智能工厂提供技术支撑。“简单地说,我们不仅要搭建‘主干道’,还将把‘主干道’和以前的各种‘小路’连接起来,实现‘大路小路’互联互通,从而更好地满足智能工厂对工业物联网提出的融合组网、灵活管理、实时可靠传输及协同控制等需求。”他表示。重庆日报首席记者 张亦筑 实习生 冉罗楠
  • [行业资讯] 中移物联网协同江苏移动建强“5G+”能力,为乡村振兴插上“数字翅膀
    2022年4月,中央网信办等五部门印发的《2022年数字乡村发展工作要点》明确提出到2022年底,数字乡村建设取得新的更大进展。数字技术有力支撑农业基本盘更加稳固,脱贫攻坚成果进一步夯实。为推进乡村数字化治理体系不断完善,中移物联网公司聚焦OneIoT·党委领航工程,协同江苏移动持续深化信息惠民服务,帮助农民提升数字素养与技能,探索出乡村振兴新模式、新做法,打造“平安乡村”标杆示范,为农业农村现代化注智赋能,为江苏乡村振兴插上“数字翅膀”。5G+智慧平台助力农业生产加速度近年来,中移物联网协同江苏移动通过5G的深度应用,为乡村种植、养殖、农产品销售带来全新的产销方式,促进生产生活绿色转型,赋能农业农村现代化发展。广大村民拥有了更多的致富选择,日子也过得越来越兴旺。南通通州区生态种植基地,早已使用上了5G+智慧农业平台,农户可以通过移动APP、无线环境监测终端、集中控制器、传感器等5G设备实现对种植基地的实时监测、进行统计分析、预警推送、自动化控制等功能。实时采集的传感器数据与传统的种植经验相结合,可以使农户随时远程查看农田内的各种数据(温度、湿度、光照、水量),判断是否是适合作物生长的最佳条件,有效提升基地生产效率。打造平安乡村,让乡村治理更“智”理在乡村治理方面,借助移动5G网络覆盖广、穿透强的技术优势,基于“千里眼”平台打造的乡村安防一体化解决方案“平安乡村”,实现广大农村公共区域视频资源多方式接入,真正做到全域覆盖,全网共享,为外出务工村民提供远程看护服务,解决村民的后顾之忧。在连云港灌云,依托于“智慧天眼+云眼卫士”技防方案,在乡村形成“高低”搭配的立体网状视频网络,为“平安乡村”构建双重保障。村委会通过“智慧天眼”可远程查看辖区乡村的实时图像,系统保存进入村庄的人员、车辆以及乡村周边农田中的动态视频记录,方便派出所对治安案件、秸秆焚烧等不法行为早发现、早处理,保障村民生活安全稳定。村民安装“云眼卫士”视频设备,能够实时看护家中老人、儿童,随时查看房屋周围、农院的情况,出门在外更放心。同时经过授权,村委会或派出所也可以通过电脑和手机协助查看村民院内院外视频画面,从而对火灾、盗窃以及各类事故起到预警作用,盗窃案大幅减少,破坏环境、乱倒垃圾等行为也得到控制,有效改善了乡村的人居环境和治安秩序。在南京,中移物联网协同江苏移动为溧水区、江北新区、栖霞区等多个地区紧急供货77部和对讲,为各政府街道办事处提供了便捷的对讲沟通和统一调度等功能,极大改善和提升了疫情防控工作人员的服务效率。为街道管理部门在疫情防控工作中与上级管理部门互动中提供了便捷有效的沟通方式,在提高防疫管控能力和效率的同时,调度台通过实时查看位置追踪实现了防疫工作多级协同协作的高效开展。在宿迁泗阳,依托于“千里眼平安乡村”打造的农村基层防汛预报预警平台,仅需一部手机或一台电脑便能够帮助工作人员实现“云上治水”,有效提高了当地洪涝灾害监测预警预报能力和水平,最大程度地保障广大群众生命和财产安全,受到当地百姓的点赞。截至目前,“千里眼平安乡村”在江苏服务超8000个行政村,服务村民近千万,助农增产增收。后续,中移物联网将紧密围绕国家乡村振兴战略、中国移动乡村振兴工作计划,继续发挥物联网优势,支撑各级政府,将数字化带进每一个村庄,让农业成为有奔头的产业,让农民成为有吸引力的职业,让农村成为安居乐业的美丽家园。
总条数:795 到第
上滑加载中