• [问题求助] 【IOTA数据分析】【数据分析功能】数据分析只能分析出单个属性
    【功能模块】实现数据分析【操作步骤&问题现象】1、设备接入有正常的数据但是在数据分析这里看不到任何数据2、【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [技术干货] python 数据分析异常检测anomaly detection[转载]
    链接:https://bbs.huaweicloud.com/blogs/3525791 正确率检验分布使用正确率和召回率进行检验 (2.0precisionrecall)/(precision+recall)def F1(predictions,y): TP=np.sum((predictions==1)&(y==1)) FP=np.sum((predictions==1)&(y==0)) FN=np.sum((predictions==0)&(y==1)) if (TP+FP)==0: precision=0 else: precision=float(TP)/(TP+FP) if (TP+FN)==0: recall=0 else: recall=float(TP)/(TP+FN) if precision+recall==0: return 0 else: return (2.0*precision*recall)/(precision+recall)2 普通正态分布概率密度函数def gaussianModel(X): #参数估计 m,n=X.shape mu=np.mean(X,axis=0) sigma2=np.var(X,axis=0) def p(x):#x是单个样本,n*1维 total=1 for j in range(x.shape[0]): total*=np.exp(-np.power((x[j,0]-mu[0,j]),2)/(2*sigma2[0,j]))/(np.sqrt(2*np.pi*sigma2[0,j])) return total return p3 相关正态分布概率密度函数特征变量之间可能存在相关性def multivariateGaussianModel(X): #参数估计 m,n=X.shape mu=np.mean(X.T,axis=1) sigma=np.mat(np.cov(X.T)) detSigma=np.linalg.det(sigma) def p(x): x=x-mu return np.exp(-x.T*np.linalg.pinv(sigma)*x/2).A[0]*((2*np.pi)**(-n/2.0)*(detSigma**(-0.5))) return p4 模型选择于epsilon残差选择def train(X,model=gaussianModel):return model(X) #返回的是概率模型pdef selectEpsilon(XVal,yVal,p): pVal=np.mat([p(x.T) for x in XVal]).reshape(-1,1)#交叉验证集中所有样本的概率 step=(np.max(pVal)-np.min(pVal))/1000.0 bestEpsilon=0 bestF1=0 for epsilon in np.arange(np.min(pVal),np.max(pVal),step): predictions=pVal<epsilon f1=F1(predictions,yVal) if f1>bestF1: bestF1=f1 bestEpsilon=epsilon return bestEpsilon,bestF1返回残差选择值能使F1最大的值5 读取数据准备%matplotlib inlinefrom scipy.io import loadmatimport matplotlib.pyplot as plpl.rcParams[‘font.sans-serif’]=‘SimHei’ #画图正常显示中文pl.rcParams[‘axes.unicode_minus’]=False #决绝保存图像是负号‘-’显示方块的问题def loadDataset(filename): X=[] Y=[] with open(filename,'rb') as f: for idx,line in enumerate(f): line=line.decode('utf-8').strip() if not line: continue eles=line.split(',') if idx==0: numFea=len(eles) eles=list(map(float,eles))#map返回一个迭代对象 X.append(eles[:-1]) Y.append([eles[-1]]) return np.array(X),np.array(Y)#低维数据测试ori_X,ori_y=loadDataset(’./data/gender_predict.csv’)m,n=ori_X.shapeX=np.mat(ori_X[40:100])y=np.mat(ori_y[40:100])XVal=np.mat(ori_X[20:40])yVal=np.mat(ori_y[20:40])Xtest=np.mat(ori_X[0:20])ytest=np.mat(ori_y[0:20])6 检验绘图p=train(X) #p=train(X,model=multivariateGaussianModel) pTest=np.mat([p(x.T) for x in X]).reshape(-1,1) #绘制数据点 pl.xlabel(u'年龄') pl.ylabel(u'收入') pl.plot(X[:,0],X[:,1],'bx') epsilon,f1=selectEpsilon(XVal,yVal,p) print(u'基于交叉验证集最佳ε: %e\n'%epsilon) print(u'基于交叉验证集最佳F1: %f\n'%f1) print(u'找到%d个异常点'%np.sum(pTest<epsilon)) #获得训练集的异常点 outliers=np.where(pTest<epsilon,True,False).ravel() pl.plot(X[outliers,0],X[outliers,1],'ro',lw=2,markersize=10,fillstyle='none',markeredgewidth=1) n=np.linspace(0,60,100) X1=np.meshgrid(n,n) XFit=np.mat(np.column_stack((X1[0].T.flatten(),X1[1].T.flatten()))) pFit=np.mat([p(x.T) for x in XFit]).reshape(-1,1) pFit=pFit.reshape(X1[0].shape) if not np.isinf(np.sum(pFit)): pl.contour(X1[1],X1[0],pFit,10.0**np.arange(-6,0,3).T) pl.show()使用交叉验证集选择的超惨epsilon进行异常值检验,绘图标注训练集发现较好的把数据进行了检测7 使用有相关性的检验只改了第一行的代码,将p使用的模型进行了更改#p=train(X) p=train(X,model=multivariateGaussianModel) pTest=np.mat([p(x.T) for x in X]).reshape(-1,1) #绘制数据点 pl.xlabel(u'年龄') pl.ylabel(u'收入') pl.plot(X[:,0],X[:,1],'bx') epsilon,f1=selectEpsilon(XVal,yVal,p) print(u'基于交叉验证集最佳ε: %e\n'%epsilon) print(u'基于交叉验证集最佳F1: %f\n'%f1) print(u'找到%d个异常点'%np.sum(pTest<epsilon)) #获得训练集的异常点 outliers=np.where(pTest<epsilon,True,False).ravel() pl.plot(X[outliers,0],X[outliers,1],'ro',lw=2,markersize=10,fillstyle='none',markeredgewidth=1) n=np.linspace(0,60,100) X1=np.meshgrid(n,n) XFit=np.mat(np.column_stack((X1[0].T.flatten(),X1[1].T.flatten()))) pFit=np.mat([p(x.T) for x in XFit]).reshape(-1,1) pFit=pFit.reshape(X1[0].shape) if not np.isinf(np.sum(pFit)): pl.contour(X1[1],X1[0],pFit,10.0**np.arange(-6,0,3).T) pl.show()l
  • [技术干货] 智慧园区高性能编码规范之数据建模优化
    对象结构创建构建表模型的过程中,需要为表中字段适当建立索引。基于表模型来建立索引,应当遵循以下两个原则:常用的查询条件字段创建索引,创建索引时,区分度大的字段放在前面。不要对所有字段建立索引,太多的索引会导致增删改的操作变慢,且维护成本高。关于建立索引的详细原则以及范例,详细说明请参见索引添加规则。索引添加规则当建立表模型时,字段取值是唯一(Unique)的,并且也勾选了“是否唯一”选项,平台自动添加索引。如果新建字段时候,勾选了“是否唯一”,那么平台自动为此字段添加了索引。当字段类型为Lookup及MasterDetail时,平台自动添加索引。当字段的取值区分度不大时,不建议添加索引。如SingleSelect类型、CheckBox类型不应该建立索引。举例:Status字段取值为Active、Inactive、Deleted,添加索引对查询性能影响不大,但是对增删改有影响,致使增删改的操作耗时多。对于TextArea类型的字段,平台暂不支持建立索引。当字段为多语言字段时,字段值存储的是多语言ID,若业务根据多语言ID查询,可添加索引以提高查询性能,若业务根据多语言的值查询,则无需添加索引。当字段的取值既不是唯一,又无法确认重复度时,根据业务实际使用场景添加。若业务使用该字段进行查询的频率较高时,可建立索引以提高查询性能,若使用频率较低时,可不建立索引。
  • [知识分享] 解读华为云GaussDB(for Influx):最佳实践之数据建模
    本文分享自华为云社区《[华为云GaussDB(for Influx)揭秘第七期:最佳实践之数据建模](https://bbs.huaweicloud.com/blogs/349472?utm_source=csdn&utm_medium=bbs-ex&utm_campaign=database&utm_content=content)》,作者: GaussDB 数据库。 华为云GaussDB(for Influx)时序数据库面向工业物联网海量时序数据场景提供数据安全、高性能、低存储成本、免运维等能力,受到越来越多企业的关注;同时,即开即用、使用简单、类SQL查询语句、无需设计schema、适合业务快速迭代等特点,也越来越得到开发者的认可。 但是随着业务规模不断增加,也会遇到诸如时间线暴涨、查询时延高、Tag和Field同名导致查询数据时有时无等问题,其根本原因是,在使用过程中没有良好的数据模型设计。本期将从GaussDB(for Influx)数据模型谈起,分享GaussDB(for Influx)数据建模的最佳方法,避免一些使用过程中的常见问题。 # 01 数据模型与关键概念 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/6/1651801548621435694.png) - **Database** 与MySQL中Database概念相同。 创建命令:CREATE DATABASE “mydb”。 用户权限、数据保留策略都以Database为粒度设置。比如赋予用户对“mydb”数据库只读权限:GRANT read ON mydb TO username。 - **Measurement** 与MySQL中Table概念类似。所不同的是,GaussDB(for Influx)属于Schemaless,Measurement不需要提前创建,也不需要设计表中的字段和类型。写入数据时自动创建Measurement,字段可以任意新增和减少,但要求相同字段的数据类型必须一致。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/6/1651801658572574088.png) - **Retention Policy(RP)** 数据保留策略,是关系型数据库中不存在的概念,专为时序场景设计,意为指定数据在数据库中的最长保存时间,过期数据会自动被清理。 - **Tag** 数据源标识,只支持string类型 - **Field** 采集指标,支持string,float,int,bool类型 - **Line Protocol(数据模型)** ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/6/1651801705698881341.png) 如图所示,写数据到GaussDB(for Influx),单条数据由measurement、Tag_key、Tag_value、Field_key、Field_value、timestamp 6部分组成。可以1个或多个,可以1个或多个,每条数据必须要携带时间戳。 - **Point(点)** Point通常包含measurement+Tags+Field+timestamp 4个部分。例如,如下数据包含2个Point。 Point1: Point2: 即,一条数据包含多少Field Key,则可以简单认为存在多少Point。在GaussDB(for Influx)中,可以一条数据包含一个Point,也可以包含多个Point。 - **Series(时间线)** 在GaussDB(for Influx)里,我们将一个指标+一组Tag组合称为一条时间线。在一条时间线下面,连续时间点的采样数据则为时序数据。比如有数据: monitorInfo,area=”葡萄花”,device=”钻机A”,pressure=1.8,1650443961100400200 monitorInfo,area=”葡萄花”,device=”钻机B”,pressure=1.6,1650443961100400200 monitorInfo,area=”榆树林”,device=”钻机B”,pressure=1.7,1650443961100400200 monitorInfo,area=”榆树林”,device=”钻机A”,pressure=1.5,1650443961100400200 表示4条时间线,分别是: 葡萄花油田的钻机A上的压力传感器(pressure) 葡萄花油田的钻机B上的压力传感器(pressure) 榆树林油田的钻机B上的压力传感器(pressure) 榆树林油田的钻机A上的压力传感器(pressure) # 02 数据建模之最佳实践 通常,数据建模是为了让查询更简单、更高效。对于大多数使用情形,我们建议使用以下设计准则: ## 1、合理设计Tag 和Field - Tag只支持字符串类型,数值和布尔类型数据应该被设计为Field; - 将常用查询条件和分组条件设计为Tag; 因为Tag会创建索引,而Field则没有索引。比如在业务中,经常会查询某一台机器的平均CPU利用率: ```mysql SELECT mean(cpu) FROM monitor WHERE host=“192.168.1.1” AND time > now() – 1h ``` 或者查询风电场每台风力发电机每小时的平均发电量: ```mysql SELECT mean(elect) FROM monitor WHERE farm_id=“737f738a-bd63” AND time > now() – 24h GROUP BY time(1h),device_id ``` 则应该将上述查询语句中的 host、farm_id、device_id 设置为Tag,前提是字符串类型才能被设为Tag。 - time属于内置关键字,不能作为Tag_key和Field_key; - 使用InfluxQL函数(Max、Min、Count等)的字段,作为Field存储。 ## 2、 遵守Tag_Key 和Field_Key的命名约定 - 不使用保留关键字作为Tag和Field的key(名称); - Tag和Field不使用相同名称,否则会出现不可预料的问题; - Tag和Field名称尽量简短清晰,可以节约Index内存空间,同时会让查询更加高效; - 避免一个Tag中包含多层意思,比如machine = “192.168.2.1-Ubuntu”,包含ip地址和操作系统名称,建议拆分为两个Tag:host和os; - 建议将变化小的数据设置为Tag,比如进程名称可以设为Tag,而进程号则建议设置为Field。 ## 3、避免超过节点规格所能承受的时间线数量 GaussDB(for Influx)规格与时间线数量对应关系如下: ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20225/6/1651801957942648281.png) 时间线过度超过限制,会引起性能急剧下降,可能会影响业务运行,需要考虑对节点扩容。 ## 4、避免一张表中存在过多Tag或者 Field 建议一张表存放同一类业务数据,比如物流车辆监测数据。过多业务数据放置到同一张表,会造成Tag和Field数量激增,直接影响查询效率。Field太多时,每个Field的计算都会单独计算,当执行模糊查询时可能会导致查询超时。 ## 5、避免同一个Retention policy存储多用户数据 不同业务数据的过期时间不尽相同,应根据业务具体需求分别存储在不同的RP中,否则过期数据不能及时删除,依然占据存储空间,增加了数据存储成本,影响了查询效率。 ## 6、避免同一个Database存储多用户数据 由于当前GaussDB(for Influx)的权限控制粒度是DB级别,同一个Database保存多用户数据,容易导致数据被其他用户访问和修改。建议不同用户使用单独Database,并且只对单一用户授予访问权限。 # 03 总结 在制造、能源、农业、电力等工业物联网行业中,大部分数字化信息系统是构建在MySQL等关系型数据库基础上。但随着企业业务和规模的进一步扩大,数据量迅速增长,MySQL等关系型数据库面临并发数、存储成本、查询性能、扩展性、维护等诸多问题,正逐渐被时序数据库所替代。 GaussDB(for Influx)摒弃关系型数据库范式化繁复的设计规则,支持Schemaless设计,业务能按照简单、高效的方式建模。面对业务变化快、接入设备多样化严重的工业物联网场景,GaussDB(for Influx)数据建模表现更加灵活,无需更改业务即可兼容不同设备,更适用于工业物联网场景。
  • [行业资讯] IoT数据分析优势
    IoT数据分析基于物联网资产模型,整合物联网数据集成,清洗,存储,分析,可视化,为开发者提供一站式服务,降低开发门槛,缩短开发周期,快速实现物联网数据价值变现。物联网资产模型感知物联网数据分析服务是以物联网资产模型为中心的分析服务,不同于公有云上的通用型大数据相关产品,物联网数据分析服务与资产模型深度整合,在相关数据分析作业的定义中,开发者可以方便引用物联网的模型数据,大大提升数据分析的效率。一站式开发体验大数据开发技术门槛较高,而华为云物联网数据分析服务整合了大数据分析领域的最佳实践,为开发者打造一站式数据开发体验,并且跟华为云物联网相关服务(比如设备接入)无缝对接,降低开发者开发难度,提升开发效率。针对时序数据的优化针对物联网数据具备的显著时序特征,华为云数据分析服务在数据存储及数据分析上做了大量的优化。比如海量时间线能力,单实例支持10万线,数据存储压缩比20:1,以及多种时间维度的聚合计算能力。离线分析帮助物联网数据开发者快速构建物联网数据湖,开发者可通过标准SQL开发IoT数据分析任务,并轻松处理TB-EB级别物联网大数据数据湖:提供成本低廉的海量数据存储能力,与物联网设备接入服务无缝对接,快速接入物联网数据源,并基于物联网资产模型,对物联网数据进行预处理,为数据分析做好准备大数据分析:使用大数据高可用,可水平扩展框架,基于内存计算模型,DAG调度框架、高效的优化器,综合性能是传统MapReduce模型的百倍以上,帮助开发者轻松完成物联网数据批分析标准SQL作业:提供标准的SQL接口,物联网数据开发者无需关心SQL处理引擎的部署和运维,只需聚焦物联网业务,开发分析作业,并支持丰富的作业调度策略配置实时分析基于物联网大数据流计算引擎,提供物联网实时分析能力。为了降低开发者开发物联网流分析作业门槛,IoT数据分析服务提供图形化流编排能力,开发者可以通过拖拽方式快速开发上线。图形化流编排能力:可视化流编排IDE,无需写SQL,通过简单拖拽完成物联网流分析作业定义物联网流编排算子:基于典型物联网应用场景,封装常用算子,比如数据接入,数据过滤,数据转换等等时序分析专为物联网时序数据处理优化的服务,包括高压缩比的时序数据存储,高效的时序查询效率,海量时间线能力;海量接入:海量时间线能力,最大可达亿级时序存储:列式存储及专用压缩算法,高压缩率高效查询:基于时间多维度聚合,近实时分析查询数据可视化:提供时序洞察工具,方便物联网数据分析师进行时序数据探索资产模型为充分“理解”物联网设备所产生的海量数据,往往需要将单一设备数据和测量数值置于一个上下文中去分析,这个上下文可能是一个产线或系统装配关系、组织关系、地理空间关系等等。IoT数据分析服务提供资产模型能力,帮助开发者快速定义复杂业务系统模型,并基于该模型对物联网数据进行实时关联计算、智能关系分析等处理。可视化资产模型开发环境:所见即所得图形化建模引擎、简化复杂资产开发难度、支持10层级建模;用户自定义函数(UDF)虚测点运算:丰富的计算算子如四则运算、科学计数法、三角函数、滑窗滚窗、流计算等;资产模板:支持自定义行业资产模板、快速复制共享、共筑行业生态。
  • [技术干货] 了解IoT数据分析服务的应用场景
    物联网设备运营分析场景物联网设备运营是一个广泛应用的场景,企业有大量联网的智能设备,设备会持续产生数据。作为设备的运营方,企业需要具备多种维度的统计分析能力,真实掌握设备运营数据,比如设备增长趋势统计,设备激活趋势统计,设备活跃时间段分布,设备告警统计等等。优势IoT数据分析服务已与物联网接入服务无缝集成,设备一旦通过接入服务接入,并授权数据分析服务访问数据,即可获得常见设备运营分析相关的数据集,无需数据开发人员进行开发。因此通过IoT数据分析服务,可以使得物联网设备运营相关的数据开发周期从数周缩短至几分钟。智慧仓储中的实时分析场景仓库的进出库管理是物流中的一个重要环节,当前较依赖人工的盘点,工作繁杂且容易出错。可以通过引入RFID技术实现对进出货物的自动盘点,为了准确实时的判断出货物进出门状态,并且跟货单中的货物进行实时校对,可以通过IoT数据分析服务轻松实现。优势IoT数据分析服务的资产建模能力,可帮助开发者快速构建资产模型并便捷管理,比如料箱和RFID tag的对应关系,料箱和仓库门的对应关系,货物在进出门的过程中,会产生大量的RFID数据,数据分析服务基于Flink技术的实时流计算能力,可秒级判断出货物在该门下的进出方向,继而可自动与货单进行校对,实时告知仓库管理人员进出货物的情况。新能源车的数据分析场景当前新能源车都已联网,并且高频持续产生数据到云端,如何对这些数据进行高效的管理和分析是车企面临的一个重要课题。通过使用IoT数据分析服务,可以帮助企业快速搭建新能源车大数据分析平台。
  • [技术干货] 了解IoT数据分析服务的优势
    物联网资产模型感知IoT数据分析服务是以物联网资产模型为中心的分析服务,不同于公有云上的通用型大数据相关产品,IoT数据分析服务与资产模型深度整合,在相关数据分析作业的定义中,开发者可以方便引用物联网的模型数据,大大提升数据分析的效率。一站式开发体验大数据开发技术门槛较高,而IoT数据分析服务整合了大数据分析领域的最佳实践,为开发者打造一站式数据开发体验,并且跟物联网相关服务(比如IoT设备接入)无缝对接,降低开发者开发难度,提升开发效率。针对时序数据的优化针对物联网数据具备的显著时序特征,IoT数据分析服务在数据存储及数据分析上做了大量的优化。比如海量时间线能力,单实例支持10万线,数据存储压缩比20:1,以及多种时间维度的聚合计算能力。
  • [热门活动] 全新数字化法务管理平台,合同、证照、案件、纠纷、律师统一管理
    泛微为组织构建高效协同的数字化法务管理平台,围绕组织日常法务工作所需的证照、合同、案件、纠纷、律师律所等管理需求,实现全方位、全过程的线上流程化管控。大型组织业务广、组织架构复杂,如何快速上报案件事项,时刻掌握各分子公司的风险状况?传统模式下的组织法务管理,存在着:•审批效率低•统计汇总难•信息更新慢•上下难协调•管理不规范•律所选聘乱•风险防控弱•数据分析难……等问题。泛微OA通过低代码构建平台为组织搭建集“合同管理、纠纷管理、证照管理、外聘律师管理、数据分析、预警提示”于一体的数字化法务管理系统:业务与法务融合,执行与管控并行助力实现组织法务案件全过程的线上流程管控,案件信息库与案件流程管理一体化,案件管理和律所律师管理的业务协同;提升风险管控能力,实现纠纷线索的风险预警,实现案件处置的风险管控,实现组织管理的风险防控;打造专业人才队伍,内部法务人员和外部律所律师的统一管理、实现律所与案件管理的业务协同。泛微数字化法务管理系统应用亮点一、合同全过程风险防控泛微通过低代码构建平台、对接内外系统、构建可信身份,结合各类组织运营中的实际情况,搭建了一个可信、高效、安全、协同的全程数字化合同管理平台,将法务管控贯穿于合同执行的各个阶段,确保拟稿、签订、履约、归档过程中的各种风险都能被及时预警。1、合同拟稿过程风险管控通过智能化组件,规范合同范本,实现智能提取合同内容、智能文本比对、在线条款预审、修改留痕等。(在线编辑、留痕)2、合同签订过程风险管控通过严格的相对方准入审批,对相对方进行全方位资格审核、企业认证和个人认证,从源头降低合作风险。(相对方管理)合同审批中,通过智能协同助手自动关联审批要点数据,与合同相关的预算信息、预付款信息、价格信息、相对方资信、历史合同信息等,立体展现,自动审核,帮助快速决策。(合规检测)签订过程中,通过文本水印、身份认证等功能,确保合同机密不泄露,合同签署符合真实意愿、真实身份。3、合同用印过程中的风险管控泛微通过印控一体化平台、数字身份认证、防伪打印等功能,确保电子合同真实有效。(电子合同验真)4、合同履约过程中的风险管控泛微提供了风险埋点功能,自动识别履约过程中存在的相应风险点,并实时预警与提醒,防范合同履约风险。(风险埋点)5、合同归档中的风险管控所有合同文档、相关的签批件、订单信息、发票、询证函、银行回执都可以自动电子归档,纸质文档通过OCR识别归档,实现100%电子化归档;提供多个维度便捷的电子合同文本检索;通过数字签名保障合同文本防篡改;提供电子合同的存证服务进一步保障法律效力。二、数字化证照管理组织营业执照、各类资质证明文件等作为企业身份的重要法律依据,借用起来要跑几个部门、签字填单,耗费时间;使用中监督不当难免遗失;有时过期了还不知道、甚至许多员工根本不知道企业都有什么证,四处询问……泛微证照管理系统,以电子化流程为基础,让企业各类证照实现信息智能维护、借用线上审批、全程跟踪、查询便捷的智能化管理模式。1、证照看板相当于企业证照监视器。证照名称、是否到期、办理进度如何、有没有被借出,信息一查便知。(证照看板)2、证照登记证照资料上传生成电子档案,出现信息变更可以在系统直接修改,同时OA系统会自动推送证照信息变更通知,信息传达快。3、证照借用借用证照要走统一的申请流程,在借阅用账里可以查看近期的借用人、借用时间,外地借用系统还能根据物流信息跟踪物流情况。(借阅记录—物流跟踪)4、证照查询根据提前设置的证照关键词查询证照,系统自动筛选、锁定,查询快。三、案件管理全过程数字化1、纠纷信息上报规范化固定各阶段表单填写内容,实现信息上报的规范化。(纠纷信息填报)2、案件管理项目化若是需要诉讼,泛微根据流程内信息和数据,构建了内部诉讼案件信息库,形成每个诉讼案件的电子卡片,案件信息展开详细可见,立案、处理、结案流程进展状况随时可查看。(案件信息卡片)并且通过案件台账,可快速查询到所有的案件信息,实时进行案件进度追踪办理。(案件台账)3、案件信息联动化诉讼信息自动联动相关纠纷。一审、二审、仲裁办理等环节信息填报时,自动带出相关案件信息,便于查找。(案件信息联动)4、办案资料档案化实现纠纷信息、诉讼信息、仲裁信息的档案化,案件相关附件归档,建立评分评价数据台账,建立组织内部统一的法务知识库,相关信息随时查询。(法律知识库)四、律师律所内外协同管理1、律师律所管理:通过法务系统完善律师事务所和律师信息台账。为了实现内外协同的沟通环境,外部律师可以自行注册录入信息,让外部律师和内部人员在一个平台上进行沟通。系统验证统一使用社会信用代码,不允许重复律所录入。(移动法律咨询)2、律师律所评价:案件、专项、咨询等结束时,可进行对应的律师律所评价。评价时同时选择律师及律所,评价结果同时计入律师及律所的评分,流程归档时自动更新计算。(律所评价)五、法制知识分享1、提供权威的法规信息查询对接权威的法律法规、司法信息及企业信息查询库,随时随地查询最新官方信息,提高组织整体法律意识及素质。(法规信息查询)2、提供法治宣传及培训内容能够通过系统及时发布法治宣传相关内容;定期开展法治培训,支持在线报名,培训计划快速通知。3、提供相关文档的查阅及下载提供合同模板、制度表格的查阅及下载,有效提升法务相关工作的规范性;提供各类知识汇编的共享,实现知识的沉淀,为快速提升法务人员的法务素养提供有效助力。六、数据统计报表泛微根据组织实际需要,支持多角度、不同规则的数据分析统计功能,直观展示组织案件管理的状态,辅助科学决策。系统自动计算,实时更新,实现统计分析可视化。能够按法务事务类型统计、按组织、时间等多维度进行统计。实现对律师服务质量的统计与监督,为法务集中规范管理提供了数据保障,为领导提供决策支持。(法务数据报表)亮点总结表单、低代码构建平台、集成是泛微法务系统的三大核心构造,表单收集数据、低代码扩展应用、集成打通信息,为组织实现:法务管理系统化、案件管理数字化、队伍建设规范化、风险管控前置化、法律服务正规化、数据分析智能化。让法务工作者:选择有参考,资料齐备,评价可靠;办案有章法,过程标准,档案完整;提升有途径,资源共享,学习提升。让领导决策层:办公移动化,案件信息随时查看,案件过程随时审批;可视化的数据分析图表,通过分析统计出“哪类案子多”、“哪里风险大”、“哪些要止损”,让决策有科学依据。▶泛微法务管理相关详细方案阅读:【法务管理】泛微OA系统法务管理平台:合同、纠纷、证照、律师一体化管控【法务管理】泛微全程电子化法务管理方案:全面协同,线上签署,动态管控【案件管理】泛微为大型集团提供法务案件管理方案:案件集中管,档案规范存【合同风险】合同签署前、履行中面临的这些风险挑战,泛微为您有效防范和规避【证照管理】泛微OA系统推出证照管理方案:企业轻松管、员工高效用
  • [其他] 基于人工智能的组学数据建模
    在过去,高通量测序技术的出现和成熟彻底改变了生物医学领域的面貌。改技术能够一次并行地得到几十万甚至上千万的DNA分子的数据信息,随着测序成本的降低,该技术已经应用于生物医疗领域的各个方面研究,并产生了大量的组学数据。如何能够更好地利用生物医疗的各方面研究,并产生了大量的组学数据,如何能够更好地利用大规模组学数据对生物医学问题进行建模就显得尤为重要。常见组学数据类型1)  在基因组学领域,微陈列技术和下一代DNA测序技术广泛用于全基因组拷贝数变异和单核苷酸多态性等DNA突变的鉴定。2)在表观基因组学领域,甲基化DNA免疫沉淀和亚硫酸盐测序用于分析DNA甲基化,染色质免疫沉淀测序用于鉴定染色质相关蛋白的结合位点。3)在转录组学领域,微陈列和RNA测序用于定量整个转录组的表达谱。4)在蛋白质组学领域,液相色谱-串联质谱法和同位素标记和标签用于分析代谢标志物5)在代谢组学领域,核磁共振和质谱仪用于分析代谢标记物组学数据可提供DNA,RNA,组蛋白修饰,蛋白质,代谢物等不同分子系统水平的全面信息,已广泛用于生物科研,合成生物,药物研发,个性化治疗等领域。一、定点组学数据特征通过高通量测序技术对不同分子水平的组学信息进行定量后,得到的数据都是非序列数据,如基因突变,全基因组的基因拷贝数变异,RNA表达式,蛋白质表达量,这些数据具有以下特征;1)原始数据含有几千或者几万个特征,大部分特征之间是相互独立的2)特征点的数目比较多,一般大于训练样本数目或者训练样本数目处于同一个数量级3)原始数据的特征之间没有明显的时间维度和空间维度相关性有严格的先后关系和前后左右关系4)原始数据的特征之间存在层次性的相互作用二、基因组学建模方法CNN算法中的卷积操作能够抽取层次特征,进而组合形成高层次特征对数据进行建模。RNN虽然在结构上和CNN有比较大的区别,但是其本质也是通过整合序列上前后特征来实现提取信息的功能,CNN和RNN非常适合从图像,文本,语音等数据中提取特征,这些数据之间具有局部相关性,即输入的特征值和周围的特征值存在相关性,如果将输入特征的顺序,则可能影响其语义信息。随着ResNet等算法的出现,训练深度神经网络更加容易,因此有必要将MLP,AE,VAE等向更深的方向做扩展,然而,由于组学数据的特殊性,需要投入大量的精力去试错才能找到最优的神经网络结构,随着AutoML技术的逐渐成熟,可以将很多模型框架的设计问题转为自动搜索问题。因此,可以构建面向基因组学建模的自动化人工智能系统,可以在提升基因组学数据分析和建模效果的同时,大幅度降低人工技能要求的门槛。
  • [行业资讯] Mavenir推出智能物联网平台以实现更智能的传感器数据分析
    据麦姆斯咨询介绍,Mavenir是一家网络软件提供商,致力于利用可以在任何云上运行并改变世界连接方式的云原生软件来构建面向未来的网络。该公司近日宣布推出其商业化智能物联网平台(IIoTP)。该解决方案将人工智能(AI)技术应用于物联网传感器的数据流,使企业和通信服务提供商(CSP)能够获得即时见解和可指导行动的情报。对物联网应用的需求随着5G网络的普及而增长,因而现在大量各种各样的传感器得到部署。此类传感器不断生成海量数据,这些数据需要以极低的延迟进行近乎实时的分析,以获得可指导行动的见解。大规模使用人工智能和分析功能已变得至关重要。Mavenir的IIoTP是一种可独立部署的综合解决方案,亦可与Mavenir的智能视频应用(IVA)和其他AI应用一起部署在任何云端或本地硬件上,以实现基于端到端用例的物联网传感器数据分析。Mavenir IIoTP可兼容各种类型的传感器,包括2G/3G/4G/5G型传感器等,可部署在包括蜂窝网和Wi-Fi在内的各种网络上。Mavenir新兴业务执行副总裁Aniruddho Basu表示:“随着上线的5G设备持续飙升,Mavenir的IIoTP等平台旨在融合硬件堆栈和通用软件框架,为CSP提供智能且优化的见解,这些见解可提供给企业用户,指导现实世界的物联网行动计划。”该平台可扩展并支持大量传感器,以及灵活配置各类型传感器。事件可与下游接口继承,以端到端实现各种用例。该平台可在边缘云和集中云之间拆分处理过程,以实现低延迟和减少数据带宽需求。Mavenir边缘人工智能应用(Edge AI Apps)产品管理副总裁Srinivas Chitiveli表示:“Mavenir的IIoTP是Mavenir人工智能应用组合的新成员。IIoTP和IVA使企业和CSP能够充分利用赋能企业的人工智能解决方案。Mavenir是一家具有独特风格的供应商,能够利用人工智能技术来提供IVA和IIoTP,以构成综合性5G解决方案的一部分,从而能够优化部署,并降低价值实现成本。”
  • [问题求助] 使用华为云的物联网数据分析服务与用户自建数据库有什么区别?
    使用华为云的物联网数据分析服务与用户自建数据库有什么区别?在线等
  • [近期热门] 不懂代码也能实现机器学习?
     作者:Isaac Sacolick低代码平台提高了开发应用程序、集成和数据可视化的速度和质量。低代码平台不是用代码构建表单和工作流,而是利用拖放界面来设计在网络和移动应用程序中使用的屏幕、工作流和数据可视化。低代码集成工具支持数据集成、数据准备、API编排以及与常见的SaaS平台的连接。如果你正在设计仪表板和报表,要连接数据源并创建数据可视化,有许多低代码选项可以选择。但凡你可以用代码完成的,都可能会有一种低代码或无代码技术可以帮助加速开发过程和简化正在进行的维护。当然,你必须要评估这些平台是否满足功能要求、成本、合规性和其他因素,但低代码平台能提供的选项一般都处于可以自行构建和购买软件即服务(SaaS)之间的灰色区域。但是,低代码选项是否只是为了更好更快地开发应用程序、集成和可视化?那些使用更高级或新兴功能去进行加速和简化的低代码平台又如何呢?我搜索并制作了低代码和无代码平台的原形,这些平台使技术团队能够利用机器学习功能进行测试和试验。我主要关注低代码应用程序开发平台,并寻求能增强最终用户体验的机器学习功能。以下是我在这个过程中学到的一些东西。不同的平台针对不同的开发人员你是一名数据科学家吗?你正在寻找用低代码功能来尝试新的机器学习算法,并能比Python编码更快、更容易地支持 ModelOps吗?也许你是一名专注于数据操作的数据工程师,并希望在发现和验证新数据源的同时将数据与机器学习模型相连接。Alteryx、Dataiku、DataRobot、H20.ai、KNIME、RapidMiner、SageMaker、SAS 等数据科学和模型操作平台旨在简化和加速数据科学家和其他数据专业人员的工作。它们具有全面的机器学习能力,但在操作上对具有数据科学和数据工程技能的专业人员来说更容易些。以下是 KNIME 首席数据科学家兼布道负责人 Rosaria Silipo 博士讲述的关于低代码机器学习和人工智能平台的内容。“人工智能低代码平台可以作为经典的、基于脚本的人工智能平台的有效替代方案。通过消除编码障碍,低代码解决方案减少了工具需要的学习时间,留出了更多的时间用于试验新想法、范例、策略、优化和数据。”特别是对于希望在应用程序和集成中利用机器学习功能的软件开发人员,这里有多种平台可供选择:GCP AutoML和Azure Machine Learning Designer等公有云工具帮助开发者获取机器学习能力。Google 的AppSheet、微软的Power Automate的 AI Builder 和OutSystems ML Builder等低代码开发平台都展露出了机器学习能力。PyCaret 等低代码学习库面向数据科学家、平民数据科学家和开发人员,帮助他们加速学习和在开源工具包上实施机器学习。这些低代码示例面向具有编码技能的开发人员和数据科学家,帮助他们加速对不同机器学习算法的试验。MLops平台面向开发人员、数据科学家和运营工程师。作为机器学习的 DevOps,MLops平台旨在简化管理机器学习模型的基础设施、部署和运营管理。面向平民分析师的无代码机器学习有一组新兴的无代码机器学习平台面向业务分析师,这些平台使上传或连接到云数据源和试验机器学习的算法变得容易。我与 Noogata 的联合创始人兼CEO Assaf Egozi 讨论过,为什么即使对于拥有丰富经验的数据科学团队的大型企业,那些面向业务分析师的无代码机器学习平台也能改变游戏规则。他告诉我,“企业内的大多数数据消费者根本不具备从头开发算法甚至有效应用 autoML 工具所需的技能,而且我们也不应该期望他们这样做。相反,我们应该为这些数据消费者或者平民数据分析师提供一种的简单方法,可以将高级分析集成到他们的业务流程中。”Monitaur的CTO兼联合创始人Andrew Clark表示赞同。“让企业能更容易上手机器学习是令人兴奋的。在模型产品化方面没有那么多训练有素的数据科学家或具有专业知识的工程师来满足业务需求。低代码平台提供了一座桥梁。”尽管低代码使机器学习实验民主化并加快了速度,但它仍然需要严格的实践、符合数据治理政策以及偏见审查。Clark 补充道:“公司必须将低代码视为他们从 AI/ML 中受益的工具。考虑到业务可见性、控制和模型管理都是企业为业务做可信决策时所需的,企业不应该走捷径。”责任编辑:赵宁宁  来源: 计算机世界
  • [技术干货] 2021HDC.Cloud|华为云GaussDB(DWS)首席架构师解读一站式数据分析能力
    4月26日,在华为开发者大会(Cloud)上,华为云数据使能DAYU主力产品GaussDB(DWS)首席架构师解读了GaussDB(DWS)的一站式数据分析能力。随着大数据观念逐步深入,数据分析带来的价值愈发被大家重视起来。从PC时代,到互联网时代、移动互联网时代,数据应用不再是简单的分析和挖掘,而是更加智能化。典型企业分析场景主要分为实时分析处理,批量分析处理以及交互式查询处理。当前常见的解决方案用不同技术解决不同问题:使用Hana,Oracle Exadata处理实时分析场景;使用Teradata,Greenplum处理批量分析场景;使用Oracle和SQL Server等处理交互式查询场景。从单一场景来看都是不错的选择,但是站在整体数据域视角去看,这种搭积木式的方案带来诸多问题 ,例如组件多,开发方式不统一,数据格式不统一,反复转换消耗算力和存储空间;组件间的数据流转开发复杂,流转效率低;跨集群,跨组件数据一致性差等。华为云GaussDB(DWS)从两个维度构筑能力,为企业用户提供一站式分析能力:在全并行分布式架构上,无缝融合时序引擎、OLAP引擎、CEP引擎,同时支撑实时分析、批量分析和交互式查询等不同业务负载,达到开发统一、部署统一、维护统一、数据格式统一,真正做到一个产品包办的一站式分析;异构平台数据融合、协同分析,构筑全域数据一体化。当前企业IT系统不会是白纸一张,在不同阶段曾经采用不同技术建设的多套系统承载着不同的业务,这些系统还未完成历史使命,将延续使用相当长一段时间。华为云GaussDB(DWS)支持多样性的数据融合分析能力,无缝融合并协同分析企业现有平台数据,让老IT系统产生的数据焕发新价值。一、T+0实时分析业务场景中实时数据源种类繁多,针对不同数据源采用不同实时处理技术。时序引擎支持时序数据分析,内置100多种时序分析算法,将时序数据接入后实时合并;流引擎接入基于Kafka/Flink等流组件产生的流式数据,支持对流数据自定义持续计算。二、全并行批量分析基于Share-nothing分布式架构,华为云Gauss DB(DWS)天然具备大规模的分布式并行处理能力。多层级并行技术将系统性能推至极致,包括节点间并行、节点内SMP并行,CPU指令级并行以及动态编译技术。同时,通过自研TCP多流、多线程包合并、通信代理等技术,将scale-out能力推至极致,华为云GaussDB(DWS)也是目前唯一通过信通院2048节点大集群权威认证的分布式数据库产品。三、多场景交互式查询对短查询做了全流程梳理,从接入、SQL解析、计划发送、执行和数据扫描进行了一系列优化;由于Ad-hoc查询的负载具有不可预见性,经常可能会出现单一查询拖慢甚至拖垮整个集群的情况,华为云GaussDB(DWS)内置动态智能负载管理组件,实时监控运行状态和资源消耗,对异常作业自动预警并智能干预,例如内存占用过高,运行时间过长,大量数据广播等异常情况,系统会自动查杀等。以银行业务为例,“手机银行用户实时数据查询”与“网银系统交易流水批量作业”是最常见的业务场景,采用2套技术方案或2个平台分别处理,则会出现资源重复投入。使用华为云GaussDB(DWS)实现2个业务场景需求,数据无需反复转换和流转,提升了业务处理效率,节省运维成本。2小时可完成7万个核心业务的银行日增量数据归档和数据加工,同时支持手机银行终端7x24小时实时查询;当上千万个人用户与几十万企业用户同时使用系统,并发进行日间批量作业10万个的批量高峰期,实时查询可在3秒内响应,真正做到跑批和实时作业互不影响。华为云GaussDB(DWS) 面向未来,构筑新一代、全场景、云数据仓库,一站式数据分析,释放非凡数据价值,做企业数字化转型的最佳伙伴。
  • [行业资讯] 将物联网与数据分析相结合的影响
    由于消费者和企业都渴望跟上连网设备领域的技术进步,物联网近年来一直呈上升趋势。 许多公司的数据驱动转型战略越来越多地融入了物联网(IoT)。采用物联网的组织已经从中受益,例如更好的运营流程、库存管理和设备维护等。 然而,一个成功的物联网战略需要的不仅仅是简单地将大量设备和传感器连接到互联网,并从中收集数据,为了理解物联网产生的大量数据,并获得真正有意义的业务见解,IT人员必须掌握有效分析数据的能力。 数据分析——物联网的关键组成部分 长期以来,数据分析一直用于商业领域,惠及从制造到营销的各个行业。然而,随着智能手机技术的兴起,可供分析程序使用的数据量大幅增加,尽管如此,物联网 (IoT) 仍有望将这种数据洪流带到新的高度。 随着家用电器、健康监测器、交通基础设施和许多其他日常用品的联网,企业可以获得的洞察力将是惊人的。数据分析软件将帮助企业理解物联网数据,使他们能够分析客户趋势,从而帮助企业更好地决策。 构建物联网分析基础设施以从物联网数据中提取价值 每天,大量设备连接到互联网并通过传感器共享数据。没有分析,这些数据将是无用的。但是,组织可以通过实施物联网分析解决方案来有效地收集、分析和存储他们生成的数据,因此,它使企业能够优化各级运营,改善决策,并获得各种优势。 以下是将物联网与数据分析相结合的一些显著优势: ▲改进设备维护 通过测量振动、热量和其他重要数据,公司,尤其是制造业公司,可以使用物联网传感器和数据分析的组合来确定设备何时需要维护。操作员还可以从智能设备接收有关潜在故障、磨损和交付时间表的警报。这使得日常设备维护更易于管理,并有助于预测性维护。 传感器数据用于预测资产何时需要维修,从而可以在最合适的时间安排维修,从而减少故障并降低维修成本。此外,基于物联网的应用程序允许工作人员实时查看机器的运行情况,并就任何潜在问题向他们发出警报。 ▲提高员工生产力 提高生产力是物联网数据分析可以使您公司受益的方法之一。您可以通过在整个设施中安装智能传感器和设备来收集员工敬业度数据、绩效评级和各种其他与工作相关的参数。您可以使用这些数据来帮助简化组织的日常业务运营,并更好地利用员工的精力和时间。 ▲提供个性化客户体验的能力 在数字服务和产品方面,客户期望个性化服务。物联网数据及其分析可以提高业务洞察力和提供最佳客户体验的能力。物联网数据揭示了有关客户偏好和行为的大量信息。 随着时间推移,可以分析累积的物联网数据,并将其与机器学习算法相结合,为每个客户创造更个性化的体验,甚至预测客户需求。例如,假设一个客户要求他们的虚拟助手每周点几次外卖并播放几次爵士音乐。在这种情况下,这些信息可以用来改善客户体验,并为同一平台上的其他产品提供个性化推荐。 ▲预测未来趋势 物联网分析可以提供帮助的另一个领域是预测未来趋势。它可用于跟踪能源消耗并在未来做出准确的需求预测。此外,物联网分析已成为预测性维护的重要参与者。 通过将物联网传感器连接到各种机器组件,您可以使用各种统计数据(例如温度或速度)来跟踪机器性能。因此,确定哪些部件最有可能需要更换变得更加容易,并且您可以提前通知维护团队。这对于那些一天24小时运营,并且没有意外机器故障余地的制造公司来说尤其重要。 ▲产品改进与创新 物联网数据跟踪各种连网设备的产品性能指标,包括汽车和智能家居设备。物联网分析可以使用这些指标来改进下一代产品,甚至预测产品缺陷或故障。物联网数据分析的结果还可以预测未来的消费趋势,从而激发企业进行新产品开发。 因此,企业可以将数据分析与物联网相结合,以获得竞争优势、提高客户参与度并获得更好的投资回报。 总结 高级数据分析不再是一项附加功能,而是任何物联网解决方案必不可少的组成部分。它们为用户提供做出更好业务或个人决策所需的信息,并且可以指出潜在的问题领域,而无需用户付出大量努力。 数据分析使消费者能够做出更有利可图的决策,随着物联网技术领域变得越来越普及,对高级数据分析工具的需求也将随之增加。转载自https://www.iothome.com/tech/fenxi/2021/1213/11984.html
  • [技术干货] 数据分析师的日常工作
    不同公司对数据分析师的职位划分稍有不同,在一些中小型企业,没有成立独立的数据中心前,数据分析的相关职位往往是在譬如市场部、运营部这些部门之下,通常数据分析成员在2-4人不等。对于一些大型企业,有独立的数据部门的企业,其数据分析团队人员则是十到百人不等,其职位头衔有通俗的总监、经理、主管划分,也有助理、资深、专家之类的划分。 数据分析师其实更注重是对数据、数据指标的解读,通过对数据的分析,来解决商业问题。主要有以下几个次层次:1)业务监控:诊断当前业务是否正常?是否存在问题?业务发展是否达到预期(KPI)?如果没有达到预期,主要问题在哪?是什么原因引起的?2)建立分析体系:这些数据分析师已经对业务有一定的理解,对业务也相对比较熟悉,更多帮业务方建立一套分析体系,或者更高级是做成数据产品。例如:营销活动。分析师会告诉业务方,在活动前你应该分析哪些数据,从而制定恰当的营销计划。在营销过程中,你应该看哪些数据,从而及时做出营销活动调整。在营销活动,应该如何进行活动效果评估。3)行业未来发展的趋势分析:这应该是数据分析师最高级别,有的公司叫做战略分析师/商业分析师。这个层次的数据分析师站的更高,在行业、宏观的层面进行业务分析,预测未来行业的发展,竞争对手的业务构成,帮助公司制定战略发展计划,并及时跟踪、分析市场动态,从而及时对战略进行不断优化。主要技能要求:数据库知识(SQL至少要熟悉)、基本的统计分析知识、EXCEL要相当熟悉,对SPSS或SAS有一定的了解,对于与网站相关的业务还可能要求掌握GA等网站分析工具,当然PPT也是必备的。由上面可以看出,数据分析师主要涉及有这几方面:1)对相关业务的理解;2)掌握一到二种数据分析工具;3)良好的沟通;4)具备商业敏感性等。