• [技术干货] 5分钟-基于FunctionGraph构造无服务器图片鉴黄Web应用
    ServerlessServerless中文译为“无服务器”,最早可以追溯到2012年Ken Fromm发表的《Why The Future Of Software And Apps Is Serverless》[1],他描述了一种场景,从用户自己维护的物理机,到IaaS,再到PaaS,计算模式的转变并不会停止,在云计算基础设施成熟的情况下应用程序可以不需要考虑服务器的存在,无服务器计算让开发者可以在不考虑服务器的情况下构建并运行应用程序和服务。再到2016年,Mike Roberts在Martin Fowler的博客《Serverless Architectures》[2]中,将Serverless架构分为Backend as a Service(BaaS)和Functions as a Service(FaaS)。BaaS也就是后端即服务,即应用架构由大量三方云服务和API来组织,使应用中关于服务器的逻辑和状态都由服务提供方来管理。比如典型的单页应用(SPA)和移动APP这些富客户端应用,前后端的交互主要以Rest API调用为主,只需要调用服务提供方的API即可完成相应的功能,比如身份验证、数据访问等。FaaS可以被称为函数即服务,开发者可以直接将服务侧业务逻辑代码部署、运行在第三方提供的无状态计算容器中,开发者只需编写业务代码即可,无需关注服务器,且代码的执行是由事件触发的。一个Serverless的应用就是这样一个将BaaS和FaaS融合在一起的应用,用户关注于应用的业务逻辑代码,以函数为粒度将其运行在FaaS平台上,并和BaaS三方服务整合在一起,最后搭建一个完整的系统,整个过程完全无需关注服务器。Serverless的优势1、无需管理服务器开发者只需关注应用的业务逻辑,而无需关注服务器的存在,降低业务接入门槛,快速上线,提高开发和运维效率。2、灵活扩展、按需付费据Gartner和麦肯锡统计,全球的服务器CPU平均利用率只有6%到12%,大量应用的资源利用率是非常低下的,特别是对于负载波峰波谷明显的应用。而Serverless可以根据负载弹性伸缩,并按需付费,根据实际运行消耗的资源计费,且业务是以函数的粒度运行的,可以充分利用碎片资源,极大地减小运作成本。函数工作流FunctionGraph上面简单介绍了Serverless架构以及其优点之后,我们再介绍一下华为云的函数工作流(FunctionGraph,FGS)。函数工作流(FunctionGraph,FGS)是一项基于事件驱动的函数托管计算服务,托管函数具备以毫秒级弹性伸缩、免运维、高可靠的方式运行。通过函数工作流,开发者无需配置和管理服务器,只需关注业务逻辑,编写函数代码,以无服务器的方式构建应用,便能开发出一个弹性高可用的后端系统,并按实际运行消耗的资源计费。极大地提高了开发和运维效率,减小了运作成本。构建无服务器图片鉴黄web应用为了让大家对Serverless架构和函数工作流有更直观的了解,接下来我们将介绍如何通过函数工作流快速构建一个完整的无服务器的图片鉴黄Web应用,如下图,该应用接收用户上传的图片,并对图片进行分析,判断是否为**图片。试想,如果我们通过传统的模式开发此应用,需要如何开发?即使是基于现在的云平台,我们也仍需要购买云服务器,关注其规格、镜像、网络等各指标的选型和运维,然后在开发过程中可能还需要考虑与其他云服务的集成使用问题,使代码中耦合大量非业务代码,并且服务器等资源也并非是按需的,可能会造成大量多余的费用。现在我们可以通过函数工作流服务来快速构建这个系统,并且完全无需关注服务器,且按需运行,如图:创建函数,在函数中调用华为云内容检测服务提供的图片鉴黄接口,实现图片鉴黄功能,并为该函数配置一个APIG触发器,对外提供图片鉴黄的API,从而构建出一个完整的图片鉴黄无服务器后端。然后将Web页面的静态资源部署在对象存储服务(OBS)中,用户可以直接从OBS访问前端页面。用户上传图片时,页面调用前面构建的图片鉴黄API,他会自动触发函数执行,而开发者编写的函数只需实现接收到图片之后如何处理图片的逻辑(调用内容检测服务服务)即可,最后将结果返回给前端页面。至此,我们就构建了一个完整的无服务器图片鉴黄Web应用。现在,我们将介绍如何端到端地将此无服务器应用构建出来。后端API搭建:进入函数工作流服务函数创建页面,选择图片鉴黄模板。该模板已经提供了本应用中函数的代码,按照代码注释中的指示创建函数之后,就成功搭建了本应用的后端系统,为函数所创建的APIG触发器会提供一个调用该后端函数的HTTP(s) API,供外部系统(如前端页面)调用。创建成功后API的URL可以在函数详情页面的“触发器”栏看到:前端页面搭建:前端的展示形式有很多,这里我们提供了一份前端代码包供大家学习参考,可以将此代码包部署到OBS上,快速构建一个单页Web应用(SPA)。然后调用上一步后端提供的接口,连通后端系统,完成整个无服务图片鉴黄Web应用的构建。1、下载代码包并解压2、为了让前端页面访问您的函数,需要配置页面Rest请求的URL。修改代码包里/functiongraph/assets/config/apis.json文件中checkImage的值,更改为上一步“后端API搭建”中创建的APIG触发器URL,即您的后端API的访问地址。3、通过OBS托管前端页面。进入对象存储服务,创建一个OBS桶,将程序包文件逐个上传至该桶中。因为文件比较多,我们建议您下载 OBS Browser ,使用OBS Browser前,请先获取访问密钥。4、启动网站。进入桶的静态网站托管界面,单击静态网站托管,配置桶的默认首页为index.html。配置完成后,您就已经成功搭建了本案例的前端系统。您可以通过obs提供的访问地址访问您的前端页面,检测图片时,页面会发送请求到您的函数。总结通过上面端到端构建一个完整的无服务器图片鉴黄Web应用,我们可以发现Serverless的架构具有如下优点:无需关注任何服务器,只需关注核心业务逻辑,5分钟快速构建后端系统并上线,极大地提高了开发效率;函数运行随业务量弹性伸缩,按需付费,当创建的函数没有执行时,不计费。可以通过简单的配置连通函数工作流和其它云服务,甚至云服务和云服务,比如本例中只需创建一个APIG触发器便可完成API网关和函数工作流的连接,然后在函数中调用内容检测服务的鉴黄接口,那么函数就像一个粘合剂一样将两个云服务连接在一起。相关链接https://readwrite.com/2012/10/15/why-the-future-of-software-and-apps-is-serverless/https://martinfowler.com/articles/serverless.html https://console.huaweicloud.com/functiongraph/ 欢迎扫码查看更多精彩:
  • 【技术交流】从代码机制看AK/SK认证问题
    前言用户开发的微服务要想注册到华为云CSE的服务中心,就需要用到AK/SK认证。由于CSEJavaSDK提供了较多的配置方式,有时候容易出现错配和漏配的情况,本文从CSEJavaSDK读取AK/SK的关键代码入手进行分析,希望能够给大家提供一点AK/SK认证失败时的定位思路。(本文基于CSEJavaSDK-2.3.30进行说明)代码逻辑分析首先需要说明的是,AK/SK也是一个配置项,因此它可以配置在microservice.yaml文件里,可以通过-D设置系统属性来指定,也可以通过环境变量来指定(Windows的环境变量貌似可以带点号.,因此你可以直接在环境变量中指定cse.credentials.accessKey=ak;而Linux的环境变量不能带点,所以不能这么做)。另一方面来说,AK/SK又是一个比较特殊的配置项,因此CSEJavaSDK又提供了一个加密存储的配置方式。无论AK/SK的来源是哪里,最终CSEJavaSDK都是在AKSKManager中完成AK/SK的读取逻辑的。public static Credentials getCredential() throws Exception {  // 读取AK/SK  AKSKOption option = AKSKOption.readAKSK();  // 中间读写缓存等等逻辑忽略……  // 根据cse.credentials.akskCustomCipher配置获取cipher,对AK/SK进行解密    AKSKCipher cipher = (AKSKCipher)CIPHERS.get(option.getAkskCustomCipher());  // 检查逻辑忽略...    char[] ak = cipher.decode(TYPE.AK, option.getAccessKey().toCharArray());    char[] sk = cipher.decode(TYPE.SK, option.getSecretKey().toCharArray());    String project = option.getProject();    if (project == null || project.isEmpty()) {      // 如果用户没有配置cse.credentials.project,就尝试从配置的服务中心地址进行解析,具体的代码忽略……      // 我们平常通过APIGateway连接到服务中心,例如你要连到华北区,配置的地址就是这样的 https://cse.cn-north-1.myhuaweicloud.com      // 可以从中截取出 cn-north-1,这个就是华北区的project      LOGGER.info("The application missing project infomation, so choose a nearest one [{}]", project);    }  return credentials;}以上是AKSKManager的getCredential方法逻辑,可以看到大体的流程是读取AK/SK、根据cse.credentials.akskCustomCipher配置项获取cipher对aksk进行解密、获取cse.credentials.project配置信息。此方法返回的credentials内包含了明文的AK/SK、project信息,因此本地调试时确定AK/SK读取是否有问题的最快途径就是在getCredential方法末尾打断点,查看credentials包含的信息。而在AKSKOption.readAKSK()中读取AK/SK的关键流程如下:public static AKSKOption readAKSK() {  // 从AK/SK加密存储文件读取  AKSKOption option = readFromFile();  if (option == null) {    // 从配置中读取,注意:环境变量、System Property、配置文件都算在这里面    option = buildFromYaml();  }  return option;}private static AKSKOption readFromFile() {  // 忽略缓存逻辑……  // 先尝试从环境变量CIPHER_ROOT中读取加密存储文件的目录    String cipherPath = System.getenv("CIPHER_ROOT");    if (cipherPath == null || cipherPath.isEmpty()) {      // 若不存在则从/opt/CSE/etc/cipher目录中读取      cipherPath = "/opt/CSE/etc/cipher";    }    String certFilePath = cipherPath + File.separator + "certificate.yaml";    File certFile = new File(certFilePath);    if (!certFile.exists() || certFile.isDirectory()) {      // 文件不存在时尝试从系统属性user.dir配置的目录中读取      certFile = new File(System.getProperty("user.dir") + File.separator + "certificate.yaml");      if (!certFile.exists() || certFile.isDirectory()) {        return null;      }    }    AKSKOption option = readFromFile(certFile);    return option;}可以看到CSEJavaSDK优先读取加密存储的AK/SK文件,读不到才去配置中找。而AK/SK加密文件的读取路径优先级从高到低分别是CIPHER_ROOT环境变量配置的目录、/opt/CSE/etc/cipher目录、user.dir系统属性配置的目录(这个少见)。常见问题分析思路当发生AK/SK认证失败的问题时,我们首先需要对问题有个基本的定界,即问题是出在AK/SK读取(解密)上,还是出在AK/SK的内容本身。如果是本地开发调试,那么这个问题很好确定,直接在AKSKManager的getCredential方法里打断点去看一下即可。如果是在线上部署运行的服务,那么只能看日志,凭经验来定位了。与AK/SK认证相关的日志关键词有这些:"read ak/sk from":显示AK/SK的来源是哪里,"read ak/sk from security storage file."表示服务实例从AK/SK加密存储文件中读取配置项的,"read ak/sk from microservice.yaml."表示服务实例从配置项中读物AK/SK的(注意,这里说的是配置项,包含了环境变量、系统属性以及配置文件,不单单是指microservice.yaml文件)。"add ak/sk cipher":加载AKSKCipher,cipher用于解密SK。CSEJavaSDK默认提供的cipher有default、security,default用于明文存储AK/SK的场景,security在AK/SK加密存储场景中使用。CSEJavaSDK使用SPI机制加载cipher,如果发现日志中没有打印加载default和security的内容,那么你就需要检查一下自己依赖的jar包了。"sign request failed ...... OSS_ROOT not properly set":当cipher为security时,CSEJavaSDK会去CIPHER_ROOT环境变量配置的目录里读取解密密钥文件common_shared.key和root.key,如果用户忘记配置CIPHER_ROOT了,就会打印这个错误。"Cipher decode error, will use original as plain!":SK解密失败时会打印此错误日志,常见的错误原因包括CIPHER_ROOT环境变量下没有密钥文件、程序没有权限读取密钥文件、Java没有开启高强度加密功能等。关于Java高强度加密功能,大家去网上搜一下JCE policy能找到解除限制的方法,较低版本的jdk8需要下载一个jce的jar包,高版本的直接修改jre目录下的lib/security/java.security文件配置即可,这个限制只存在于Oracle JDK中,OpenJDK没有此限制。AK/SK或project配置内容错误:当内容配置出错时,实际上AK/SK的读取加密过程并不会报错,只有等到CSEJavaSDK向CSE后端服务(sc/cc/monitor)发送请求时,才会拿到错误返回消息,错误信息包括如下类型:1. AK内容错误:401:Unauthorized, {"errorCode":"401002","errorMessage":"Request unauthorized","detail":"Get service token from iam proxy failed,{\"error\":\"get SK from AK from iam failed. error:Object Not Found - details: \"}"}2. SK内容错误:401:Unauthorized, {"errorCode":"401002","errorMessage":"Request unauthorized","detail":"Get service token from iam proxy failed,{\"error\":\"validate ak sk error\"}"}3. project配置错误:401:Unauthorized, {"errorCode":"401002","errorMessage":"Request unauthorized","detail":"Get service token from iam proxy failed,{\"error\":\"get project token from iam failed. error:http post failed, statuscode: 400\"}"}这些错误内容都是华为云服务的认证鉴权机制返回的,后期如果相关服务升级的话,也许返回的错误内容会有变化。但总之大家可以抓住关键的一点,就是如果前面的AK/SK加载过程都没有报错,只有连接CSE后端服务时拿到401的错误返回,那么你就需要检查一下自己的AK/SK、project是否配置对了。-D启动参数、环境变量、各个microservice.yaml文件都是需要排查的。至于project的配置,可以参考如何查看项目ID。project和你所连接的region是相关的,比如华北区连接的APIGateway地址就是https://cse.cn-north-1.myhuaweicloud.com ,project应该配置为cn-north-1。如果你不配置,CSEJavaSDK会尝试从sc地址中截取出来,但不一定能拿到正确的值,此时启动日志里面会打印提示信息,例如"The application missing project infomation, so choose a nearest one [cn-north-1]",就是在告诉你自动选取的project是cn-north-1。总结博主对AK/SK认证的了解大致也就是上面这些了,很多内容也只能提供一点参考和启发意义。项目实际运行的情况复杂多样,当大家遇到相关问题的时候还是需要根据上面提到的代码逻辑,结合自己服务的实际运行环境去分析,才能更好地定位问题。本文转载自【华为云微服务引擎】从代码机制看AK/SK认证问题
  • 5分钟-基于FunctionGraph构造无服务器图片鉴黄Web应用
    ServerlessServerless中文译为“无服务器”,最早可以追溯到2012年Ken Fromm发表的《Why The Future Of Software And Apps Is Serverless》[1],他描述了一种场景,从用户自己维护的物理机,到IaaS,再到PaaS,计算模式的转变并不会停止,在云计算基础设施成熟的情况下应用程序可以不需要考虑服务器的存在,无服务器计算让开发者可以在不考虑服务器的情况下构建并运行应用程序和服务。再到2016年,Mike Roberts在Martin Fowler的博客《Serverless Architectures》[2]中,将Serverless架构分为Backend as a Service(BaaS)和Functions as a Service(FaaS)。BaaS也就是后端即服务,即应用架构由大量三方云服务和API来组织,使应用中关于服务器的逻辑和状态都由服务提供方来管理。比如典型的单页应用(SPA)和移动APP这些富客户端应用,前后端的交互主要以Rest API调用为主,只需要调用服务提供方的API即可完成相应的功能,比如身份验证、数据访问等。FaaS可以被称为函数即服务,开发者可以直接将服务侧业务逻辑代码部署、运行在第三方提供的无状态计算容器中,开发者只需编写业务代码即可,无需关注服务器,且代码的执行是由事件触发的。一个Serverless的应用就是这样一个将BaaS和FaaS融合在一起的应用,用户关注于应用的业务逻辑代码,以函数为粒度将其运行在FaaS平台上,并和BaaS三方服务整合在一起,最后搭建一个完整的系统,整个过程完全无需关注服务器。Serverless的优势1、无需管理服务器开发者只需关注应用的业务逻辑,而无需关注服务器的存在,降低业务接入门槛,快速上线,提高开发和运维效率。2、灵活扩展、按需付费据Gartner和麦肯锡统计,全球的服务器CPU平均利用率只有6%到12%,大量应用的资源利用率是非常低下的,特别是对于负载波峰波谷明显的应用。而Serverless可以根据负载弹性伸缩,并按需付费,根据实际运行消耗的资源计费,且业务是以函数的粒度运行的,可以充分利用碎片资源,极大地减小运作成本。函数工作流FunctionGraph上面简单介绍了Serverless架构以及其优点之后,我们再介绍一下华为云的函数工作流(FunctionGraph,FGS)。函数工作流(FunctionGraph,FGS)是一项基于事件驱动的函数托管计算服务,托管函数具备以毫秒级弹性伸缩、免运维、高可靠的方式运行。通过函数工作流,开发者无需配置和管理服务器,只需关注业务逻辑,编写函数代码,以无服务器的方式构建应用,便能开发出一个弹性高可用的后端系统,并按实际运行消耗的资源计费。极大地提高了开发和运维效率,减小了运作成本。构建无服务器图片鉴黄web应用为了让大家对Serverless架构和函数工作流有更直观的了解,接下来我们将介绍如何通过函数工作流快速构建一个完整的无服务器的图片鉴黄Web应用,如下图,该应用接收用户上传的图片,并对图片进行分析,判断是否为**图片。试想,如果我们通过传统的模式开发此应用,需要如何开发?即使是基于现在的云平台,我们也仍需要购买云服务器,关注其规格、镜像、网络等各指标的选型和运维,然后在开发过程中可能还需要考虑与其他云服务的集成使用问题,使代码中耦合大量非业务代码,并且服务器等资源也并非是按需的,可能会造成大量多余的费用。现在我们可以通过函数工作流服务来快速构建这个系统,并且完全无需关注服务器,且按需运行,如图:创建函数,在函数中调用华为云内容检测服务提供的图片鉴黄接口,实现图片鉴黄功能,并为该函数配置一个APIG触发器,对外提供图片鉴黄的API,从而构建出一个完整的图片鉴黄无服务器后端。然后将Web页面的静态资源部署在对象存储服务(OBS)中,用户可以直接从OBS访问前端页面。用户上传图片时,页面调用前面构建的图片鉴黄API,他会自动触发函数执行,而开发者编写的函数只需实现接收到图片之后如何处理图片的逻辑(调用内容检测服务服务)即可,最后将结果返回给前端页面。至此,我们就构建了一个完整的无服务器图片鉴黄Web应用。现在,我们将介绍如何端到端地将此无服务器应用构建出来。后端API搭建:进入函数工作流服务函数创建页面,选择图片鉴黄模板。该模板已经提供了本应用中函数的代码,按照代码注释中的指示创建函数之后,就成功搭建了本应用的后端系统,为函数所创建的APIG触发器会提供一个调用该后端函数的HTTP(s) API,供外部系统(如前端页面)调用。创建成功后API的URL可以在函数详情页面的“触发器”栏看到:前端页面搭建:前端的展示形式有很多,这里我们提供了一份前端代码包供大家学习参考,可以将此代码包部署到OBS上,快速构建一个单页Web应用(SPA)。然后调用上一步后端提供的接口,连通后端系统,完成整个无服务图片鉴黄Web应用的构建。1、下载代码包并解压2、为了让前端页面访问您的函数,需要配置页面Rest请求的URL。修改代码包里/functiongraph/assets/config/apis.json文件中checkImage的值,更改为上一步“后端API搭建”中创建的APIG触发器URL,即您的后端API的访问地址。3、通过OBS托管前端页面。进入对象存储服务,创建一个OBS桶,将程序包文件逐个上传至该桶中。因为文件比较多,我们建议您下载 OBS Browser ,使用OBS Browser前,请先获取访问密钥。4、启动网站。进入桶的静态网站托管界面,单击静态网站托管,配置桶的默认首页为index.html。配置完成后,您就已经成功搭建了本案例的前端系统。您可以通过obs提供的访问地址访问您的前端页面,检测图片时,页面会发送请求到您的函数。总结通过上面端到端构建一个完整的无服务器图片鉴黄Web应用,我们可以发现Serverless的架构具有如下优点:无需关注任何服务器,只需关注核心业务逻辑,5分钟快速构建后端系统并上线,极大地提高了开发效率;函数运行随业务量弹性伸缩,按需付费,当创建的函数没有执行时,不计费。可以通过简单的配置连通函数工作流和其它云服务,甚至云服务和云服务,比如本例中只需创建一个APIG触发器便可完成API网关和函数工作流的连接,然后在函数中调用内容检测服务的鉴黄接口,那么函数就像一个粘合剂一样将两个云服务连接在一起。相关链接https://readwrite.com/2012/10/15/why-the-future-of-software-and-apps-is-serverless/https://martinfowler.com/articles/serverless.htmlhttps://console.huaweicloud.com/functiongraph/欢迎扫码查看更多精彩:
总条数:18 到第
上滑加载中