-
昨天分享了Apache Kudu在华为云上的编译和使用,今天继续选择Apache Impala这个项目,来手把手指导大家从源码开始构建一个本地的Impala集群,同时会预加载1GB规模的tpc-ds和tpc-h的测试集数据,然后进行熟悉的SQL交互查询操作。详情请点击博文链接:https://bbs.huaweicloud.com/blogs/174628
-
大数据系统又重又复杂,对于很多感兴趣、又想玩一把的同学来讲,门槛着实有点高,今天我选择了Apache Kudu这个项目,来手把手指导大家从源码开始构建一个本地的集群,然后进行简单的数据读写和集群管理。详情请点击博文链接:https://bbs.huaweicloud.com/blogs/174501
-
【准备CarbonData】参考:Apache CarbonData 2.0 开发实用系列之一:与Spark SQL集成使用【准备Hadoop】 1. 下载Hadoop 2.7.7 下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.7/详情请点击博文链接:https://bbs.huaweicloud.com/blogs/170472
-
【准备CarbonData】在浏览器地址栏输入以下链接,下载carbondata 2.0.1发布包链接:https://dist.apache.org/repos/dist/release/carbondata/2.0.1/apache-carbondata-2.0.1-bin-spark2.4.5-hadoop2.7.2.jar或者按以下指南编译carbondata源码详情请点击博文链接:https://bbs.huaweicloud.com/blogs/169357
-
出于安全考虑,最新发布的MRS1.9.3版本对部分存在严重安全漏洞的第三方开源组件进行了版本升级。这导致开源Kylin与MRS 1.9.3版本进行对接时存在Jetty的版本兼容性问题。经过对Jetty冲突类的分析排查,总结出以下对接方法,按以下步骤进行操作还是可以完成部署和对接的,发出来分享给大家。1. 参照如下链接在一个ECS节点进行MRS Client安装。我把MRS客户端安装在了/srv/client目录下。https://support.huaweicloud.com/usermanual-mrs/mrs_01_0091.html安装完成后需要导入环境变量。除了MRS客户端著名的bigdata_env之外,还需要HIVE_CONF和HCAT_HOME两个Kylin需要的环境变量。source ./bigdata_env export HIVE_CONF=/srv/client/Hive/config/ export HCAT_HOME=/srv/client/Hive/HCatalog2. 参照Kylin官方链接在以上MRS Client安装节点上安装Kylin,并指定KYLIN_HOME。MRS 1.9.3版本选择Kylin for HBase 1.x版本进行对接。安装其实就是解压缩,也没啥可说的,看官方指导就好了。http://kylin.apache.org/cn/docs/install/index.htmlexport KYLIN_HOME=/srv/client/apache-kylin-3.0.2-bin-hbase1x3. 移除Hive客户端目录下/srv/client/Hive/Beeline/lib/目录中以下jetty相关jar包以避免版本冲突。javax-websocket-server-impl-9.4.26.v20200117.jar websocket-server-9.4.26.v20200117.jar jetty-all-9.4.26.v20200117-uber.jar jetty-runner-9.4.26.v20200117.jar apache-jsp-9.4.26.v20200117.jar4. 启动Kylin服务,观察Kylin日志,正常情况下日志中不会再出现java.lang.NoSuchMethodException或java.lang.ClassNotFoundException这些兼容性异常。$KYLIN_HOME/bin/kylin.sh start5. 访问Kylin原生页面http://<hostname>:7070/kylin并运行样例 Cube 脚本${KYLIN_HOME}/bin/sample.sh验证kylin是否正常运行。
-
首先能以“php + 文件名”的形式执行成功,说明代码没问题。因为在代码中设置了:不检测服务器的证书是否由正规浏览器认证过的授权CA颁发的,不检测服务器的域名与证书上的是否一致。所以接口是单向认证。官方文档只在用postman调测这一章中提到要关闭证书校验,使Postman不再校验服务端的证书。把代码放到apache下,用浏览器访问代码,接口服务端返回的是400 No required SSL certificate was sent。这个是我不解的地方。
-
关于Apache ServiceCombApache ServiceComb 是开箱即用、高性能、兼容流行生态、支持多语言的一站式开源微服务解决方案,也是Apache基金会毕业的首个开源微服务框架。华为云的应用管理与运维平台ServiceStage,微服务引擎CSE均对ServiceComb提供很好的支持。云资源代金券免费领取2020.3.16~2020.3.25期间,用户可点击该链接免费领取一张100元云资源代金券。(链接会在活动开始时贴在此处)动手实验室Codelab互动活动 Codelab《一键式20分钟开发“体质指数”微服务应用》链接 将向你展示如何使用ServiceComb-Toolkit工具根据OpenApi契约一键式生成微服务脚手架,在规范开发流程的同时,实现微服务应用的快速开发。现在完成该Codelab,讲完成结果截图回帖,并回复互动话题,就可以赢取奖品。互通话题1、 你在实践微服务架构中遇到的痛点有哪些?2、 你最看重的微服务框架的能力(易用性,功能完善,高性能,生态兼容性,多语言支持性,开发效率等)有哪些?请说明原因。3、 你认为ServiceComb-Toolkit的如何发展会更加有利于提升你微服务应用的开发效率?参与方式直接在本帖回复codelab完成截图,并加上关于以上3个问题中的任意问题的理解或评论,欢迎大家多从自己实践经验的角度分享。本期奖品回帖参与本次讨论,回复与话题相关的原创内容,即可获得精美3合一数据线(总数量为8个,按回帖顺序先到先得)。(奖品于活动结束后邮寄发放,需提供地址,会通过站内信收集)
-
1、简介Apache Shiro是一个功能强大且易于使用的Java安全框架,为开发人员提供了一个直观而全面的解决方案,用于身份验证、授权、加密和会话管理。官方链接:http://shiro.apache.org类别:工具&插件 2、基础环境类别子项版本获取地址(方法)华为云虚拟机KC1(920)--OSCentOS7.7Kernel4.14架构aarch64运行环境Java 1.8软件包shiro1.4.1https://www-eu.apache.org/dist/shiro/1.4.1/shiro-root-1.4.1-source-release.zip 3、依赖安装参考《华为鲲鹏云服务最佳实践-maven-3.6.0 安装配置指南》参考《华为云鲲鹏云服务最佳实践-JDK-1.8.0 安装配置指南》4、组件编译下载和解压:wget https://www-eu.apache.org/dist/shiro/1.4.1/shiro-root-1.4.1-source-release.zipunzip shiro-root-1.4.1-source-release.zip编译和运行:cd shiro-root-1.4.1/samples/quickstartmvn compile exec:java 在/shiro-root-1.4.1/samples/quickstart/src/main/java/Quickstart.java文件里添加一行代码: log.info("\n====This is Quikstart Exampel.It is done!====");//增加代码行 在/shiro-root-1.4.1/samples/quickstart目录下执行命令mvn compile exec:java可以看到增加的代码成功执行:5、系统配置无6、测试无7、参考信息无8、FAQ无
-
1、简介Atlas是Hadoop的数据治理和元数据框架。Atlas是一组可扩展和可扩展的核心基础治理服务,使企业能够有效,高效地满足Hadoop中的合规性要求,并允许与整个企业数据生态系统集成。Apache Atlas为组织提供了开放的元数据管理和治理功能,以建立其数据资产的目录,对这些资产进行分类和治理,并为数据科学家,分析师和数据治理团队提供围绕这些数据资产的协作功能。官方地址:http://atlas.apache.org/类别:大数据2、基础环境类别子项版本获取地址(方法)华为云虚拟机KC1(920)--OSCentOS7.6kernel4.14软件包apache-atlas0.7-rc2https://github.com/apache/atlas/archive/release-0.7-rc2.tar.gzmaven3.5.0https://archive.apache.org/dist/maven/maven-3/3.5.0/binaries/apache-maven-3.5.0-bin.tar.gzjava 1.8.0_222Repo源自带3、依赖安装 无4、组件编译安装github下载解压altas包 $ useradd test $ su - test$ cd /home/test$ wget https://github.com/apache/atlas/archive/release-0.7-rc2.tar.gz$ tar xf release-0.7-rc2.tar.gz$ cd atlas-release-0.7-rc2/编译安装 $ export MAVEN_OPTS="-Xms2g -Xmx2g"$ mvn clean -DskipTests package -Pdist,embedded-hbase-solr //这里使用内嵌sorl和hbase方式去编译,测试场景 编译出来的tar包在:/home/test/atlas-release-0.7-rc2/distro/target 5、系统配置 无6、测试无7、参考信息 安装可参考:http://willseeyou.github.io/atlas/2016/10/31/apache-atlas-install.html 官方配置文件document:http://atlas.apache.org/0.7.0-incubating/index.html8、FAQQ:编译报错,参考下图 A:这是由于默认下载到本地仓库的node为x86架构方法一:下载对应版本的aarch64版本放到本地仓库中,$HOME/.m2/repository/com/github/eirslett/node/4.4.2cd /home/test/.m2/repository/com/github/eirslett/node/4.4.2wget https://nodejs.org/download/release/v4.4.2/node-v4.4.2-linux-arm64.tar.gztar xf node-v4.4.2-linux-arm64.tar.gzmv node-v4.4.2-linux-arm64 node-v4.4.2-linux-x64 tar zcf node-v4.4.2-linux-x64.tar.gz node-v4.4.2-linux-x64方法二:可以适配pom.xml,暂未找到其定义的下载源Q:编译安装过程报错如下 A:忽略即可,一些组件版本过低 Q: 启动./quick_start.py,报错如下 A:cp /home/test/atlas-release-0.7-rc2/webapp/target/atlas-webapp-0.7-incubating.war /home/test/atlas-release-0.7-rc2/distro/target/server/webapp/atlas.war 启动./atlas_start.py
-
1、简介ab是Apache Benchmark的缩写,是Apache组织开发的一款web压力测试工具,优点是使用方便,统计功能强大。2、基础环境类别子项版本获取地址(方法)华为云虚拟机KC1(920)--OSCentOS7.7Repo源自带Kernel4.14Repo源自带软件包Ab-Repo源自带3、依赖安装 无4、组件编译安装yum install httpd-tools5、系统配置 无6、测试ab -n 100 -c 100 https://www.baidu.com/常见参数说明-n 请求次数-t 请求时间,单位秒-c 并发数 7、参考信息 无8、FAQ无
-
【摘要】 华为云 EI 布道师分享 Apache 的故事今年是 Apache 软件基金会20周年庆,作为一家全球性的以开发开源软件为公共利益的慈善组织,正在变得更加的多元化、日渐丰富与完善。从本土软件产业的角度而言,须以站在世界的角度来认识、参与、贡献,进而领导,让更多的人受益。从个人而言,就是要经历观察、学习、奋斗、参与的过程。目前 ASF 全球活跃成员(Member)有700多名,其中华人约有28名,目前住址在中国的有 10 位(其中今年新当选 6 位华人里住址在中国的有 3 位)。这三位来自中国新当选的 ASF Member 分别是陈亮,堵俊平(请参考开源社公众号4月18日发布的文章),张乎兴。今天为大家推荐的故事是新当选的 ASF Member - Apache CarbonData 项目委员会主席 - 陈亮,这是一个关于本土开发者成长的历程,一个让我们从中看出崛起与趋势的走向。Apache CarbonData 作为本土企业里第一个捐赠给 ASF 的开源项目、第一个走入 ASF 孵化器、也是第一个从 ASF 孵化器顺利毕业成为顶级项目的本土开源项目。作为一个本土大企业内第一位开路先锋的筚路蓝缕、披荆斩棘正是点滴在心头,如今贡献社区成就自身,当选为 ASF Member ,可谓是实至名归。以下陈亮将为大家娓娓道来。陈亮简介 :2005年加入华为,一直从事大数据和 AI 相关的研发工作,对开源软件有深入理解。“下面以华为云 EI 布道师身份给大家分享下我的 Apache 故事。”01 我的Apache故事前言很高兴2019年4月受邀成为全球最大开源社区 Apache 软件基金会的 Member ,ASF member 与 Apache 项目 PMC/Committer 主要的区别是,前者是参与基金会层面的事务,后者是具体项目层面的事务。今年也是 Apache 基金会成立20周年,为帮助中国更多的项目和个人参与到 Apache,社区朋友建议我抽空分享下我的 Apache 故事和经验。我的 Apache 故事与华为的 Apache 相关的大数据开源历程几乎一样,在华为很难找出第2个人,像我这样全程参与了整个工作。02 开启 Apache 之旅 2011-2014年我被外派到华为印度研究所,负责软件平台工作,当时根据印度员工两个优势(语言+软件),公司将大数据开源相关业务交由我的团队负责。华为在 2012 年 HBase 峰会上,分享并开源了 HBase 二级索引方案 hindex https://github.com/Huawei-Hadoop/hindex 这在业界引起极大的反响和关注,有人认为,如果华为早点公布这个方案,HBase 多列组合快速查询的问题早就解决了。我是在 2012 年开启了 Apache 之旅,开始研究开源文化和 Apache Way 的精髓,下面这些理念,我个人比较认可,分享给大家,摘自艾里克.斯蒂芬.雷蒙《大教堂与集市》,“只要眼球足够多,所有臭虫都好捉”,开源软件和开放性内容兴起的背后是社会信息结构变革。技术和知识在公共领域的畅通促进发展、公平和机遇,破除与经济和政治权力绑结的知识垄断。然而草根能量需要一个健康的进化机制来真正推动社会的进步,其中核心是知识生产和传播的可靠性、可信度。 03 参与 Apache 社区,积累个人的功勋值 ( Merit ) 几乎所有知名的大数据开源软件全在 Apache 基金会下管理,每天社区都在发生很大的变化。华为是业界最早提供大数据套件发行版厂商之一,为了给客户提供稳定可靠的大数据软件,我们积极参与 Apache 大数据项目的内核特性开发,并贡献回馈到开源社区,多次在华为公司园区内组织 Apache 项目线下技术交流(2014年与陈超@七牛云技术总监,一起组织了杭州第一次 Apache Spark 技术 Meetup)2016年华为将研究开发多年的大数据项目 CarbonData 开源,并捐赠给 Apache 软件基金会,进入 Apache Incubator(孵化器),经过来自华为、Intel 、Talend 、交通银行、上汽、携程等众多公司架构师和开发人员的努力,CarbonData 经过不到一年的时间,于2017年4月顺利地由孵化器毕业,正式成为 Apache 社区顶级项目,并由我本人担任此项目的 PMC Chair(项目委员会主席)。在此要特别感谢3位 Apache mentors(孵化项目导师 - 法国人 JB,印度人 UMA,印尼裔 Henry)对 Apache CarbonData 项目的贡献和帮助。同时也要感谢 Apache Kylin 项目负责人 Luke Han (韩卿),前期给了不少指导。这几年参与 Apache 项目,积累了大量经验,希望可以帮助到更多项目进入 Apache 孵化,回馈社区。由于端到端负责过 Apache 孵化项目,且参与过多个 Apache 社区项目(Hadoop 、Spark 、Flink 、Hive等),我很快被 Apache Incubator(孵化器)接纳为 PMC 成员。除了未曾担任 Apache 基金会的 Board Member 和 Officers,基本上 Apache 其他所有的角色,我都担任过。(User->Contributor->Committer->PMC->PMC Chair->Member->IPMC)04 Apache 经验共享Apache Way 总结:开源项目到 Apache 的关键路径:Apache 、Linux 开源社区的对比分析:本人总结的一套 Committer 脚本: git clone https://git-wip-us.apache.org/repos/asf/projectname cd projectname git remote rename origin apache git remote add github https://github.com/apache/projectname git config --local --add remote.github.fetch '+refs/pull/*/head:refs/remotes/github/pr/*' git fetch --all git checkout -b pr-1062 github/pr/1062 git rebase -i apache/master (-i squash some commits.) pick fda59df commit 1 squash x536897 commit 2 squash c01a668 commit 3 (This means, you take the first commit, and squash the following onto it) git log -- get the commit info git checkout apache/master git cherry-pick 0e1c3b09ccc3493ca50a0a41ae993260a9a30493(To be merged PR's commit info) git commit --amend -m "PR title" -m "PR description" -m "This closes #1062" git push apache HEAD:master05 感想、收获早期国内有 Apache 孵化项目经验的人还比较少(2015年时只有 eBay 中国研究院的3个 Apache 孵化项目),不像现在这么多(目前源自中国的 Apache 顶级项目有8个,Apache 孵化项目有6个),有些问题可以直接问,少走弯路。当时 CarbonData 在孵化时,也碰到了很多问题和挑战,解决问题的办法就是去仔细阅读 Apache 官网的规定,以及去学习社区 Mailing list(邮件列表)大家曾经讨论过的问题。在 Apache 社区绝大多数人都是很 OPEN 和 NICE 的,当有人对你的项目提出问题时,其实别人是在帮助你的项目,切记不能用带着情绪化的语言去回复和争吵,且回复时就在公共的 mailing list 里公开答复。(之前有一个例子,项目成员私信去和提问题的人确认问题,最后被人家拿出来说事,被质问为什么不在社区公开讨论,结果囧大了!)参与 Apache 开源社区,确实要花很多时间去做贡献,但相比收获、学习到的知识、朋友、人脉等,一路走来,绝对值得!社区福利(数量有限,仅限前50名):如想获得华为云 ModelArts 免费云资源使用券,可以联系 chenliang613@apache.org 。(ModelArts 是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期 AI 工作流)---------------作者:简单的坚持原文链接:https://bbs.huaweicloud.com/blogs/63207406701811e9bd5a7ca23e93a891
-
Q:用Postman测试接口可以调通过,swagger-ui页面测试我的接口经常出现connect: connection timed out.A:确认下frontend跟你的应用网络是否通,servicecomb的swagger-ui现在是proxy模式,不是直连Q:准备使用servercomb,下载了center和demo项目,demo项目一直提示ERROR 9868 --- [ntloop-thread-0] o.a.s.s.client.http.RestUtils ......message: Connection timed out求指点A:1.httpaddr/httpport of your service center conf2.service registry address in your microservice.yamlQ:restschema与rpcschema两种方式在性能上有区别吗?A:@RestSchema 注解用于 SpringMVC 和 JAX-RS 两种服务开发风格,而 @RpcSchema 注解用于透明RPC开发风格,这两种注解的差异主要体现在服务端代码开发风格和契约生成模式上。Java-Chassis有一个隐式契约功能,可以让框架根据服务端接口代码自动生成服务契约。由于 SpringMVC 和 JAX-RS 开发风格会在REST接口上打上各种注解,有利于框架生成更符合REST风格的契约;而透明RPC模式由于接口上没有注解,Java-Chassis框架无法确定接口语义以及各个参数在HTTP请求中的位置,因此所有的接口都会作为 POST 接口处理,请求参数都会包装到HTTP请求的body中。这样的契约不太符合REST风格。因此,Java-Chassis更推荐用户使用 @RestSchema 注解开发服务端接口,这样用户只需要写代码,就能让框架自动生成符合REST风格的服务契约。Java-Chassis的传输模型和编程模型是解耦合的。传输模型方面,Java-Chassis支持REST和highway,其中REST又分为以Vert.x作为底层通信框架的REST over Vertx和以Tomcat之类的servlet容器为底层通信框架的REST over Servlet。Java-Chassis的性能主要受传输模型的影响。当用户选择了一个确定的传输模型后,无论他在服务端选择的是哪种编程模型性能都是差不多的。最后,Java-Chassis在客户端代码开发风格上提供了RPC开发模式和RestTemplate开发模式,在其他条件完全相同的情况下,RPC开发模式的性能比RestTemplate高,因此更推荐使用RPC模式编写consumer端代码。http://zhibo.huaweicloud.com/?referVisitorId=oiOYo0XLXIVOMO-ACc9q2cKXGOFQ&c=activity&a=live&id=151108&from=timeline&isappinstalled=0这里视频有说明性能比较数据Q:Caused by: java.lang.IllegalStateException: The schema(id=[calculatorRestEndpoint]) content held by this instance and the service center is different. You need to increment microservice version before deploying. Or you can configure service_description.environment=development to work in development environment and ignore this error 在bmi例子上做修改,报上面这个错,怎么解决啊?A:这通常是因为你修改了REST接口定义,但是既没有升级微服务版本号,也没有把环境配置成开发环境,所以ServiceComb启动实例检查契约的时候发现契约内容不一致,就报错了。可以考虑升级一下微服务版本号,或者在microservice.yaml文件里面配置一下service_description.environment=development,或者等sc里面的服务实例下线后,把微服务信息删掉重新注册。Q:有谁知道吗?除了注解方式@RequestHeader,还有什么方法可以在Controller中拿到request中的header参数?目前测试发现HttpServletRequest没法拿到A:如果这个Header参数定义在了你的接口契约里,那你的REST接口方法能直接拿到header参数。否则可以扩展一个HttpServerFilter从requestEx参数里面拿header,也可以在你的REST接口里面加上HttpServletRequest参数,从里面拿到headerQ:如何将一个服务部署多个,实现自动减压的?是在配置文件上设置,还是使用其他工具实现。给个链接谢谢。A:https://docs.servicecomb.io/java-chassis/zh_CN/references-handlers/loadbalance.htmlQ:The Service pv-web's instance 62d30daeed5011e8af2f00e081ba3ef7 has been isolated for a while, give a single test opportunity. org.apache.servicecomb.loadbalance.filter.IsolationDiscoveryFilter.allowVisit(IsolationDiscoveryFilter.java:119)?A:你贴出来的日志表示pv-web服务的某个实例被隔离了,现在已经经过了一段时间,Java-Chassis框架在尝试将一个请求路由到该实例,看看它能否被调通,如果调通了的话,这个实例就会从隔离状态恢复过来。https://docs.servicecomb.io/java-chassis/zh_CN/references-handlers/loadbalance.html 请参考这篇文档的“实例隔离功能”。Q:启动ServiceComb-java-chassis项目 sample/codefirst-sample 目录里的 CodeFirstProviderMain,例子程序怎么启动不起来?Caused by: java.lang.NoSuchMethodError: org.apache.commons.lang3.reflect.MethodUtils.getMethodsWithAnnotation(Ljava/lang/Class;Ljava/lang/Class;ZZ)[Ljava/lang/reflect/Method; at org.apache.servicecomb.foundation.common.event.SimpleEventBus.collectSubscribers(SimpleEventBus.java:41) at java.util.concurrent.ConcurrentHashMap.computeIfAbsent(ConcurrentHashMap.java:1660) at org.apache.servicecomb.foundation.common.concurrent.ConcurrentHashMapEx.computeIfAbsent(ConcurrentHashMapEx.java:56) at org.apache.servicecomb.foundation.common.event.SimpleEventBus.register(SimpleEventBus.java:51) at org.apache.servicecomb.serviceregistry.task.AbstractTask.<init>(AbstractTask.java:38) at org.apache.servicecomb.serviceregistry.task.AbstractRegisterTask.<init>(AbstractRegisterTask.java:28) at org.apache.servicecomb.serviceregistry.task.MicroserviceRegisterTask.<init>(MicroserviceRegisterTask.java:47) at org.apache.servicecomb.serviceregistry.task.MicroserviceServiceCenterTask.<init>(MicroserviceServiceCenterTask.java:28) at org.apache.servicecomb.serviceregistry.registry.AbstractServiceRegistry.createServiceCenterTask(AbstractServiceRegistry.java:201) at org.apache.servicecomb.serviceregistry.registry.AbstractServiceRegistry.init(AbstractServiceRegistry.java:106) at org.apache.servicecomb.serviceregistry.registry.RemoteServiceRegistry.init(RemoteServiceRegistry.java:54) at org.apache.servicecomb.serviceregistry.RegistryUtils.init(RegistryUtils.java:66) at org.apache.servicecomb.core.CseApplicationListener.setApplicationContext(CseApplicationListener.java:48) at org.springframework.context.support.ApplicationContextAwareProcessor.invokeAwareInterfaces(ApplicationContextAwareProcessor.java:121) at org.springframework.context.support.ApplicationContextAwareProcessor.postProcessBeforeInitialization(ApplicationContextAwareProcessor.java:97) at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.applyBeanPostProcessorsBeforeInitialization(AbstractAutowireCapableBeanFactory.java:409) at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.initializeBean(AbstractAutowireCapableBeanFactory.java:1622) at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.d**ateBean(AbstractAutowireCapableBeanFactory.java:555) ... 13 moreA:用户本地工程的lang3包没有更新到ServiceComb配套的版本,解决方法:1.在用户本地工程的pom.xml点击鼠标右键,选择执行 maven -> reimport2.在用户本地工程的pom.xml点击鼠标右键,选择执行 maven -> Show effective pom,确认其中的lang3是:<dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-lang3</artifactId> <version>3.6</version> </dependency>Q:ServiceComb配置中心支持“配置更新后自动刷新到服务”,如果服务有多个节点,是如何实现的?想来如果是API调用刷新不能确定刷到每个节点,是否cse client端有消息流和配置中心连接呢?类似于企业总线。如果是消息总线,那么业务服务里,需要配置消息总线的url等信息吗? A:微服务需要配置中心地址。定期pull配置,或者建立websocket链接采用push机制Q:在 ServiceComb-CRM-WorkShop 例子中 边缘服务afterReceiveRequest方法 在调用String userName = template.getForObject("cse://"+USER_SERVICE_NAME + "/validate?token={token}", String.class, token)时候,第一次调用正常后边调用会出现阻塞线程问题,报错:Thread Thread[transport-vert.x-eventloop-thread-4,5,main] has been blocked for 5433 ms, time limit is 2000A:ServiceComb的Edge Service默认工作于高性能的reactive模式,此模式要求工作于Edge Service转发流程中的业务代码不能有任何的阻塞操作。该问题是由于用户业务模型无法满足reactive要求,因此,可以通过修改微服务的配置文件,使用ServiceComb提供的同步线程池模式解决。使用指南可以参考:https://docs.servicecomb.io/java-chassis/zh_CN/edge/by-servicecomb-sdk.htmlQ:spring mvc项目中实现的filter,切换到微服务后,全部不起作用了,是不支持springmvc里边的filter了吗?用户工程同时添加了springboot和provider-springmvc的依赖:<dependency> <groupId>org.apache.servicecomb</groupId> <artifactId>spring-boot-starter-provider</artifactId> </dependency> <!-- springmvc支持 --> <dependency> <groupId>org.apache.servicecomb</groupId> <artifactId>provider-springmvc</artifactId> </dependency>A:问题原因是因为springmvc和ServiceComb REST是两套不同架构,用户将基于springmvc的项目切换到ServiceComb后,还需要基于ServiceComb REST规则对老的filter做微调,ServiceComb提供相关的架构迁移案例,详情可以参考:1.不同框架之间迁移改造可能工作量的评估指南:https://bbs.huaweicloud.com/blogs/ba7b62178cb811e89fc57ca23e93a89f 可以参考下2.在Spring Boot中使用ServiceComb:https://huaweicse.github.io/cse-java-chassis-doc/using-cse-in-spring-boot/using-cse-in-spring-boot.htmlQ:ServiceComb支持thymeleaf吗?A:这个是个web框架,需要在web容器里面运行,其实和servicecomb是两个完全独立的东西了。servicecomb也支持在web容器里面运行,理论上两个都可以放到一起跑,但我们没用过这个框架。 https://docs.servicecomb.io/java-chassis/zh_CN/build-provider/protocol/rest-over-servlet.htmlQ:原来的那些过滤器都失效了,怎么做才可以既保持原有的能力,又可以把需要发布的接口通过@RestSchema申明出去?A:因为是两个不同的运行时,涉及到“框架内部机制”,而不仅仅是“形式”上的东西。 结合功能,一般都有对应的解决方案的。附上一个简单的不同框架之间迁移改造可能工作量的评估指南: https://bbs.huaweicloud.com/blogs/ba7b62178cb811e89fc57ca23e93a89f 可以参考。 Q:群里有人压过 servicecomb 同步restful 和 spring boot的restful的差距吗?A:网上有很多对比分析,我们也有测试过。一般标准的虚拟机4u8g,差不多分别是5万单位和1万单位。servicecomb restful和其它rpc框架,比如grpc,dubbo,tars等在一个差不多的水准,即5万单位。和调优方式,测试方法不同,会有一些偏差。Q:蓝云上安装了mysql,启动alpha的jar包,直接跑saga源码里的saga-servicecomb-demo,能成功体验事务,照着saga源码里的saga-servicecomb-demo写了个一模一样的工程,是springboot接入servicecomb,调用却出了问题,子事务那边报空指针异常,globalTxId,parentTxId都为null, localTxId有值;自己没找出原因,谁了解这块的帮个忙看下吧,代码地址是:https://github.com/weichao666/sagademoA:saga demo的那个问题解决了,如果使用java chassis1.0.0版本,需要引入guava20.0版本,否则启动报错,注解和调用链正确配置的情况下,使用java chassis1.1.0-SNAPSHOT版本是没问题的,java chassis1.0.0版本使用的guava是19.0Q:ServiceComb中的同步 restful 需要特殊配置吗?A:除edge service之外,ServiceComb的restful默认都是同步的,不需要特殊配置。今天的FAQ精选问题总计20个,可以手动收藏一下哦~And小蜜蜂欢迎来我们社区提问笔芯关注我们~
-
云早报,(北京时间)1月9日,星期三【云头条】阿里 7 亿元收购 Apache Flink 商业公司 DataArtisans据欧洲外媒Deutsche Startups报道,阿里巴巴集团以1.033亿美元(9000万欧元)的价格收购了总部位于柏林的初创公司Data Artisans。Data Artisan成立于2014年,专门提供为公司企业部署大规模数据处理解决方案的服务。该公司的解决方案可以实时管理和部署这类数据,以便客户更合理更快速地做出决策。【华为云新闻】一场历时3个月的编程马拉松,终于揭晓赛果了前不久,历时三个月的AII首届工业APP开发与应用创新大赛落下帷幕。这场大赛由工业互联网联盟(AII)主办,华为技术有限公司、北京索为系统技术股份有限公司、沈机(上海)智能系统研发设计有限公司、北京寄云鼎城科技有限公司承办,基于工业APP应用场景,围绕研发设计、生产制造、应用服务三个方向,面向全国公开征集工业APP开发,旨在打造贴合企业实际需求的工业级应用,提升企业数字化水平,从而推动中国工业互联网的繁荣发展。(查看全文)【互联网新闻】1.小米午后大跌,股价又创新低截至今天下午14点04分28秒,小米集团午后大跌6.83%,报11.18港元。其中,小米今日最低报11.06港元,创下上市以来新低。摩根大通发表报告表示将调低对小米集团投资评级,由原来“增持”降至“中性”,将对其今年底目标价,由原来18港元降至10.5港元。而晚间,据彭博社报道,小米公司股票为期6个月的锁定期将于本周三到期。届时,将有30多亿股股票被解禁,相当于已发行股票的约19%。网友评论:雷布斯还能带着买了人生第一支股票的年轻人飞吗......2.中央政法委成立联合调查组,调查最高法千亿矿权案卷宗丢失据中国长安网,针对网上反映最高人民法院二审审理的陕西榆林凯奇莱能源投资有限公司诉西安地质矿产勘查开发院合作勘查合同纠纷案卷宗丢失等问题,近日,由中央政法委牵头,中央纪委国家监委、最高人民检察院、公安部参加,成立联合调查组依法依纪开展调查,相关事实查清后将向社会公布。网友评论:小崔说事第二期~3.华为辟谣:种植水稻系谣言1月8日晚间,针对网络上出现“华为宣布与袁隆平公司合作培养水稻”等消息,华为发布声明称,此消息不属实,华为没有任何从事水稻种植业务的计划,也没有发布任何与此相关的消息。声明强调,当前,华为不会进入不擅长且没有优势的行业。网友评论:我都以为是真的了!4.英特尔发布多款新品 涉及PC/AI/5G智东西1月7日拉斯维加斯现场报道,英特尔今天围绕PC、AI、5G、数据中心发布了数款芯片产品。英特尔推出六款第九代酷睿处理器芯片产品;推出第一款10mn的个人电脑处理器Ice Lake,搭载该芯片平台PC设备预计在2019年假期(圣诞季)推出;预览了客户端平台Lakefield,采用混合CPU架构和3D封装技术,采用10mn工艺,预计2019年下半年面世。面向数据中心场景,英特尔推出专门面向5G无线接入和边缘计算的、基于10纳米制程工艺的网络系统芯片Snow Ridge;基于10纳米工艺的英特尔至强可扩展处理器Ice Lake,预计于2020年出货。此外,英特尔还宣布推出面向AI的云端推理侧的Nervana神经网络推理处理器。5.IBM发布全球首个独立商用量子计算机1月8日消息,据报道,在2019 CES上,IBM宣布推出IBM Q System One,该系统是世界上首个专为科学和商业用途设计的集成通用近似量子计算系统。此外,IBM还计划于2019年在纽约Poughkeepsie开设首个IBM Q量子计算中心。据悉,该系统目标是解决当前经典系统无法处理的被认为是过于复杂的问题,帮助开发者构建量子计算机与常规架构计算机之间的接口。网友评论:国内的研究要加速了~6.雷军关注知乎问题:为什么小米不是民族骄傲小米公司创始人兼董事长雷军知乎个人主页显示关注了问题,“同样是国产手机,为什么华为是民族品牌,而在印度市场占有率第一的小米却不是民族骄傲?网友评论:雷军:Are you ok?7.ofo方回应海外事业部解散:称系正常业务调整引述中国企业家杂志消息,据ofo海外事业部员工透露,1月8日上午,ofo海外事业部总经理Jeremy Chen(陈钰瑄)宣布部门解散。对此,ofo方回应称系正常业务调整。据该员工透露,海外事业部目前有50多名员工,陈钰瑄口头给大家提出了三个方案:调岗至国内业务部门,直到今年4、5月只发放一半薪水,届时将有赔偿方案;1月10日之前离职,12月及1月薪水正常发放,没有赔偿;1月10日之前不离职或转岗,12月薪水发一半,1月薪水不发。目前ofo海外事业部在香港、新加坡、美国、法国、意大利及英国等国家和地区还有业务,未来这些业务是移交国内相关部门运营还是撤退,还未出台具体方案。网友评论:眼见他起高楼,眼见他宴宾客,眼见他楼塌了。8.格力电器再度全员加薪:人均加薪1000元,总薪酬增10亿继2016年12月和2018年2月25日全员加薪后,1月8日消息,格力电器发内部文件,再度宣布全员涨薪,总增加薪酬在10亿元以内,人均加薪1000元。具体实施岗位包括:技术类岗位、管理类岗位,技术类岗位和生产与辅助类岗位。网友评论:董明珠逆势给员工加薪,是连任的第一步吗?9.阿里最近调整不断继昨天“马云退出淘宝”的消息之后,今天又有信息显示,1月2日,蚂蚁金服全资控股公司“蚂蚁智信(杭州)信息技术有限公司”法定代表人和执行董事发生变更,已经由彭翼捷变更为胡喜。另外,今天还传出支付宝已经在去年12月份改名瀚宝的消息。对此蚂蚁金服回应称:近期会对蚂蚁旗下的一些公司名称、法定代表人或执行董事进行变更,这都属于常规的公司内部治理,至于大家熟悉的支付宝和蚂蚁金服都不会发生变化。网友评论:好了,都散了吧。10.任天堂表示如果市场发生变化它可能会停止制造游戏机据日经新闻报道,任天堂公司总裁Shuntaro Furukawa在接受日经新闻采访中表示:“我们(任天堂)并没有真正关注我们的游戏机。”Shuntaro Furukawa 表示:“目前我们正在提供独特的Nintendo Switch及其软件,其目的是向消费者提供任天堂体验,但是技术发生了变化,随着时间的推移,我们将继续灵活思考如何提供这种体验。”任天堂已售出约2300万台Switch,预计2019年将再销售1730万台,因此它不会在短期内停止制造这款游戏机。Shuntaro Furukawa表示,任天堂游戏机以来已有30多年了,现在任天堂唯一的事情就是下一步该做什么。从长远来看,也许我们企业的重点可能会从家用游戏机转移到其它方面。网友评论:任天堂的粉丝答应吗?今日话题:同样是国产手机,为什么华为是民族品牌,而在印度市场占有率第一的小米却不是民族骄傲?【本周新闻】“她拍”状告腾讯云 要求索赔一亿元(北京时间)1月7日,星期一华为发布基于ARM架构的鲲鹏920处理器(北京时间)1月8日,星期二【更多内容,欢迎访问】http://forum.huaweicloud.com/forum.php?mod=forumdisplay&fid=569&filter=typeid&typeid=266(内容来源于互联网,如侵犯您的合法权益或有其他任何疑问,请联系:huaweicloud.bbs@huawei.com沟通处理。谢谢!)
-
(转自https://developer.huawei.com/ict/forum/thread-47429.html 感谢@夏佳伙伴的分享)一、PHP调用北向接口认证。证书可以参看:https://bbs.huaweicloud.com/forum/thread-13234-1-1.html 该帖laravel框架guzzle调用示例:备注:client.pem可以使用上贴中密钥和证书的生成二、本地搭建ssl服务器接收平台推送消息(windows环境)1、检查apache的bin目录下是否有openssl2、配置文件中开启ssl在httpd.conf文件中打开下列两项#LoadModule ssl_module modules/mod_ssl.so#Include conf/extra/httpd-ahssl.conf3、自建CA、签发服务端证书a、在apache配置文件夹目录相继建立以下文件夹和文件b、生成CA私钥(在demoCA目录下执行相关命令)openssl genrsa -out cakey.pem 1024c、利用CA的私钥产生CA的自签署证书openssl req -new -x509 -days 365 -key cakey.pem -out cacert.pem -config ..\openssl.cnfd、生成服务器的私钥openssl genrsa -out server.key 1024e、 生成服务器证书签署申请openssl req -new –out server.csr -key server.key -config ..\openssl.cnff、.利用CA为网站服务器签署证书openssl ca -in server.csr -out server.crt -cert cakey.pem -keyfile cacert.pem -config ..\openssl.cnfg、配置服务器ssl访问()配置文件如下:h、利用外网端口代理到本地电脑上实现外网可访问本地网站i、将自建的CA根证书配置到OceanConnection后台即可
-
【微服务直播】Netty和Vert.x在Apache顶级项目ServiceComb中的应用 直播时间:11月29日19:30-20:30 【直播介绍】Netty是Java高性能网络编程的明星框架,互联网公司程序员必须掌握的基础组件。Netty将Java NIO接口封装,提供了全异步编程方式,是个大Java项目的网络应用开发必备神器。Vertx,是一个基于JVM、轻量级、高性能的应用平台,非常适用于移动端后台、互联网、企业应用架构。Vert.x框架基于事件和异步,依托于全异步Java服务器Netty,并扩展了很多其他特性,以其轻量、高性能、支持多语言开发而备受开发者青睐。ServiceComb,业界第一个Apache微服务顶级项目, 是一个开源微服务框架,提供了一套包含代码框架生成,服务注册发现,负载均衡,服务可靠性(容错熔断,限流降级,调用链追踪)等功能的微服务框架。华为微服务引擎CSE(Cloud Service Engine)提供ServiceComb商业版。本期直播将为你系统讲解:Netty在Apache顶级微服务项目ServiceComb中的实践!华为软件总工程师指点迷津,让你从一个技术小白成为技术专家!【直播议题】何为Netty,Vertx,与ServiceComb有何关系?ServiceComb支持同步和异步调用,如何实现异步转同步?ServiceComb如何实现Reactive机制,与Netty的NIO线程有何关系 vs Netty的Reactor线程模型从API接口契约、协议标准化等角度解读ServiceComb同时支持的Highway和私有RPC协议 vs 内部RPC使用HTTPS的进阶之路ServiceComb与HTTP/2ServiceComb实战利器之性能统计,通信队列排队、还是工作线程阻塞,统统帮你搞定 vs 《Netty进阶之路》之性能统计Netty本身不支持HTTP连接池,ServiceComb是如何实现连接池【大咖来袭】Netty专家 Mr.李10年Java NIO通信框架、平台中间件架构设计和开发经验,《Netty进阶之路:跟着案例学Netty》《Netty权威指南》、《分布式服务框架原理与实践》作者。目前在华为终端应用市场负责业务微服务化、云化、全球化等相关设计和开发工作。福利环节:观众参与直播提问互动,将有机会获得作者签名版《Netty进阶之路》!华为软件总工程师 Mr.吴华为微服务CSE架构师,Apache全球首个微服务顶级项目ServiceComb社区首席Committer,设计和实现加载框架、通讯协议、服务契约、服务治理等核心能力。直播课程入口:http://zhibo.huaweicloud.com/watch/2578836
上滑加载中
推荐直播
-
全面解析华为云EI-API服务:理论基础与实践应用指南
2024/11/29 周五 18:20-20:20
Alex 华为云学堂技术讲师
本期直播给大家带来的是理论与实践结合的华为云EI-API的服务介绍。从“主要功能,应用场景,实践案例,调用流程”四个维度来深入解析“语音交互API,文字识别API,自然语言处理API,图像识别API及图像搜索API”五大场景下API服务,同时结合实验,来加深开发者对API服务理解。
回顾中 -
企业员工、应届毕业生、在读研究生共探项目实践
2024/12/02 周一 19:00-21:00
姚圣伟 在职软件工程师 昇腾社区优秀开发者 华为云云享专家 HCDG天津地区发起人
大神带你一键了解和掌握LeakyReLU自定义算子在ONNX网络中应用和优化技巧,在线分享如何入门,以及在工作中如何结合实际项目进行学习
即将直播 -
昇腾云服务ModelArts深度解析:理论基础与实践应用指南
2024/12/03 周二 14:30-16:30
Alex 华为云学堂技术讲师
如何快速创建和部署模型,管理全周期AI工作流呢?本期直播聚焦华为昇腾云服务ModelArts一站式AI开发平台功能介绍,同时结合基于ModelArts 的实践性实验,帮助开发者从理论到实验更好地理解和使用ModelArts。
去报名
热门标签