- “清明忙种麦,谷雨种大田”“白露忙割地,秋分把地翻”,人从自然规律与农事的关联性中总结出节气、时令。对于从前的农业生产来说,“依天而行”是在时代不断变迁中遗留下的自然规律,掌管着农事,也影响着祖祖辈辈的农人。当农业开始与大数据相结合,又会有怎样的新机遇? “清明忙种麦,谷雨种大田”“白露忙割地,秋分把地翻”,人从自然规律与农事的关联性中总结出节气、时令。对于从前的农业生产来说,“依天而行”是在时代不断变迁中遗留下的自然规律,掌管着农事,也影响着祖祖辈辈的农人。当农业开始与大数据相结合,又会有怎样的新机遇?
- Antlr4是一款十分优秀的语法解析工具,由于其优秀的能力被用于HIive,Spark, Elasticsearch等大型的开源项目中。通过学习Antlr4的使用,我们可以构建自己的语法解析方法。 Antlr4是一款十分优秀的语法解析工具,由于其优秀的能力被用于HIive,Spark, Elasticsearch等大型的开源项目中。通过学习Antlr4的使用,我们可以构建自己的语法解析方法。
- 华为云《大数据全栈成长计划》学习感受和心得体会分享 华为云《大数据全栈成长计划》学习感受和心得体会分享
- 谈谈数字化转型的真问题。 谈谈数字化转型的真问题。
- 一、yarn的概述Apache Yarn(Yet Another Resource Negotiator的缩写)是hadoop集群资源管理器系统,Yarn从hadoop 2引入,最初是为了改善MapReduce的实现,但是它具有通用性,同样执行其他分布式计算模式。在MapReduce1中,具有如下局限性:1、扩展性差:jobtracker兼顾资源管理和作业控制跟踪功能跟踪任务,启动失败或迟... 一、yarn的概述Apache Yarn(Yet Another Resource Negotiator的缩写)是hadoop集群资源管理器系统,Yarn从hadoop 2引入,最初是为了改善MapReduce的实现,但是它具有通用性,同样执行其他分布式计算模式。在MapReduce1中,具有如下局限性:1、扩展性差:jobtracker兼顾资源管理和作业控制跟踪功能跟踪任务,启动失败或迟...
- 1、简介Hadoop作为一个较通用的海量数椐处理平台,在使用压缩方式方面,主要考虑压缩速度和压缩文件的可分割性.所有的压缩算法都会考虑时间和空间的权衡,更快的压缩和解压缩速度通常会耗费更多的交间(压缩比较低)例如:通过gzip命令压缩数据时,用户可以设置不同的选项来选择速度优先或空间优先.选项-1表示优先考虑速度,选项-9表示空间最优,可以获得最大的压缩比。需要注意的是:有些压缩算法的压缩... 1、简介Hadoop作为一个较通用的海量数椐处理平台,在使用压缩方式方面,主要考虑压缩速度和压缩文件的可分割性.所有的压缩算法都会考虑时间和空间的权衡,更快的压缩和解压缩速度通常会耗费更多的交间(压缩比较低)例如:通过gzip命令压缩数据时,用户可以设置不同的选项来选择速度优先或空间优先.选项-1表示优先考虑速度,选项-9表示空间最优,可以获得最大的压缩比。需要注意的是:有些压缩算法的压缩...
- Apache CarbonData实现了一种高性能融合的大数据存储方案,针对当前大数据领域分析场景需求各异而导致的存储冗余问题,业务驱动下的数据分析灵活性要求越来越高,CarbonData提供了一种新的融合数据存储方案,以一份数据同时支持多种应用场景。CarbonData通过索引等加速技术让存储和计算物理上更接近,从而提升CPU和IO效率,实现万亿数据分析秒级响应。 Apache CarbonData实现了一种高性能融合的大数据存储方案,针对当前大数据领域分析场景需求各异而导致的存储冗余问题,业务驱动下的数据分析灵活性要求越来越高,CarbonData提供了一种新的融合数据存储方案,以一份数据同时支持多种应用场景。CarbonData通过索引等加速技术让存储和计算物理上更接近,从而提升CPU和IO效率,实现万亿数据分析秒级响应。
- 互联网浪潮下,新电商、游戏等企业迎来了新一轮市场竞争,许多电商企业每天都在思考该如何更好地利用手中的数据,为现有客户提供“更贴身”服务、洞察新业务、挖掘更多潜在消费者、拓展新市场。如何面对业务飞速增长的挑战一直专注于应用的电商企业,在面对如何构建数字化能力所需要的ICT基础设施和服务时,面临着选择:是该自己投入高研发成本呢?还是选择市场领先的产品呢?梦饷集团也曾面临这样的挑战,作为新电商基础... 互联网浪潮下,新电商、游戏等企业迎来了新一轮市场竞争,许多电商企业每天都在思考该如何更好地利用手中的数据,为现有客户提供“更贴身”服务、洞察新业务、挖掘更多潜在消费者、拓展新市场。如何面对业务飞速增长的挑战一直专注于应用的电商企业,在面对如何构建数字化能力所需要的ICT基础设施和服务时,面临着选择:是该自己投入高研发成本呢?还是选择市场领先的产品呢?梦饷集团也曾面临这样的挑战,作为新电商基础...
- 华为云TechWave云原生2.0技术峰会在深圳举行,创原会组织的云原生技术精英沙龙邀请到来自华为、中信银行、广汽本田等各领域知名企业的40+技术负责人,围绕云原生如何加速企业数字化转型和智能升级进行了深入探讨。 华为云TechWave云原生2.0技术峰会在深圳举行,创原会组织的云原生技术精英沙龙邀请到来自华为、中信银行、广汽本田等各领域知名企业的40+技术负责人,围绕云原生如何加速企业数字化转型和智能升级进行了深入探讨。
- 大数据时代背景下,用户消费数据暗藏许多商机。通过网站用户消费行为分析实践,了解华为云大数据产品的使用方法,帮助商户发掘潜在客户。消费者行为分析概述11了解消费者行为分析的重要意义MRS分析消费者行为技术实现介绍22了解使用到MapReduce服务中的底层技术数据存储与可视化实现11了解云MySQL的特点和R语言绘图基础华为云实践介绍10掌握网站用户消费行为实践的流程什么是消费者行为分析消费者... 大数据时代背景下,用户消费数据暗藏许多商机。通过网站用户消费行为分析实践,了解华为云大数据产品的使用方法,帮助商户发掘潜在客户。消费者行为分析概述11了解消费者行为分析的重要意义MRS分析消费者行为技术实现介绍22了解使用到MapReduce服务中的底层技术数据存储与可视化实现11了解云MySQL的特点和R语言绘图基础华为云实践介绍10掌握网站用户消费行为实践的流程什么是消费者行为分析消费者...
- 大数据并不是一个单一的概念,其内涵较为丰富,在实际的应用过程中也需要很多编程知识的支撑。具体要掌握哪些技能呢?1、Java大家都知道Java的方向有JavaSE、JavaEE、JavaME,学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、Struts、Spring、Hibernate,Mybatis都是JavaEE方向的技术... 大数据并不是一个单一的概念,其内涵较为丰富,在实际的应用过程中也需要很多编程知识的支撑。具体要掌握哪些技能呢?1、Java大家都知道Java的方向有JavaSE、JavaEE、JavaME,学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、Struts、Spring、Hibernate,Mybatis都是JavaEE方向的技术...
- 为了做股票数据可视化,购买2台配置2C4G云服务器,一台设置spark1,另外一台设置为kafka1。还购买了域名再等审核,现在先部署好相关软件。 1.建立目录和查看是否安装java或看版本是否符合wuyi用户下创建我们将要使用的各个目录#softwares 软件目录 #modules 模块目录 #tools 工具目录 #datas 数据目录mkdir -p /opt/s... 为了做股票数据可视化,购买2台配置2C4G云服务器,一台设置spark1,另外一台设置为kafka1。还购买了域名再等审核,现在先部署好相关软件。 1.建立目录和查看是否安装java或看版本是否符合wuyi用户下创建我们将要使用的各个目录#softwares 软件目录 #modules 模块目录 #tools 工具目录 #datas 数据目录mkdir -p /opt/s...
- 开源Kettle版本不支持Kerberos认证的Hadoop集群,本文通过简单的插件改造,使得Kettle 8.3能够连接开启Kerberos认证的MRS集群的HDFS组件 开源Kettle版本不支持Kerberos认证的Hadoop集群,本文通过简单的插件改造,使得Kettle 8.3能够连接开启Kerberos认证的MRS集群的HDFS组件
- 微认证:基于BoostKit的大数据性能调优实践详解 微认证:基于BoostKit的大数据性能调优实践详解
- 根据上图显示,大数据实时流处理应该是以2线路的流程,还有经过sparkstreaming或Flink处理后应该是先到hive的数据仓库后再到clickhouse,但是考虑到本人的电脑硬件资源有限,就不经过hive的数据仓库,直接到clickhouse。在通过clickhouse调用数据使用Echarts完成数据可视化。但是流程2如果处理不好,容易造成混乱,不好排错,所以我先使... 根据上图显示,大数据实时流处理应该是以2线路的流程,还有经过sparkstreaming或Flink处理后应该是先到hive的数据仓库后再到clickhouse,但是考虑到本人的电脑硬件资源有限,就不经过hive的数据仓库,直接到clickhouse。在通过clickhouse调用数据使用Echarts完成数据可视化。但是流程2如果处理不好,容易造成混乱,不好排错,所以我先使...
上滑加载中
推荐直播
-
华为云码道-玩转OpenClaw,在线养虾2026/03/11 周三 19:00-21:00
刘昱,华为云高级工程师/谈心,华为云技术专家/李海仑,上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈,华为云码道最新推出 Skill ——开发者只需输入一句口令,即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道,玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力,华为云开发者生态运营总监/姚圣伟,华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发,看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw,让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作:基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟,华为云软件研发工程师/万邵业(万少),华为云HCDE开发者专家
本次直播带来两大实战:华为云码道 Skill-Creator 手把手搭建专属知识库 Skill;如何用码道提效 OpenClaw 小说文本,打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路,一次讲透!
回顾中
热门标签