- 两张图读懂kafka应用:Kafka 中的术语 broker:中间的kafka cluster,存储消息,是由多个server组成的集群。 topic:kafka给消息提供的分类方式。broker用来存储不同topic的消息数据。 producer:往broker中某个topic里面生产数据。 consumer:从broker中某个topic获取数据。Kafka 中的术语设计:1、Broke... 两张图读懂kafka应用:Kafka 中的术语 broker:中间的kafka cluster,存储消息,是由多个server组成的集群。 topic:kafka给消息提供的分类方式。broker用来存储不同topic的消息数据。 producer:往broker中某个topic里面生产数据。 consumer:从broker中某个topic获取数据。Kafka 中的术语设计:1、Broke...
- 其实每个工程师都讨厌Bug、代码不整洁、性能太差、用户界面不人性化等,这些都是一些技术细节,是可以慢慢体会和提高,总能找到答案去改进的。但在工作中,我应该学习和使用什么样的技术?为什么要自动化测试?如何搭建一个产品,看起来比较靠谱?我怎么去选择一份工作?如果我在一家大公司工作,如何跳槽到创业公司?我如何谈判取得更多的薪金或奖金?什么是股票激励?这些问题倒是更棘手,本文将给出一些介绍和辅助工具... 其实每个工程师都讨厌Bug、代码不整洁、性能太差、用户界面不人性化等,这些都是一些技术细节,是可以慢慢体会和提高,总能找到答案去改进的。但在工作中,我应该学习和使用什么样的技术?为什么要自动化测试?如何搭建一个产品,看起来比较靠谱?我怎么去选择一份工作?如果我在一家大公司工作,如何跳槽到创业公司?我如何谈判取得更多的薪金或奖金?什么是股票激励?这些问题倒是更棘手,本文将给出一些介绍和辅助工具...
- 近日,经世界权威标准机构BSI审核确认,华为云成为全球唯一通过TL9000标准认证的云服务商。这一认证的通过,再次表明华为云能为用户提供安全、稳定、可靠的云服务。TL9000是基于ISO9000及众多行业标准,截止目前,华为云已获得全球50多个权威安全和质量认证。安全可靠,选择华为云正当时。精读科技最前线厦洽会观察:人工智能将成全球经贸合作新热点9月7日,人工智能将成为全球经贸合作新热点。当... 近日,经世界权威标准机构BSI审核确认,华为云成为全球唯一通过TL9000标准认证的云服务商。这一认证的通过,再次表明华为云能为用户提供安全、稳定、可靠的云服务。TL9000是基于ISO9000及众多行业标准,截止目前,华为云已获得全球50多个权威安全和质量认证。安全可靠,选择华为云正当时。精读科技最前线厦洽会观察:人工智能将成全球经贸合作新热点9月7日,人工智能将成为全球经贸合作新热点。当...
- 导读:在上一篇文章「Wormhole 大数据流式处理平台之设计思想」中,我们介绍了Wormhole的设计思想,并给出了Stream、UMS、Flow、Namespace等相关概念的具体定义,从文章中我们得知,Wormhole作为实时流式处理平台,其设计思想最终是为流上处理数据而服务的。在本文中,我们主要从Wormhole的功能设计入手,重点介绍Wormhole所支持的几个基本功能。Wormh... 导读:在上一篇文章「Wormhole 大数据流式处理平台之设计思想」中,我们介绍了Wormhole的设计思想,并给出了Stream、UMS、Flow、Namespace等相关概念的具体定义,从文章中我们得知,Wormhole作为实时流式处理平台,其设计思想最终是为流上处理数据而服务的。在本文中,我们主要从Wormhole的功能设计入手,重点介绍Wormhole所支持的几个基本功能。Wormh...
- 一、背景企业中大量业务数据保存在各个业务系统数据库中,过去通常的同步数据的方法有很多种,比如:各个数据使用方在业务低峰期各种抽取所需数据(缺点是存在重复抽取而且数据不一致)由统一的数仓平台通过sqoop到各个系统中抽取数据(缺点是sqoop抽取方法时效性差,一般都是T+1的时效性)基于trigger或时间戳的方式获得增量的变更(缺点是对业务方侵入性大,带来性能损失等)这些方案都不能算完美,我... 一、背景企业中大量业务数据保存在各个业务系统数据库中,过去通常的同步数据的方法有很多种,比如:各个数据使用方在业务低峰期各种抽取所需数据(缺点是存在重复抽取而且数据不一致)由统一的数仓平台通过sqoop到各个系统中抽取数据(缺点是sqoop抽取方法时效性差,一般都是T+1的时效性)基于trigger或时间戳的方式获得增量的变更(缺点是对业务方侵入性大,带来性能损失等)这些方案都不能算完美,我...
- 互联网的快速发展改变了整个世界。从门户网站到搜索引擎,从社交网络到电子商务,从免费Wi-Fi到应用市场,层出不穷的在线服务方便了人们的生活,甚至颠覆了原有的产业。更为神奇的是,这些服务大多是免费的。在今天,“互联网思维”这个名词被越来越多互联网行业内外的人们追捧和畏惧,而其中很多人的困惑都在于:这么多免费的服务是如何获得收入,乃至赚得盆盈钵满的呢?实际上,如果把多样的互联网产品或服务看成各式... 互联网的快速发展改变了整个世界。从门户网站到搜索引擎,从社交网络到电子商务,从免费Wi-Fi到应用市场,层出不穷的在线服务方便了人们的生活,甚至颠覆了原有的产业。更为神奇的是,这些服务大多是免费的。在今天,“互联网思维”这个名词被越来越多互联网行业内外的人们追捧和畏惧,而其中很多人的困惑都在于:这么多免费的服务是如何获得收入,乃至赚得盆盈钵满的呢?实际上,如果把多样的互联网产品或服务看成各式...
- 敏捷大数据,即在敏捷理念原则指导下,构建出一系列通用平台工具,和一整套大数据应用全生命周期方法学,以支撑更轻量、更灵活、更低门槛的大数据实践。本文从理论层面整体解释我们所理解的“敏捷大数据”。 敏捷大数据,即在敏捷理念原则指导下,构建出一系列通用平台工具,和一整套大数据应用全生命周期方法学,以支撑更轻量、更灵活、更低门槛的大数据实践。本文从理论层面整体解释我们所理解的“敏捷大数据”。
- 裴健博士是国际著名的数据科学、数据挖掘和数据管理领域的专家,专长于通过数据战略制定、数据资产管理、数据资源整合和数据产品设计把数据和技术转化为业务能力和效益。其论著被学术界引用八万四千多次,是加拿大信息和电子技术领域被引用最多十位的学者之一。此外,他还是国际计算机学会 ACM 和国际电气电子工程师学会 IEEE 的会士,国际计算机学会知识发现专委会 ACM SIGKDD 主席。 裴健博士是国际著名的数据科学、数据挖掘和数据管理领域的专家,专长于通过数据战略制定、数据资产管理、数据资源整合和数据产品设计把数据和技术转化为业务能力和效益。其论著被学术界引用八万四千多次,是加拿大信息和电子技术领域被引用最多十位的学者之一。此外,他还是国际计算机学会 ACM 和国际电气电子工程师学会 IEEE 的会士,国际计算机学会知识发现专委会 ACM SIGKDD 主席。
- 2018年5月,国务院常务会议决定取消高速公路省界收费站。一年后的2019年5月,国务院印发《深化收费公路制度改革取消高速公路省界收费站实施方案》,正式将收费公路制度改革推向快车道。《方案》要求,2019年底ETC普及率将达到90%以上,同时实现手机移动支付在人工收费车道全覆盖。高速公路数字化转型的大幕已经拉开。 公众在体验到节省费用、便捷通行的同时,高速公路的管理运营单位却面临新情况下的困... 2018年5月,国务院常务会议决定取消高速公路省界收费站。一年后的2019年5月,国务院印发《深化收费公路制度改革取消高速公路省界收费站实施方案》,正式将收费公路制度改革推向快车道。《方案》要求,2019年底ETC普及率将达到90%以上,同时实现手机移动支付在人工收费车道全覆盖。高速公路数字化转型的大幕已经拉开。 公众在体验到节省费用、便捷通行的同时,高速公路的管理运营单位却面临新情况下的困...
- 刘淇,中国科学技术大学计算机学院副教授、博士生导师, CCF大数据专家委员会委员,CAAI机器学习专委会委员、中科院青促会优秀会员。主要研究数据挖掘与知识发现、机器学习方法及其应用。教育的发展历程从古至今,时代的变革往往会伴随着教育发展的重大变化。当下时代,随着人类社会信息化进程的不断深入,教育教学方式从依赖于黑板和纸笔的经验模仿教学范式逐渐转变为计算辅助教学范式。通过综合应用计算机、互联网... 刘淇,中国科学技术大学计算机学院副教授、博士生导师, CCF大数据专家委员会委员,CAAI机器学习专委会委员、中科院青促会优秀会员。主要研究数据挖掘与知识发现、机器学习方法及其应用。教育的发展历程从古至今,时代的变革往往会伴随着教育发展的重大变化。当下时代,随着人类社会信息化进程的不断深入,教育教学方式从依赖于黑板和纸笔的经验模仿教学范式逐渐转变为计算辅助教学范式。通过综合应用计算机、互联网...
- 本节书摘来自华章计算机《大数据技术丛书 Flink原理、实战与性能优化》一文中的第3章,第3.4.1节,作者是张利兵。 本节书摘来自华章计算机《大数据技术丛书 Flink原理、实战与性能优化》一文中的第3章,第3.4.1节,作者是张利兵。
- 本节书摘来自华章计算机《大数据技术丛书 Flink原理、实战与性能优化》一文中的第3章,第3.4.1节,作者是张利兵。 本节书摘来自华章计算机《大数据技术丛书 Flink原理、实战与性能优化》一文中的第3章,第3.4.1节,作者是张利兵。
- 本节书摘来自华章计算机《大数据技术丛书 Flink原理、实战与性能优化》一文中的第3章,第3.3节,作者是张利兵。 本节书摘来自华章计算机《大数据技术丛书 Flink原理、实战与性能优化》一文中的第3章,第3.3节,作者是张利兵。
- 本节书摘来自华章计算机《大数据技术丛书 Flink原理、实战与性能优化》一文中的第3章,第3.1节,作者是张利兵。 本节书摘来自华章计算机《大数据技术丛书 Flink原理、实战与性能优化》一文中的第3章,第3.1节,作者是张利兵。
- 本节书摘来自华章计算机《大数据技术丛书 Flink原理、实战与性能优化》一书中的第2章,第2.2.2节,作者是张利兵。 本节书摘来自华章计算机《大数据技术丛书 Flink原理、实战与性能优化》一书中的第2章,第2.2.2节,作者是张利兵。
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新,构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间,华为云展示了Serverless与MCP融合创新的解决方案,本期访谈直播,由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持,华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中,探讨处理器生态的关键要素及其联系,分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源,3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源,3步轻松管理成本,帮助提升日常管理效率!
回顾中
热门标签