- 通过学习大数据全栈成长计划，对大数据的基础有了进一步的了解。 第一阶段重温mysql和jdbc的基础，在这期间使用logstash做数据同步出现中文出现乱码，如图所示： 原因是之前mysql的编码没弄好出现的问题，使用docker版mysql无法修改utf8的设置，通过docker cp 把my.cnf拷贝出来，在【client】下面添加default-character... 通过学习大数据全栈成长计划，对大数据的基础有了进一步的了解。 第一阶段重温mysql和jdbc的基础，在这期间使用logstash做数据同步出现中文出现乱码，如图所示： 原因是之前mysql的编码没弄好出现的问题，使用docker版mysql无法修改utf8的设置，通过docker cp 把my.cnf拷贝出来，在【client】下面添加default-character...
- 1. 涉及的组件 mysql、kafka、maxwell、2. mysql的安装与使用2.1 卸载清理已有mysql https://blog.csdn.net/tjcyjd/article/details/521891822.2 linux 安装mysql 博客： https://www.jianshu.com/p/276d59cbc529 bilibi视频介绍：https://www.... 1. 涉及的组件 mysql、kafka、maxwell、2. mysql的安装与使用2.1 卸载清理已有mysql https://blog.csdn.net/tjcyjd/article/details/521891822.2 linux 安装mysql 博客： https://www.jianshu.com/p/276d59cbc529 bilibi视频介绍：https://www....
- # Docker安装 Kafka管理工具Eagle目前关于Docker安装Kafka Eagle 只有nickzurich/efak这个镜像可以考虑下，第一步：使用下述命令拉取最新的nickzurich/efak镜像docker pull nickzurich/efak:latest第二步：使用下述命令启动容器docker run -d --name kafka-eagle -p 8048:... # Docker安装 Kafka管理工具Eagle目前关于Docker安装Kafka Eagle 只有nickzurich/efak这个镜像可以考虑下，第一步：使用下述命令拉取最新的nickzurich/efak镜像docker pull nickzurich/efak:latest第二步：使用下述命令启动容器docker run -d --name kafka-eagle -p 8048:...
- 文章目录 1. 这个项目的流程你说一下？ 2. ELK中哪个负责收集数据 3. es有哪些常用的插件？ 4. 分词器有哪些？ 5. ES中有哪些数据类型 6.. 你们的ES集群方式是什么 7. es常用的语句有哪些？ 8. Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么 9. kafka中的broker 是干什么的 10. kaf... 文章目录 1. 这个项目的流程你说一下？ 2. ELK中哪个负责收集数据 3. es有哪些常用的插件？ 4. 分词器有哪些？ 5. ES中有哪些数据类型 6.. 你们的ES集群方式是什么 7. es常用的语句有哪些？ 8. Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么 9. kafka中的broker 是干什么的 10. kaf...
- Java 消息队列与中间件：不传之秘 1. 介绍消息队列（Message Queue）是一种在分布式系统中用于组件之间通信的技术。它允许应用程序通过发送和接收消息来进行异步通信，从而解耦系统组件，提高系统的可扩展性和可靠性。中间件（Middleware）是位于操作系统和应用程序之间的软件层，提供通用的服务和功能，如消息传递、数据管理、身份验证等。 1.1 消息队列的特点异步通信：发送者和接... Java 消息队列与中间件：不传之秘 1. 介绍消息队列（Message Queue）是一种在分布式系统中用于组件之间通信的技术。它允许应用程序通过发送和接收消息来进行异步通信，从而解耦系统组件，提高系统的可扩展性和可靠性。中间件（Middleware）是位于操作系统和应用程序之间的软件层，提供通用的服务和功能，如消息传递、数据管理、身份验证等。 1.1 消息队列的特点异步通信：发送者和接...
- Huawei Cloud EulerOS（简称HCE）是基于openEuler构建的云上操作系统。HCE打造云原生、高性能、高安全、易迁移等能力，加速用户业务上云，提升用户的应用创新空间，可替代CentOS、EulerOS等公共镜像。产品优势：华为云服务垂直整合：联合华为云擎天平台垂直优化、GuestOS/HostOS协同，提升应用性能，打造弹性云服务器、云容器引擎、弹性负载均衡、数据库等服... Huawei Cloud EulerOS（简称HCE）是基于openEuler构建的云上操作系统。HCE打造云原生、高性能、高安全、易迁移等能力，加速用户业务上云，提升用户的应用创新空间，可替代CentOS、EulerOS等公共镜像。产品优势：华为云服务垂直整合：联合华为云擎天平台垂直优化、GuestOS/HostOS协同，提升应用性能，打造弹性云服务器、云容器引擎、弹性负载均衡、数据库等服...
- 在现代数据架构中，实时数据流的处理变得越来越重要，尤其是在大数据和分布式系统的背景下。Apache Kafka作为一个高吞吐量的分布式消息系统，已广泛应用于各种实时数据流的处理场景。本文将介绍如何将Python与Kafka整合，以实现高效的实时数据处理。项目背景Kafka 是一个分布式流平台，能够处理大量的实时数据流。它具有高吞吐量、水平扩展性、容错性和高可靠性，适合处理日志、传感器数据、点... 在现代数据架构中，实时数据流的处理变得越来越重要，尤其是在大数据和分布式系统的背景下。Apache Kafka作为一个高吞吐量的分布式消息系统，已广泛应用于各种实时数据流的处理场景。本文将介绍如何将Python与Kafka整合，以实现高效的实时数据处理。项目背景Kafka 是一个分布式流平台，能够处理大量的实时数据流。它具有高吞吐量、水平扩展性、容错性和高可靠性，适合处理日志、传感器数据、点...
- 扩展logback将日志输出到Kafka实例介绍logback是一个功能强大的Java日志框架，它是log4j的继任者，提供了丰富的功能和配置选项。在处理大量日志数据时，将日志输出到Kafka这样的消息队列中是一个常见的需求，这样可以使日志数据更容易被处理和分析。本文将介绍如何通过扩展logback，将日志输出到Kafka实例。准备工作在开始之前，确保你已经安装了以下依赖项：JDK 8或更高... 扩展logback将日志输出到Kafka实例介绍logback是一个功能强大的Java日志框架，它是log4j的继任者，提供了丰富的功能和配置选项。在处理大量日志数据时，将日志输出到Kafka这样的消息队列中是一个常见的需求，这样可以使日志数据更容易被处理和分析。本文将介绍如何通过扩展logback，将日志输出到Kafka实例。准备工作在开始之前，确保你已经安装了以下依赖项：JDK 8或更高...
- Kafka 配置文件 server.properties 详解Kafka 是一个分布式消息队列系统，广泛用于大数据处理和实时数据传输。在 Kafka 集群中，server.properties 文件是每个 broker（ broker 即 Kafka 服务器节点）都需要配置的文件，它包含了 Kafka 服务器的所有配置选项。本文将详细介绍 server.propertie... Kafka 配置文件 server.properties 详解Kafka 是一个分布式消息队列系统，广泛用于大数据处理和实时数据传输。在 Kafka 集群中，server.properties 文件是每个 broker（ broker 即 Kafka 服务器节点）都需要配置的文件，它包含了 Kafka 服务器的所有配置选项。本文将详细介绍 server.propertie...
- 首先先看下任务计划书 ，大概了解了下这个任务的主要工作是通过flink读取Kafka写入GaussDB并且可以写入数据的验证工作。主要是需要花时间熟悉kafka和flink的架构、环境搭建、扩展新功能和开发简单的界面展示效果。下面介绍下适配过程中的一些关键步骤。开发过程首先参考任务计划书给的参考资料： https://kafka.apache.org/和 https://flink.apac... 首先先看下任务计划书 ，大概了解了下这个任务的主要工作是通过flink读取Kafka写入GaussDB并且可以写入数据的验证工作。主要是需要花时间熟悉kafka和flink的架构、环境搭建、扩展新功能和开发简单的界面展示效果。下面介绍下适配过程中的一些关键步骤。开发过程首先参考任务计划书给的参考资料： https://kafka.apache.org/和 https://flink.apac...
- Kafka其实是一款基于发布与订阅模式的消息系统，如果按常理来设计，大家是不是把消息发送者的消息直接发送给消息消费者？但Kafka并不是这么设计的，Kafka消息的生产者会对消息进行分类，再发送给中间的消息服务系统，而消息消费者通过订阅某分类的消息去接受特定类型的消息。 Kafka其实是一款基于发布与订阅模式的消息系统，如果按常理来设计，大家是不是把消息发送者的消息直接发送给消息消费者？但Kafka并不是这么设计的，Kafka消息的生产者会对消息进行分类，再发送给中间的消息服务系统，而消息消费者通过订阅某分类的消息去接受特定类型的消息。
- Kafka 是一个高吞吐量、高性能的消息中间件，关于 Kafka 高性能背后的实现，是大厂面试高频问题。本篇全面详解 Kafka 高性能背后的实现。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。 Kafka 是一个高吞吐量、高性能的消息中间件，关于 Kafka 高性能背后的实现，是大厂面试高频问题。本篇全面详解 Kafka 高性能背后的实现。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。
- 本文详细解析了 Kafka 的核心架构和实现原理，消息中间件是亿级互联网架构的基石，大厂面试高频，非常重要，建议收藏。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。 本文详细解析了 Kafka 的核心架构和实现原理，消息中间件是亿级互联网架构的基石，大厂面试高频，非常重要，建议收藏。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。
- 本文详细介绍 RocketMQ 的五大要点、核心特性及应用场景，涵盖高并发业务场景下的消息中间件关键知识点。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。 本文详细介绍 RocketMQ 的五大要点、核心特性及应用场景，涵盖高并发业务场景下的消息中间件关键知识点。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。
- 原生的kafka客户端并不支持修改客户端连接的服务器地址，我们有需求需要支持动态地更新kafka客户端的地址，最简单的一个做法就是通过组合的方式，对原生的kafka客户端做一层wrap，来支持修改kafka客户端地址。这层wrap尽量做到无锁化，不影响性能 核心代码 生产者import lombok.extern.slf4j.Slf4j;import org.apache.kafka.cli... 原生的kafka客户端并不支持修改客户端连接的服务器地址，我们有需求需要支持动态地更新kafka客户端的地址，最简单的一个做法就是通过组合的方式，对原生的kafka客户端做一层wrap，来支持修改kafka客户端地址。这层wrap尽量做到无锁化，不影响性能 核心代码 生产者import lombok.extern.slf4j.Slf4j;import org.apache.kafka.cli...
上滑加载中
推荐直播
-
GaussDB数据库开发2025/01/15 周三 16:00-17:30
Steven 华为云学堂技术讲师
本期直播将带你了解GaussDB数据库开发相关知识，并通过实验指导大家利用java基于JDBC的方式来完成GaussD数据库基础操作。
回顾中 -
OpenHarmony应用开发之网络数据请求与数据解析2025/01/16 周四 19:00-20:30
华为开发者布道师、南京师范大学泰州学院副教授，硕士研究生导师，开放原子教育银牌认证讲师
科技浪潮中，鸿蒙生态强势崛起，OpenHarmony开启智能终端无限可能。当下，其原生应用开发适配潜力巨大，终端设备已广泛融入生活各场景，从家居到办公、穿戴至车载。 现在，机会敲门！我们的直播聚焦OpenHarmony关键的网络数据请求与解析，抛开晦涩理论，用真实案例带你掌握数据访问接口，轻松应对复杂网络请求、精准解析Json与Xml数据。参与直播，为开发鸿蒙App夯实基础，抢占科技新高地，别错过！
即将直播
热门标签