• [问题求助] 【Taishan200 2280】【OpenEuler20.03 LTS SP1】激活网络接口ping百度丢包率100%
    按照https://docs.openeuler.org/zh/docs/20.03_LTS_SP1/docs/Administration/%E9%85%8D%E7%BD%AE%E7%BD%91%E7%BB%9C.html的步骤配置网络已切换到root用户1.将网线插在Taishan200 2280的灵活IO卡的enp125s0f0网口后,输入:nmcli connection up id enp125s0f0激活了网口2.然后输入了:nmcli connection add type ethernet con-name net-test ifname enp125s0f0创建了名为net-test的动态连接配置文件3.然后输入了nmcli con up net-test激活网口网络连接4.做了以上步骤以后,可以ping到www.baidu.com,但是丢包率100%,检查了/etc/resolv.conf发现里面已经自动添加了nameserver,分别是202.112.14.21和202.112.14.11求助!
  • [网络安全] 重要的LTS
    有人问,什么是LTS,LTS即云日志服务。记录设备的运行数据,发生的状态变化。在发生问题后,寻找问题的过程中,起到了非常重要的作用。云日志服务(Log Tank Service,简称LTS),用于收集来自主机和云服务的日志数据,通过海量日志数据的分析与处理,可以将云服务和应用程序的可用性和性能最大化,为您提供一个实时、高效、安全的日志处理能力,帮助您快速高效地进行实时决策分析、设备运维管理、用户业务趋势分析等。图1 云日志服务示意图日志采集与分析云日志服务可以采集主机和云服务的日志数据,采集日志后,日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询,并且可以长期存储。对采集的日志数据,可以通过关键字查询、模糊查询等方式简单快速地进行查询,适用于日志实时数据分析、安全诊断与分析、运营与客服系统等,例如云服务的访问量、点击量等,通过日志数据分析,可以输出详细的运营数据。日志监控与告警云日志服务支持对日志数据关键字进行监控与告警,通过在一定时间段内,日志中关键字出现次数,如果关键字达到阈值将会触发告警,实时监控服务运行状态。日志转储主机和云服务的日志数据上报至云日志服务后,默认存储时间为7天,可以在1-30天之间进行设置。超出存储时间的日志数据将会被自动删除,对于需要长期存储的日志数据(日志持久化),云日志服务提供转储功能,可以将日志转储至对象存储服务(OBS)、数据接入服务(DIS)或分布式消息服务(DMS)中长期保存。日志转储基于复制的转储机制,在LTS设置的存储时间内转储至OBS的日志,不会在LTS被删除。
  • [openEuler] openEuler 20.03 (LTS-SP1) x86_64 vnc服务指南
    openEuler 20.03 (LTS-SP1) x86_64 vnc服务指南环境OS: openEuler 20.03 (LTS-SP1) x86_64软件安装操作用户: root1. 桌面环境安装(dde : Deepin New Desktop Environment - Next )(https://docs.openeuler.org/zh/docs/20.03_LTS_SP1/docs/desktop/%E5%AE%89%E8%A3%85DDE.html)> dnf install -y dde 设置默认启动方式为图形方式:> systemctl set-default graphical.target 2. vnc服务器安装(tigervnc) > dnf install -y tigervnc-server   3. 设置连接VNC服务时使用的密码> vncpasswd 4. 服务启动关闭防火墙:> systemctl stop firewalld.service开启VNC服务:> vncserver :<display-number> # <display-number>为你vnc的display端口 vnc服务查看> vncserver -list 5. 使用VNC客户端连接VNC服务(Windows上使用VNC Viewer测试) 在地址栏输入VNC地址, 类似: 192.168.152.149:6<server-ip>:<display-number> 然后回车输入VNC密码: 然后点击OK, 结果如下: <结束>
  • 云日志服务中的 配置日志采集路径 如何完成
    云日志服务中的 配置日志采集路径 如何完成
  • [问题求助] ubuntu 18 lts 镜像修改脚本不生效
    这个在 arm ecs 虚机上,不生效,可以修改一下。 sed -i "s@http://.*archive.ubuntu.com@http://mirrors.huaweicloud.com@g" /etc/apt/sources.listsed -i "s@http://.*security.ubuntu.com@http://mirrors.huaweicloud.com@g" /etc/apt/sources.list
  • [技术干货] Kafka是个奇葩!——Linkin论文学习笔记
    摘要: 实时数据流是现在互联网公司、甚至拥有大规模数据的传统企业的主要模式, 实时数据(Real-time Activity Data)就是那些非交易,不需要秒级响应的数据, 但在后续的分析中产生极大作用,例如广播、排序、个性化推荐、运营监控、报表等 Linkin的Kafka主要就是为了处理这种性质的数据设计的。 本文是对Linkin的论文的学习笔记,欢迎大家吐槽! Kafka是啥?##是个消息中间件吗?那和市面上其他一堆堆的中间件例如ActiveMQ, RabbitMQ有什么区别?答案只有一个:Kafka是个集群的消息中间件+存储,一个节点可以存储几T的数据!为啥一个中间件需要存储数据呢?慢慢道来……原来,对于Linkin这样的互联网企业来说,用户和网站上产生的数据有三种: [*]需要实时响应的交易数据,用户提交一个表单,输入一段内容,这种数据最后是存放在关系数据库(Oracle, MySQL)中的,有些需要事务支持。 [*]活动流数据,准实时的,例如页面访问量、用户行为、搜索情况,这些数据可以产生啥?广播、排序、个性化推荐、运营监控等。这种数据一般是前端服务器先写文件,然后通过批量的方式把文件倒到Hadoop这种大数据分析器里面慢慢整。 [*]各个层面程序产生的日志,例如httpd的日志、tomcat的日志、其他各种程序产生的日志。码农专用,这种数据一个是用来监控报警,还有就是用来做分析。 Linkin的牛逼之处,就在于他们发现了原先2,3的数据处理方式有问题,对于2而言,原来动辄一两个钟头批处理一次的方式已经不行了,用户在一次购买完之后最好马上就能看到相关的推荐。而对于3而言,传统的syslog模式等也不好用,而且很多情况下2和3用的是同一批数据,只是数据消费者不一样。这2种数据的特点是: [*]准实时,不需要秒级响应,分钟级别即可。 [*]数据量巨大,是交易数据的10倍以上。 [*]数据消费者众多,例如评级、投票、排序、个性化推荐、安全、运营监控、程序监控、后期报表等 于是,Linkin就自己开发了一套系统,专门用来处理这种性质的数据,这就是Kafka那么,在整个实践过程中Linkin做了什么样的设计,解决了什么问题?首先看下数据流动图:5817多数据中心怎么管理数据:5818集群本身的架构图5819Kafka内部架构图,分为数据产生者(Producer),数据中间者(Broker),数据消费者(Consumer)显然,这是一个集群的发布/订阅系统,有如下几个特点 [*]生产者是推数据(Push),消费者是拉数据(Pull)。存在数据复用,在Linkin平均生产1条消息会被消费5.5次。 [*]数据生产者和数据消费者的速度不对等,所以要把数据沉淀在Kafka内慢慢处理,Linkin一般在集群内放7天的数据。 [*]性能上追求高吞吐,保证一定的延时性之内。这方面做了大量优化,包括没有全局hash,批量发送,跨数据中心压缩等等。 [*]容错性上使用的“至少传输一次”的语义。不保证强一次,但避免最多传一次的情况。 [*]集群中数据分区,保证单个数据消费者可以读到某话题(topic)的某子话题(例如某用户的数据)的所有数据,避免全局读数据 [*]数据规范性,所有数据分为数百个话题,然后在数据的源头——生产者(Producer)这边就用Schema来规范数据,这种理念使得后期的数据传输、序列化、压缩、消费都有了统一的规范,同时也解决了这个领域非常麻烦的数据版本不兼容问题——生产者一改代码,消费者就抓瞎。 [*]用于监控,这个系统的威力在于,前面所有生产系统的数据流向,通过这个系统都能关联起来,用于日常的运营也好,用于数据审计,用于运维级别的监控也好都是神器啊! To be continued...##所以,Kafka的设计基本上目前这个领域的唯一选择。我也看了很多其他实现,包括:5820 [*]数据采集组件 [*]数据传输组件 [*]数据实时计算/索引/搜索组件 [*]数据存储/持久化组件 [*]数据展示/查询/报警界面组件 从数据传输这块的设计理念来说,Kafka是最为先进的,在目前的各种实现中,我猜测可以和Kafka一战的也就只有Splunk了后面我会分析一下这个软件的设计和实现欲知后事如何,且听下回分解 ~~主要参考文章日志:每个软件工程师都应该知道的有关实时数据的统一概念 —— 这篇比较抽象,高屋建瓴,理论先行Building LinkedIn’s Real-time Activity Data Pipeline —— 实践层的论文,把做事情的前因后果都写明白了分布式发布订阅消息系统 Kafka 架构设计 —— 落地设计次要参考文章《分布式发布订阅消息系统 Kafka 架构设计》《StreamBase简介》《Yahoo! s4和Twitter storm的粗略比较》《最火爆的开源流式系统Storm vs 新星Samza》《架构之淘宝实时数据传输平台: TimeTunnel介绍》《Graylog2 简介》《logstash 还是不行》《日志收集以及分析:Splunk 》《LogStash日志分析系统》《LogStash,使日志管理更简单》《logstash VS splunk》《个性化离线实时分析系统pora》《日志:每个软件工程师都应该知道的有关实时数据的统一概念》《基于Flume的美团日志收集系统(二)改进和优化》《基于Flume的美团日志收集系统(一)架构和设计》《对互联网海量数据实时计算的理解》《流式日志系统启示录》《flume-ng+Kafka+Storm+HDFS 实时系统搭建》
总条数:133 到第 页
上滑加载中