kafka入门:简介、使用场景、设计原理、主要配置及集群搭建(转)

问题导读: 1.zookeeper在kafka的作用是什么? 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么? 3.kafka集群consumer和producer状态信息是如何保存的? 4.partitions设计的目的的根本原因是什么? 一、入门 1、简介 Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。kafka对 ……

Flume 架构及应用介绍(转载)

本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 (一)Flume架构介绍 1、Flume的概念 flume是分布式的日志收集系统,它将各个服务器中的数据收集起来并送到指定的地方去,比如说送到图中的HDFS,简单来说flume就是收集日志的。 2、Event的概念 在这里有必要先介绍一下flume中event的相关概念:flume的核心是把数据从数据源(source)收集过来,在将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功,在送到目的地(sink ……

10款开源的压力/负载测试工具

负载/压力测试工具可以让你了解应用程序在负载/压力下的执行情况,它可以暴露其中的问题,并进行改进。因此,负载/压力测试是确保系统运行效率并不可少的部分。本文介绍了 10 个开源的负载/压力测试工具,欢迎补充。 1、Apache JMeter JMeter 是 Apache 组织的开放源代码项目,它是功能和性能测试的工具,100% 的用 Java 实现。   2、Httperf Httperf 是个 web 服务器的性能测试工具,来自惠普公司。Httperf 提供了灵活的生成各种 HTT ……

zabbix启动报cannot set resource limit: [13] Permission denied问题解决

zabbix启动的时候报错如下:  28395:20170122:112700.799 using configuration file: /etc/zabbix/zabbix_agentd.conf 28395:20170122:112700.799 cannot set resource limit: [13] Permission denied 28395:20170122:112700.799 cannot disable core dump, exiting… 基本能确定是seli ……

zabbix 3.x使用脚本发送邮件告警

升级到zabbix3.2之后,还是使用原来的脚本发送邮件,却发现怎么也收不到,在服务器上手动测试邮件脚本,发现一切正常。 查阅相关资料后发现,zabbix3.0之后告警信息需要指定发送参数才行,修改如下: 添加如下三个参数即可: 收件人:{ALERT.SENDTO} 主题:{ALERT.SUBJECT} 消息:{ALERT.MESSAGE}    

zabbix 报警邮件内容为附件问题解决

安装zabbix之后,设置邮件脚本报警的时候,发送的报警内容变成了附件ATT00001.bin。 解决方法如下: yum -y install mailx dos2unix //安装mailx工具和dos2unix转换工具 以下是脚本内容: #!/bin/bash #export.UTF-8 //解决发送的中文变成了乱码的问题 FILE=/tmp/mailtmp.txt echo “$3” >$FILE dos2unix -k $FILE //解决了发送的邮件内容变成附件的问题。 /bin ……

21款优秀开源数据库简介

几乎所有软件项目的开发都需要数据库的支持,目前,随着开源技术的迅速发展,越来越多的数据供应商选择开源数据库,为开源事业添砖加瓦。作为一名软件开发人员或DBA,其中一份必不可少的工作就是与数据库打交道,比如MS SQL服务器、MySQL、Oracle、PostgreSQL、MongoDB等等。笔者总结了21个最优秀的开源数据库与大家分享。 1.PostgreSQL PostgreSQL可以简称为“postgres”,是一款对象-关系型数据库管理系统,PostgreSQL采用的是比较 经典的C/S( ……