360SDN.COM

首页/Kafka/列表

kafka直接对接nginx

来源:  2019-02-28 14:06:06    评论:0点击:

很多时候我们要对nginx产生的日志进行分析都是通过flume监控nginx产生的日志,通过flume把日志文件发送该kafka,flume作为生产者,但是这种方式的缺点就是可能效率会比较慢,除此之外还可以使用kafka直接对接nginx,nginx作为生产者,把log日志直接对接到kafka的某些分区中,这种方法的效率比较高,但是缺点就是可能会出现数据丢失,可以通过把nginx的日志进行一份给kafka,再把一份进行保存
下面就是对这种方式的进行配置
 
一、安装nginx-kafka插件 第一种方式 是通过git进行安装(https://github.com/brg-liuwei/ngx_kafka_module)
1、安装
gityum install -y git
2、找一个目录,将kafka的源码目录克隆下来
这里我使用的目录是 /usr/local/src
在这个目录下执行
git clone https://github.com/edenhill/librdkafka
3、进入librdkafka进行编译
cd librdkafka
安装依赖
yum install -y gcc gcc-c++ pcre-devel zlib-devel
.进行预编译
/configure
进行编译
先执行 make, 在执行 make install
 
4、安装nginx整合kafka的插件,克隆nginx整合kafka的源码
cd /usr/local/src
执行
git clone https://github.com/brg-liuwei/ngx_kafka_module
 
(如果使用git下载失败了,可以直接点进去上面的两个链接,然后下载到本地,在上传到linux上,进行解压,其他的都和上面的操作一样)
 
5、安装nginx
解压nginx安装包
进入到nginx源码包中
安装依赖
yum -y install gcc pcre-devel openssl openssl-devel
预编译 时将插件同时编译
后面跟的目录是 克隆的nginx整合kafka的插件的目录
./configure --add-module=/usr/local/src/ngx_kafka_module/
编译
先执行make 再执行make install
安装后在/usr/local/下会有一个nginx目录
 
二、把环境安装好后,在修改nginx的配置文件
在/usr/local/nginx下
nginx的conf目录下的nginx.conf的内容如下
开启zk和kafka
开启kafka的消费者
开启nginx服务
在nginx目录下执行
sbin/nginx
如果是重新加载执行
sbin/nginx reload
如果在启动的过程中遇到
error while loading shared libraries: librdkafka.so.1: cannot open shared object file: No such file or directory
则执行下面的命令,再重新启动
echo “/usr/local/lib” >> /etc/ld.so.conf
ldconfig#user  nobody;
worker_processes  1;
 
#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;
 
#pid        logs/nginx.pid;
 
 
events {
    worker_connections  1024;
}
 
 
http {
    include       mime.types;
    default_type  application/octet-stream;
 
    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';
    #access_log  logs/access.log  main;
    sendfile        on;
    #tcp_nopush     on;
    #keepalive_timeout  0;
    keepalive_timeout  65;
    #gzip  on;
    
    #此处配置的是和kafka进行整合,配置kafka的broker的地址
    kafka;
    kafka_broker_list bigdata01:9092 bigdata02:9092 bigdata03:9092;
    
    server {
        listen       80;
        #配置server_name的名称,可以随便写
        server_name  bigdata01;
        #charset koi8-r;
        #access_log  logs/host.access.log  main;
#配置要消费的kafka分区,如果topic不存在会自动创建
    location = /kafka/mytopic {
                kafka_topic track;
        }
#可以配置多个topic
    location = /kafka/tt2 {
                kafka_topic user;
        }
 
        #error_page  404              /404.html;
 
        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
 
    }
 
}
 
三、测试,向nginx中写入数据,然后观察kafka的消费者能不能消费到数据
 
curl localhost/kafka/mytopic -d “nginx test…”
curl localhost/kafka/mytopic -d “nginx test111111111111111111”
curl: (6) Couldn’t resolve host ‘localhost’
可能是因为在hosts文件中把127哪一行去掉的原因,直接使用ip地址名或host名就可以啦
--------------------- 
 
原文:https://blog.csdn.net/Lu_Xiao_Yue/article/details/85208542  
 
为您推荐

友情链接 |九搜汽车网 |手机ok生活信息网|ok生活信息网|ok微生活
 Powered by www.360SDN.COM   京ICP备11022651号-4 © 2012-2016 版权