Flink安装文档

#环境准备

##配置ssh互信

在flink各个服务器上执行如下命令，配置ssh免密码登录

ssh-keygen -t rsa
    ssh-copy-id -i .ssh/id_rsa.pub flink-01
    ssh-copy-id -i .ssh/id_rsa.pub flink-02
    ssh-copy-id -i .ssh/id_rsa.pub flink-03
    
    
##配置java环境

下载并安装jdk8

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" https://download.oracle.com/otn-pub/java/jdk/8u191-b12/2787e4a523244c269598db4e85c51e0c/jdk-8u191-linux-i586.tar.gz
    tar zxvf jdk-8u191-linux-i586.tar.gz 
    mv jdk1.8.0_191 /opt
    
配置java环境变量
    
    echo 'export JAVA_HOME=/opt/jdk1.8.0_181' >> ~/.bashrc
    echo 'export PATH=$PATH:$JAVA_HOME/bin' >> ~/.bashrc
    source ~/.bashrc
    
#zookeeper集群搭建

flink的jobmanager借助zookeeper实现HA，因此需要先搭建一套zookeeper集群。

下载安装zookeeper

wget http://apache.website-solution.net/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
    tar zxvf zookeeper-3.4.10.tar.gz
    
修改zookeeper配置文件

vi config/zoo.cfg
    
    dataDir=/var/zookeeper/
    clientPort=2181
    server.1=zoo-01:2888:3888
    server.2=zoo-02:2888:3888
    server.3=zoo-03:2888:3888

其中：

- dataDir指定Zookeeper的数据文件目录
- server.id=host:port:port，id是为每个Zookeeper节点的编号，保存在dataDir目录下的myid文件中
- zoo-01~zoo-03表示各个Zookeeper节点的hostname, 可与flink集群共用
- 第一个port是用于连接leader的端口，第二个port是用于leader选举的端口

在dataDir目录下创建myid文件，文件中只包含一行，且内容为该节点对应的server.id中的id编号，如：

echo 1 > /var/zookeeper/myid
    
启动Zookeeper服务

cd zookeeper*/bin && zkServer.sh start

#NFS共享文件系统配置

flink checkpoint保存位置要求文件系统是共享的，如hdfs、nfs等。

在共享服务器上export nfs共享目录

假设共享目录为 /data/shared_files

vi /etc/exports
    
    /data/shared_files  *(rw,sync,fsid=0)

执行`exportfs -rv`使修改生效

在flink各个节点上挂载该共享目录

mount  share_host:/data1/.services/data/shared_files /mnt/nfs -t nfs -o nolock,noatime,nodiratime,nosuid,noexec,nodev,tcp,rsize=32768,wsize=32768,hard,intr,bg,sync,actimeo=2,rw
    
其中nfs挂载参数可根据需要进行调整

#安装flink集群

##下载flink

wget http://mirror-hk.koddos.net/apache/flink/flink-1.6.1/flink-1.6.1-bin-scala_2.11.tgz
    tar zxvf flink-1.6.1-bin-scala_2.11.tgz 
    
##配置flink

###配置flink-conf.yaml文件
    
    #基本配置
    jobmanager.rpc.address: flink-01
    jobmanager.heap.size: 1024m
    taskmanager.heap.size: 1024m
    taskmanager.numberOfTaskSlots: 10
    parallelism.default: 4
    
    # jobmanager High HA配置
    high-availability: zookeeper
    high-availability.zookeeper.quorum: zoo-01:2181,zoo-01:2181,zoo-03:2181
    high-availability.zookeeper.path.root: /flink
    high-availability.cluster-id: /default_ns
    high-availability.storageDir: /mnt/nfs/flink/recovery
    high-availability.jobmanager.port: 50010
    
    # checkpoint相关配置
    state.backend: filesystem
    state.savepoints.dir: /mnt/nfs/flink/checkpoints
    state.checkpoints.dir: /mnt/nfs/flink/checkpoints
    
其中:

- taskmanager.numberOfTaskSlots 表示taskmanager所分配的槽位数, 需根据服务器cpu和业务负荷做适当调整.
- taskmanager.heap.size taskmanager所分配的堆内存大小, 根据服务器内存调整
- high-availability.storageDir,state.savepoints.dir,state.checkpoints.dir 必须是共享文件系统, 此处使用nfs
    
###配置masters文件

将启动JobManager的节点hostname:port填入master配置文件中, 格式为jobManagerAddress:webUIPort

vi conf/master
    
    flink-01:8081
    flink-02:8081
    flink-03:8081

###配置slaves文件

将启动TaskManager的节点hostname加入slaves配置文件中

vi conf/slave
    
    flink-01
    flink-02
    flink-03

##复制flink到集群其他节点上

scp -r flink-1.6.1 flink-02:~
    scp -r flink-1.6.1 flink-03:~

#启动flink集群

./start-cluster.sh

启动成功后可通过flink webui查看集群状态

http://flink-01:8081/

Navigation

Recent Posts

Friend Links