Flink集群三个节点部署操作流程和安装步骤

1.下载Flink压缩包

下载地址:http://.apache.org/downloads.html。

我集群环境是hadoop2.6,Scala2.11版本的,所以下载的是:-1.3.1-bin-hadoop26-scala_2.11.tgz。

2.解压

上传至三个节点的相同目录,执行如下命令解压:

tar xzf flink-1.3.1-bin-hadoop26-scala_2.11.tgz

3.配置master节点

选择一个 master节点(JobManager)然后在conf/flink-conf.yaml中设置jobmanager.rpc.address 配置项为该节点的IP 或者主机名。确保所有节点有有一样的jobmanager.rpc.address 配置。

4.配置slaves

将所有的 worker 节点 (TaskManager)的IP 或者主机名(一行一个)填入conf/slaves 文件中。

5.启动flink集群

bin/start-cluster.sh

6.注意

https://ci.apache.org/projects/flink/flink-docs-release-1.0/setup/config.html查看更多可用的配置项。为了使Flink 更高效的运行,还需要设置一些配置项。

以下都是非常重要的配置项:

1、TaskManager总共能使用的内存大小(taskmanager.heap.mb)

2、每一台机器上能使用的 CPU 个数(taskmanager.numberOfTaskSlots)

3、集群中的总 CPU个数(parallelism.default)

4、临时目录(taskmanager.tmp.dirs)

7.示例

下面的例子阐述了三个节点的集群部署(IP地址从10.0.0.1 到10.0.0.3,主机名分别为master, worker1, worker2)。并且展示了配置文件,以及所有机器上一致的可访问的安装路径。
《Flink集群三个节点部署操作流程和安装步骤》

8.Flink On Yarn配置

你可以很方便地将 Flink部署在现有的YARN集群上,操作如下:

1、下载 Flink Hadoop2包: Flink with Hadoop 2

2、确保你的 HADOOP_HOME (或YARN_CONF_DIR 或HADOOP_CONF_DIR) __环境变量__设置成你的YARN 和HDFS 配置。

3、运行 YARN客户端:./bin/yarn-session.sh。你可以带参数运行客户端 -n 10 -tm 8192表示分配 10个 TaskManager,每个拥有8 GB 的内存。

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注