实时流处理框架之Storm的安装与部署

2021-10-01
455

**参考视频教程:**   	
  [**基于Storm构建实时热力分布项目实战  **](http://www.notescloud.top/goods/detail/1294)	
### 教程目录

* [0x00 教程内容](#0x00__1)
* [0x01 下载Storm](#0x01_Storm_9)
*
  *
    *
      *
        * [1. 下载Storm](#1_Storm_10)
        * [2. 上传安装包到节点](#2__14)
* [0x02 安装与配置Storm](#0x02_Storm_18)
*
  *
    *
      *
        * [1. 解压Storm](#1_Storm_19)
        * [2. 配置Storm](#2_Storm_22)
* [0x03 启动并校验Storm](#0x03_Storm_55)
*
  *
    *
      *
        * [1. 启动Storm](#1_Storm_56)
        * [2. 校验Storm](#2_Storm_71)
* [0xFF 总结](#0xFF__77)

0x00 教程内容

1. 下载Storm
2. 安装与配置Storm
3. 启动并校验Storm

前提：  
先安装好Zookeeper，请查看教程：  
[D003 复制粘贴玩大数据之安装与配置Zookeeper集群](https://blog.51cto.com/u_12564104/2894986)
0x01 下载Storm

##### 1. 下载Storm

a. 为了统一，此处下载`apache-storm-1.2.2.tar.gz`版本：  
<http://storm.apache.org/downloads.html>

##### 2. 上传安装包到节点

a. 上传到master的`/home/hadoop-sny/software`上，没有目录则创建：  
`mkdir ~/software`
0x02 安装与配置Storm

##### 1. 解压Storm

a. 解压Storm  
`tar -zxvf apache-storm-1.2.2.tar.gz -C ~/bigdata/`

##### 2. 配置Storm

a. 新建Storm数据文件夹，在每台机器上创建文件目录：  
`mkdir /home/hadoop-sny/bigdata/storm-data`  
b. 修改Storm配置  
`cd ~/bigdata/apache-storm-1.2.2/conf`  
`vi storm.yaml`  
配置一：配置ZK存储Storm的状态信息（协调Storm的每一个组件）  
登录后复制

storm.zookeeper.servers:
        - "master"
        - "slave1"
        - "slave2"

配置二：配置Nimbus和Supervisor在本地磁盘上存储小量的数据（如jars，配置等）  
`storm.local.dir: "/home/hadoop-sny/bigdata/storm-data"`

配置三：配置Nimbus所在的机器名  
`nimbus.seeds: ["master"]`

配置四：配置每个Supervisor节点最多可以启动多少个workers，（一个worker对应一个端口用于接收数据）默认是4个  
登录后复制

supervisor.slots.ports:
        - 6700
        - 6701
        - 6702
        - 6703

如图所示：  
![实时流处理框架之Storm的安装与部署_Storm](images/4405/1633096331134.png)  
c. 同步到安装包到slave1和slave2  
`scp -r /home/hadoop-sny/bigdata/apache-storm-1.2.2 hadoop-sny@slave1:~/bigdata/`  
`scp -r /home/hadoop-sny/bigdata/apache-storm-1.2.2 hadoop-sny@slave2:~/bigdata/`
0x03 启动并校验Storm

##### 1. 启动Storm

前提：  
先启动Zookeeper（三个节点都要启动）：  
`zkServer.sh start`  
![实时流处理框架之Storm的安装与部署_实时流处理框架_02](images/4405/1633096331457.png)  
a. 在master上启动Nimbus和Web UI  
`cd ~/bigdata/apache-storm-1.2.2`  
`nohup bin/storm nimbus 2>&1 &`  
然后回车，切换终端2，执行：  
`nohup bin/storm ui 2>&1 &`  
然后回车  
b. 在slave1和slave2上启动Supervisor  
`cd ~/bigdata/apache-storm-1.2.2`  
`nohup bin/storm supervisor 2>&1 &`

##### 2. 校验Storm

a. 查看各节点进程  
![实时流处理框架之Storm的安装与部署_Storm_03](images/4405/1633096332096.png)  
b. Web UI端口查看  
打开端口：`http://master:8080`，看到下面的界面表示成功：  
![实时流处理框架之Storm的安装与部署_实时流处理框架_04](images/4405/1633096332412.png)
0xFF 总结

1. Flume、Kafka、Storm的综合小案例，请留意后期教程
2. 后期教程还会加上Kafka、Storm、Kafka的piplines的实现教程

实时流处理框架之Storm的安装与部署

教程分类

热门视频教程

热门文章

热门书籍推荐