storm怎么读啊

storm

英[stɔːm]

美[stɔrm]

n

暴风雨；大动荡

vi

起风暴；横冲直撞；狂怒咆哮

vt

猛攻；怒骂

风暴的英文名，是一个天体的大气的任何不稳定状态，尤其影响天体的表面，通常会带来恶劣天气。风暴可能伴随著强风、雷和闪电（例如雷暴）、强降水或随风在大气中移动的物质（例如沙尘暴、暴风雪和雹暴）。

storm

KK: []

DJ: []

n[C]

1 暴风雨

The ship had no sooner dropped anchor than a storm broke

船刚下锚暴风雨就来了。

2 (政治、社会等方面的)风暴,大动荡

3 (感情的)爆发,激动[(+of)]

4 (暴风雨般的)发作[(+of)]

A storm of applause rose from the audience

观众一阵喝彩。

5 军强击,猛攻

vt

1 猛攻;袭取;狠狠抨击

The enemy troops stormed the castle

敌军对城堡发动猛攻。

vi

1 起风暴;下暴雨

It stormed all day yesterday

昨天整日刮风下雨。

2 横冲直撞,猛冲[Q]

He stormed out of the room in a rage

他怒气冲冲地冲出房间。

3 暴怒;怒骂[(+at)]

She stormed at her son for talking back

她因儿子顶嘴而对他大发脾气。

4 强击,猛攻

流式计算中，各个中间件产品对计算过程中的角色的抽象都不尽相同，实现方式也是千差万别。本文针对storm中间件在进行流式计算中的几个概念做个概括总结。

storm分布式计算结构称为topology(拓扑)由stream,spout,bolt组成。

spout代表一个storm拓扑中的数据入口，连接到数据源，将数据转化为一个个tuple，并发射tuple

stream是由无限制个tuple组成的序列。tuple为storm的核心数据结构，是包含了一个或多个键值对的列表。

bolt可以理解为计算程序中的运算或者函数，bolt的上游是输入流，经过bolt实施运算后，可输出一个或者多个输出流。

bolt可以订阅多个由spout或者其他bolt发射的数据流，用以构建复杂的数据流转换网络。

上述即为storm最基本的组成元素，无论storm如何运行，都是以stream,spout,bolt做为最基本的运行单元。而这三者则是共同构成了一个storm拓扑topology。

首先需要明确一个概念，bolt,spout实例，都属于任务，spout产生数据流，并发射，bolt消费数据流，进行计算，并进行落地或再发射，他们的存在以及运行过程都需要消耗资源，而storm集群是一个提供了资源的集群，我们要做的就是将spout/boult实例合理分配到storm集群提供的计算资源上，这样就可以让spout/bolt得以执行。

worker为JVM进程，一个topology会分配到一个或者多个worker上运行。

executor是worker内的java线程，是具体执行bolt/spout实例用的。下篇文章在介绍如何提供storm并行计算能力时会介绍worker以及executor的配置。

在storm中，worker是由supervisor进程创建，并进行监控的。storm集群遵循主从模式，主为nimbus，从为supervisor，storm集群由一个主节点（确实有单点问题），和多个工作节点（supervisor）组成，并使用zookeeper来协调集群中的状态信息，比如任务分配情况，worker状态，supervisor的拓扑度量。

通过配置可指定supervisor上可运行多少worker。一个worker代表一个slot。

nimbus守护进程的主要职责是管理，协调和监控在集群上运行的topology包括topology的发布，任务指派，事件处理失败时重新指派任务。

supervisor守护进程等待nimbus分配任务后生成并监控workers执行任务。supervosior和worker都是运行在不同的JVM进程上。

了解了集群模式下，storm大致的分布概念，下面结合笔者做的一个实例，了解一下如何发布计算资源到storm集群上。

笔者定义了一个spout,两个bolt 运算过程如下:

其中streamMaking是一个不断生成随机数（5~30）的spout实例，Step1Bolt会过滤掉15以下的随机数(过滤)，15以上的随机数会乘以16(计算)，再将结果向后发射。Step2Bolt订阅Step1Bolt发射的数据，接收数据后，打印输出。流程结束。

笔者在定义spout/bolt实例时，配置了spout,bolt的并行执行数。其中

streamMaking:4   Step1Bolt:2  Step2Bolt 1

这样，发布成功后，storm会根据我的配置，分配足够的计算资源给予spout/bolt进行执行。

发布:

发布时，spout和bolt都是在一起以jar的形式发布到nimbus上的，分配后，内部定义的spout和bolt将以组件的形式被nimbus分配至worker进程中执行。

其中worker都是由supervisor创建的，创建出来的worker进程与supervisor是分开的不同进程。一个supervisor可创建多少worker可通过修改storm安装目录下的stormyaml进行配置。

task是执行的最小单元。spout/bolt实例在定义中指定了，要起多少task，以及多少executor。也即一个topology发布之前已经定义了task总量，和需要多少资源来执行我的task总量。nimbus将根据已有的计算资源进行分配。

下图中:  nimbus左边代表着计算任务量，和所需计算配置

nimbus右边代表着计算资源

nimbus将根据计算资源信息，合理的分发计算任务量。

发布成功后，通过storm自带的UI功能，可以查看你发布的topology运行以及其中每个组件的分布执行情况。

监控图像中清晰的显示了，目前部署的topology，以及topology中每个组件所分配的计算资源所在host，以及每个组件发射了多少tuple，接收了多少tuple，以及有多少个executor在并行执行。

本文讲述了storm内的基本元素以及基本概念，后续将讲述storm的重点配置信息，以及如何提高并发计算能力，窗口概念等高级特性，后续会进行源码分析，以及与其他实时计算中间件的比较。

先来看释义：

①有道词典：storm water: n 雨水，（气象）暴雨水   

    短语：

    storm water pump 暴雨排水泵 ; 暴雨排抽水机 ; 暴雨排

    storm-water drainage system 雨水排放系统 ; 雨水疏导系统

    storm-water system 雨水排放系统

②维基百科关于stormwater的解释：Stormwater, also spelled storm water, is water that originates from rain, including snow and ice melt Most runoff is conveyed directly to nearby streams, rivers, or other water bodies (surface water) without treatment

Stormwater，或拼写为storm water, 即降雨生成的水。它也包括雪水和冰融。大部分径流都未经处理直接汇入附近的溪水、河水或其他水体（地表水）。

Stormwater can soak into the soil (infiltrate), be stored on the land surface in ponds and puddles, evaporate, or contribute to surface runoff 雨水可浸入土壤(渗透)，储存于池塘及水坑、蒸发、或变成地表径流。

因此，要回答你的问题，storm本是“暴风雨”的意思, 用在storm water这个词组里，理解为“雨水”，“降水”即可。

Storm优势就在于Storm是实时的连续性的分布式的计算框架,一旦运行起来,除非你将它杀掉,否则它一直处理计算或等待计算的状态Spark和hadoop都做不到

当然它们各自都有其应用场景,各有各的优势可以配合使用

下面我转一份别人的资料,讲的很清楚

Storm与Spark、Hadoop这三种框架，各有各的优点，每个框架都有自己的最佳应用场景。

所以，在不同的应用场景下，应该选择不同的框架。

Storm是最佳的流式计算框架，Storm由Java和Clojure写成，Storm的优点是全内存计算，所以它的定位是分布式实时计算系统，按照Storm作者的说法，Storm对于实时计算的意义类似于Hadoop对于批处理的意义。

Storm的适用场景：

1）流数据处理

Storm可以用来处理源源不断流进来的消息，处理之后将结果写入到某个存储中去。

2）分布式RPC。由于Storm的处理组件是分布式的，而且处理延迟极低，所以可以作为一个通用的分布式RPC框架来使用。

SparkSpark是一个基于内存计算的开源集群计算系统，目的是更快速的进行数据分析。Spark由加州伯克利大学AMP实验室Matei为主的小团队使用Scala开发开发，类似于Hadoop MapReduce的通用并行计算框架，Spark基于Map Reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点，但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的Map Reduce的算法。

Spark的适用场景：

1）多次操作特定数据集的应用场合

Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小。

2）粗粒度更新状态的应用

由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例如Web服务的存储或者是增量的Web爬虫和索引。就是对于那种增量修改的应用模型不适合。

总的来说Spark的适用面比较广泛且比较通用。

Hadoop是实现了MapReduce的思想，将数据切片计算来处理大量的离线数据数据。Hadoop处理的数据必须是已经存放在HDFS上或者类似HBase的数据库中，所以Hadoop实现的时候是通过移动计算到这些存放数据的机器上来提高效率。

Hadoop的适用场景：

1）海量数据的离线分析处理

2）大规模Web信息搜索

3）数据密集型并行计算

简单来说：

Hadoop适合于离线的批量数据处理适用于对实时性要求极低的场景

Storm适合于实时流数据处理，实时性方面做得极好

Spark是内存分布式计算框架，试图吞并Hadoop的Map-Reduce批处理框架和Storm的流处理框架，但是Spark已经做得很不错了，批处理方面性能优于Map-Reduce，但是流处理目前还是弱于Storm，产品仍在改进之中

以上就是关于storm怎么读啊全部的内容，包括:storm怎么读啊、请问storm是什么意思啊、storm基本概念等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！