Flink——Exactly-Once

贵州医学院2023-05-01  27

Apache Flink是目前市场最受关注的流计算处理引擎,相较于Spark Streaming的依托Spark Core实现的微批处理模型,Flink是一个纯粹的流处理引擎,其基于操作符的连续流模型,可以达到微秒级别的延迟。

Flink实现了流批一体化模式,实现按照事件处理和无序处理两种形式,基于内存计算。强大高效的反压机制和内存管理,基于轻量级分布式快照checkpoint机制,从而自动实现了Exactly-Once一致性语义。

1 数据源端

支持可靠的数据源(如kafka), 数据可重读

Apache Flink内置FlinkKafkaConsumer010类,不依赖于 kafka 内置的消费组offset管理,在内部自行记录和维护 consumer 的offset。

2 Flink消费端

轻量级快照机制: 一致性checkpoint检查点

Flink采用了一种轻量级快照机制(检查点checkpoint)来保障Exactly-Once的一致性语义。所谓的一致检查点,即在某个时间点上所有任务状态的一份拷贝(快照)。该时间点是所有任务刚好处理完一个相同数据的时间。

间隔时间自动执行分布式一致性检查点(Checkpoints)程序,异步插入barrier检查点分界线,内存状态自动存储为cp进程文件。保证数据Exactly Oncey精确一次处理。

(1) 从source(Input)端开始,JobManager会向每个source(Input)发送检查点barrier消息,启动检查点。在保证所有的source(Input)数据都处理完成后,Flink开始保存具体的一致性检查点checkpoints,并在过程中启用barrier检查点分界线。

(2) 接收数据和barrier消息,两个过程异步进行。在所有的source(Input)数据都处理完成后,开始将自己的检查点(checkpoints)保存到状态后(StateBackend)中,并通知JobManager将Barrier分发到下游

(3) barrier向下游传递时,会进行barrier对齐确认。待barrier都到齐后才进行checkpoints检查点保存。

(4) 重复以上操作,直到整个流程完成。

3 输出端

与上文Spark的输出端Exactly-Once一致性上实现类似,除了目标源需要满足一定条件以外,Flink内置的二阶段提交机制也变相实现了事务一致性。支持幂等写入、事务写入机制(二阶段提交)

这一块和上文Spark的幂写入特性内容一致,即相同Key/ID 更新写入,数据不变。借助支持主键唯一性约束的存储系统,实现幂等性写入数据,此处将不再继续赘述。

Flink在处理完source端数据接收和operator算子计算过程,待过程中所有的checkpoint都完成后,准备发送数据到sink端,此时启动事务。其中存在两种方式: (1) WAL预写日志: 将计算结果先写入到日志缓存(状态后端/WAL)中,等checkpoint确认完成后一次性写入到sink。(2) 二阶段提交: 对于每个checkpoint创建事务,先预提交数据到sink中,然后等所有的checkpoint全部完成后再真正提交请求到sink, 并把状态改为已确认。

整体思想: 为checkpoint创建事务,等到所有的checkpoint全部真正的完成后,才把计算结果写入到sink中。

大招能锁面板,但是范围太小。普攻能瞬身到下个攻击目标很方便,但是可能会导致后续e技能落空。没神里和甘雨才考虑练。

锁面板指角色技能的伤害值只和角色释放技能时的面板有关系。俗称快照机制。 反之就是角色技能持续期间若该角色面板发生变化,则技能伤害也发生变化。

魔兽世界wlk暗牧是很强的一个输出职业,不过要想高DPS需要一定的手法,而且天赋雕文也要进行特定搭配,那么魔兽世界wlk暗牧怎么玩?下面就给大家带来魔兽世界wlk暗牧玩法攻略。

魔兽世界wlk暗牧玩法攻略

1、简介

团队BUFF:法术命中3%、团队回蓝、小队回血5%、耐力精神

回蓝回血歌、变球吃技能,战术作用

2、输出手法

(1)原则

暴击增伤快照痛,精神鞭笞跳两跳

法伤急速勤刷新,嗜血之前暗影魔

(2)起手

吸血鬼之触>噬灵瘟疫>心灵震爆>精神鞭笞2跳(二段鞭)>5层暗影交织>暗言术痛

(3)单体

使用吸血鬼拥抱

A、保持吸血鬼之触、噬灵瘟疫

B、高质量快照暗言术痛,用精神鞭笞刷新

C、心灵震爆,绑定心灵专注

D、二段鞭

E、移动时打灭

F、暗影魔开在嗜血前

(4)AOE

A、能跳完,释放触、痛

B、主目标噬灵瘟疫

C、释放精神烧灼

D、低血量AOE,直接精神烧灼

(4)痛的快照机制

施放暗言术痛时享有的暴击BUFF、DEBUFF(包括团队BUFF、武器附魔、法师的魔法专注、狂野魔法药水等)以及百分比增伤BUFF(暗影交织、盗贼嫁祸诀窍)会一致保持作用于暗言术痛,无论鞭笞刷新几次。

法伤BUFF、急速BUFF、百分比增伤DEBUFF(元素诅咒等)在精神鞭笞刷新时按刷新的面板重新计算作用于暗言术痛。

(5)小技巧

快照机制延伸出小技巧:

A、尽可能在起手是创造一个高质量的痛,并不断刷新

包括偷一瓶魔法药水、准备一套高暴击武器(痛之后换回)、PY法师魔法专注、使用心灵专注(该机制待验证)

3、天赋雕文

部分AOE伤害环境,冥想移动一点至强化暗影形态

不缺蓝,冥想移动两点至强化吸血鬼拥抱

大雕文:鞭笞、暗影、消散

小雕文:暗影魔

4、消耗品、种族、专业

冰霜巨龙合剂、鱼宴、开怪前速度药水、开怪后符文法力药水、黑暗符文

人类、巨魔

工程、裁缝

以上就是关于Flink——Exactly-Once全部的内容,包括:Flink——Exactly-Once、凯亚大招锁面板吗、wlk暗牧打pve如何等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

转载请注明原文地址:https://juke.outofmemory.cn/read/3753988.html

最新回复(0)