数据结构论坛

注册

 

发新话题 回复该主题

实时计算框架Flink新方向打造大数据 [复制链接]

1#

雷锋网AI开发者按:自Flink开源以来,越来越多的开发者加入了Flink社区。仅仅年,Flink在GitHub上的Star数量翻了一倍,Contributor数量也呈现出持续增长的态势。而它目前在GitHub上的访问量,也位居Apache项目中前三,是Apache基金会中最为活跃的项目之一。

Flink发展如此之快,除了开源使得更多开发者与企业可以接触与使用之外,它在AI方面的部署也起着很大作用。看似Flink的主要应用场景还是数据分析,但它面向多个AI场景,已经提供了深度学习引擎协同等功能。而对于这一与时俱进的Flink,我们也许可以看到更多可能的未来。

Flink?Blink?Alink?

很多人在谈到Flink的时候,也通常会提Blink和Alink。从名字可以看出,它们与Flink有着很深的联系,Blink和Alink都是基于Flink而得。

Flink状态计算中的数据流

FlinkFlink是欧洲的一个大数据研究项目,早期专注于批计算,再到后来Flink发展成为了Apache的顶级大数据项目。

具体而言,Flink擅长处理无边界和有边界的数据集。对时间和状态的精确控制使Flink的运行时能够在无限制的流上运行任何类型的应用程序。有界流由专门为固定大小的数据集设计的算法和数据结构在内部进行处理。

Flink架构

其核心是一个流式的数据流执行引擎,能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用。它在运行时的架构主要包含几个部分:Client、JobManager(master节点)和TaskManger(slave节点),是一个高效和分布式的通用数据处理平台。

更多信息:

分享 转发
TOP
发新话题 回复该主题