天天速看:大数据NiFi(十七):NiFi术语
NiFi术语
一、DataFlow Manager
DataFlow Manager(DFM)是NiFi用户,具有添加,删除和修改NiFi数据流组件的权限。
(资料图片)
二、FlowFile
FlowFile代表NiFi中的单个数据。FlowFile由属性(attribute)和内容(content)组成。内容是FlowFile表示的数据,属性由键值对组成,提供有关数据的信息或上下文的特征。所有FlowFiles都具有以下标准属性:
uuid:一个通用唯一标识符,用于区分各个FlowFiles。
filename:在将数据存储到磁盘或外部服务时可以使用的可读文件名
path:在将数据存储到磁盘或外部服务时可以使用的分层结构值,以便数据不存储在单个目录中。
三、Processor
处理器是NiFi组件,用于监听传入数据、从外部来源提取数据、将数据发布到外部来源、路由,转换或从FlowFiles中提取信息。
四、Relationship
每个处理器都有零个或多个关系。这些关系指示如何对FlowFile进行处理:处理器处理完FlowFile后,它会将FlowFile路由(传输)到其中一个关系。DFM能够将每一个关系连接到其他组件,以指定FlowFile应该在哪里进行下一步处理。
五、Connection
Connection可以将不同的Processor连接在一起创建自动的数据处理流程。
六、Controller Service
控制器服务是扩展点,在用户界面中由DFM添加和配置后,将在NiFi启动时启动,并提供给其他组件(如处理器或其他控制器服务)需要的信息。
七、Reporting Task
报告任务在后台运行,以提供有关NiFi实例中发生情况的统计报告。
八、Funnel
漏斗是一个NiFi组件,用于将来自多个Connections的数据合并到一个Connection中。
九、Process Group
当数据流变得复杂时,在更高,更抽象的层面上管理数据流是很有用的。NiFi允许将多个组件(如处理器)组合到一个Process group 中。可以通过界面查看组和操作组中的组件。
十、Port
一般用于远程连接NiFi组使用。
十一、Remote Process Group
远程组可以实现将数据从一个NiFi实例传输到另一个NIFI实例。虽然NiFi提供了许多不同的机制来将数据从一个系统传输到另一个系统,但是如果将数据传输到另一个NiFi实例,远程进程组实现是最简单方法。
十二、Bulletin(公告)
NiFi用户界面提供了大量有关应用程序当前状态的监视和反馈。除了每个组件"黄色三角形"的警告以外,每个组件运行有错误时还会报告错误公告,这个错误会显示在处理器的右上角,以红色图标显示。系统级公告显示在页面顶部附近的状态栏上。使用鼠标悬停在该图标上将提供一个工具提示,显示公告相关信息。
十三、Template
DataFlow由许多可以重用的组件组成,NiFi允许DFM选择DataFlow的一部分(或整个DataFlow)并创建模板,达到复用的目的。
十四、flow.xml.gz
用户界面画布的所有组件内容都实时写入一个名为flow.xml.gz的文件,该文件默认位于$NIFI_HOME/conf目录中。在画布上进行的任何更改都会自动保存到此文件中。此外,NiFi在更新时会自动备份此文件,您可以使用这些备份来回滚配置,如果想要回滚,先停止NiFi,将flow.xml.gz替换为所需的备份,然后重新启动NiFi。在集群环境中,停止整个NiFi集群,替换其中一个节点的flow.xml.gz,删除自其他节点的flow.xml.gz,然后重启集群,节点之间会自动同步"flow.xml.gz"备份文件。
关键词: 编程算法
下一篇:最后一页
- 天天速看:大数据NiFi(十七):NiFi术语
- 60岁快递员猝死 人社局:不属于劳动者范畴
- 瑞银:安踏体育(02020)最受惠于防控政策优化 转列体育用品股首选
- 1批次“中盐”食用盐抽检不合格,山东岱岳制盐公司称已下架产品
- 江西省二手房交易合同范本(通用30篇)
- 环球速读:税暖“春风起” 精准惠企“乘风行”
- 捷豹I-PACE夺得最佳越野车金轮奖|新动态
- 整个胃切除后能工作吗_整个胃切除后能活多久-环球资讯
-
奇迹四代翅膀怎么合成_奇迹四代翅膀怎么合成的
1、游戏一直伴随着我们的成长。在这里,边肖将教你如何合成奇迹四代之翼,希望能有好的游戏体验~2、合成三代翅膀合成玛雅篇的
-
六个高Star开源项目,让你更懂OAuth和单点登录 今日热门
现在大部分的网络应用,登录、注册、密码加密保存、token管理等功能都是必要的。为了让用户的隐私更能得到保障,使用起来更方便,OAuth协议和
-
四川能投发展多措并举为春耕春灌注入“满格”电力
四川能投发展多措并举为春耕春灌注入“满格”电力
-
当前快播:整整10条!广州在建地铁最新进度出炉!
近日,随着盾构机在南石路站暗挖端头破土而出,广州地铁十一号线南石路至燕岗区间(下称“南燕区间”)右线盾构隧道顺利贯通,标志着区间隧道
X 关闭
X 关闭