hi,你好!欢迎访问本站!登录
本站由网站地图腾讯云宝塔系统阿里云强势驱动
当前位置:首页 - 教程 - 常见问题 - 正文 君子好学,自强不息!

Kafka的特性有哪些

2020-06-29常见问题搜奇网18°c
A+ A-

Kafka的特性有:1、同时为宣布和定阅供应高吞吐量;2、可举行耐久化操纵,将音讯耐久化到磁盘,因而可用于批量花费;3、散布式体系,易于向外扩大;4、支撑online和offline的场景。

Kafka的特性及运用场景

Kafka是散布式宣布-定阅音讯体系。它最初由LinkedIn公司开发,以后成为Apache项目的一部分。Kafka是一个散布式的,可分别的,冗余备份的耐久性的日记效劳。

它重要用于处置惩罚活泼的流式数据。在大数据体系中,常常会遇到一个问题,全部大数据是由各个子体系构成,数据须要在各个子体系中高机能,低耽误的不断流转。

传统的企业音讯体系并非 异常合适大规模的数据处置惩罚。为了已在同时搞定在线运用(音讯)和离线运用(数据文件,日记)Kafka就涌现了。Kafka能够起到两个作用:

  • 下降体系组网复杂度。

  • 下降编程复杂度,各个子体系不在是互相协商接口,各个子体系相似插口插在插座上,Kafka负担高速数据总线的作用

Kafka重要特性:

  • 同时为宣布和定阅供应高吞吐量。据了解,Kafka每秒能够生产约25万音讯(50 MB),每秒处置惩罚55万音讯(110 MB)。

  • 可举行耐久化操纵。将音讯耐久化到磁盘,因而可用于批量花费,比方ETL,以及及时运用程序。经由过程将数据耐久化到硬盘以及replication防备数据丧失。

  • 散布式体系,易于向外扩大。一切的producer、broker和consumer都邑有多个,均为散布式的。无需停机即可扩大机械。

  • 音讯被处置惩罚的状况是在consumer端保护,而不是由server端保护。当失利时能自动平衡。

  • 支撑online和offline的场景。

Kafka的设想要点:

1、直接运用linux 文件体系的cache,来高效缓存数据。

2、采纳linux Zero-Copy进步发送机能。传统的数据发送须要发送4次上下文切换,采纳sendfile体系挪用以后,数据直接在内核态交流,体系上下文切换削减 为2次。依据测试效果,能够进步60%的数据发送机能。

3、数据在磁盘上存取价值为O(1)。kafka以topic来举行音讯治理,每一个topic包括多个part(ition),每一个part对应一 个逻辑log,有多个segment构成。每一个segment中存储多条音讯(见下图),音讯id由其逻辑位置决议,即从音讯id可直接定位到音讯的存储 位置,防止id到位置的分外映照。每一个part在内存中对应一个index,纪录每一个segment中的第一条音讯偏移。宣布者发到某个topic的音讯 会被匀称的散布到多个part上(随机或依据用户指定的回调函数举行散布),broker收到宣布音讯往对应part的末了一个segment上增加该消 息,当某个segment上的音讯条数到达设置值或音讯宣布时候凌驾阈值时,segment上的音讯会被flush到磁盘,只要flush到磁盘上的音讯 定阅者才定阅到,segment到达肯定的大小后将不会再往该segment写数据,broker会建立新的segment。

4、显式散布式,即一切的producer、broker和consumer都邑有多个,均为散布式的。Producer和broker之间没有负 载平衡机制。broker和consumer之间应用zookeeper举行负载平衡。

一切broker和consumer都邑在zookeeper中进 行注册,且zookeeper会保留他们的一些元数据信息。假如某个broker和consumer发生了变化,一切其他的broker和 consumer都邑获得关照。

以上就是Kafka的特性有哪些的细致内容,更多请关注ki4网别的相干文章!

  选择打赏方式
微信赞助

打赏

QQ钱包

打赏

支付宝赞助

打赏

  移步手机端
Kafka的特性有哪些

1、打开你手机的二维码扫描APP
2、扫描左则的二维码
3、点击扫描获得的网址
4、可以在手机端阅读此文章
标签:

本文来源:搜奇网

本文地址:https://www.sou7.cn/296581.html

关注我们:微信搜索“搜奇网”添加我为好友

版权声明: 本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。请记住本站网址https://www.sou7.cn/搜奇网。

推荐阅读