Betsjinning

Spark Streaming gegevens skjinmeitsjen meganisme
(I) DStream en RDD
Lykas wy witte, is Spark Streaming-berekkening basearre op Spark Core, en de kearn fan Spark Core is RDD, dus Spark Streaming moat ek relatearre wêze oan RDD.Spark Streaming lit brûkers RDD lykwols net direkt brûke, mar abstraheret in set fan DStream-konsepten, DStream en RDD binne ynklusyf relaasjes, jo kinne it begripe as it dekoraasjepatroan yn Java, dat is, DStream is in ferbettering fan RDD, mar it gedrach is gelyk oan RDD.
DStream en RDD hawwe beide ferskate betingsten.
(1) hawwe ferlykbere transformaasje-aksjes, lykas map, reduceByKey, ensfh., Mar ek guon unyk, lykas Window, mapWithStated, ensfh.
(2) allegear hawwe aksje-aksjes, lykas foreachRDD, count, ensfh.
It programmearring model is konsekwint.
(B) Yntroduksje fan DStream yn Spark Streaming
DStream befettet ferskate klassen.
(1) Gegevensboarneklassen, lykas InputDStream, spesifyk as DirectKafkaInputStream, ensfh.
(2) Konverzjeklassen, typysk MappedDStream, ShuffledDStream
(3) útfierklassen, typysk lykas ForEachDStream
Fan it boppesteande wurde de gegevens fan it begjin (ynfier) ​​oant it ein (útfier) ​​dien troch it DStream-systeem, wat betsjut dat de brûker normaal net direkt RDD's kin generearje en manipulearje, wat betsjut dat de DStream de kâns en ferplichting hat om te wêzen ferantwurdlik foar de libbenssyklus fan RDD's.
Mei oare wurden, Spark Streaming hat inautomatyske cleanupfunksje.
(iii) It proses fan RDD-generaasje yn Spark Streaming
De libbensstream fan RDD's yn Spark Streaming is rûch as folget.
(1) Yn InputDStream wurde de ûntfongen gegevens omfoarme ta RDD, lykas DirectKafkaInputStream, dy't KafkaRDD genereart.
(2) dan fia MappedDStream en oare gegevenskonverzje, wurdt dizze tiid direkt RDD neamd oerienkommende mei de kaartmetoade foar konverzje
(3) Yn 'e operaasje fan' e útfierklasse, allinich as de RDD wurdt bleatsteld, kinne jo de brûker de oerienkommende opslach, oare berekkeningen en oare operaasjes útfiere.