அப்பாச்சி காஃப்கா என்றால் என்ன? அளவிடக்கூடிய நிகழ்வு ஸ்ட்ரீமிங்

உங்கள் எல்லா தரவையும் தரவுக் கிடங்கில் சேமித்து, இரவு நேரத் தொகுதி செயல்முறையைப் பயன்படுத்தி பகுப்பாய்வு செய்வது வணிகம் அல்லது செயல்முறையை சரியான நேரத்தில் கண்காணிக்கவும் நிர்வகிக்கவும் போதுமானதாக இருக்காது. அதற்குப் பதிலாக, ஆழமான பகுப்பாய்விற்காக தரவைச் சேமிப்பதோடு, தரவு ஸ்ட்ரீமின் எளிய நிகழ்நேர பகுப்பாய்வையும் நீங்கள் செய்ய வேண்டும்.

Apache Kafka, முதலில் LinkedIn இல் உருவாக்கப்பட்டது, நிகழ்வு ஸ்ட்ரீமிங்கிற்கான மிகவும் முதிர்ந்த தளங்களில் ஒன்றாகும். Apache Flink, Apache Samza, Apache Spark, Apache Storm, Databricks மற்றும் Weverica ஆகியவை காஃப்காவின் துணை நிறுவனங்களாகும். காஃப்காவிற்கு மாற்றாக Amazon Kinesis, Apache Pulsar, Azure Stream Analytics, Confluent மற்றும் Google Cloud Dataflow ஆகியவை அடங்கும்.

காஃப்காவின் ஒரு குறை என்னவென்றால், பெரிய காஃப்கா கிளஸ்டர்களை அமைப்பது கடினமாக இருக்கும். காஃப்காவின் வணிகக் கிளவுட் செயலாக்கங்கள், அதாவது அமேசான் நிர்வகிக்கப்பட்ட ஸ்ட்ரீமிங் ஃபார் கன்ஃப்ளூயன்ட் கிளவுட் மற்றும் அப்பாச்சி காஃப்கா போன்றவை, இதையும் பிற சிக்கல்களையும் விலைக்கு சரிசெய்யும்.

அப்பாச்சி காஃப்கா வரையறுக்கப்பட்டுள்ளது

அப்பாச்சி காஃப்கா என்பது ஒரு திறந்த மூலமாகும், ஜாவா/ஸ்காலா, உயர் செயல்திறன் கொண்ட தரவு பைப்லைன்கள், ஸ்ட்ரீமிங் பகுப்பாய்வு, தரவு ஒருங்கிணைப்பு மற்றும் பணி-முக்கியமான பயன்பாடுகளுக்கான விநியோகிக்கப்பட்ட நிகழ்வு ஸ்ட்ரீமிங் தளமாகும். காஃப்கா ஏற்பாடு ஒழுங்கமைக்கப்பட்டு நிரந்தரமாக சேமிக்கப்படும் பொருள்,

காஃப்காவில் ஐந்து முக்கிய APIகள் உள்ளன:

  • தலைப்புகள், தரகர்கள் மற்றும் பிற காஃப்கா பொருட்களை நிர்வகிக்க மற்றும் ஆய்வு செய்ய நிர்வாகி API.
  • ஒன்று அல்லது அதற்கு மேற்பட்ட காஃப்கா தலைப்புகளில் நிகழ்வுகளை வெளியிடுவதற்கான (எழுதுவதற்கு) தயாரிப்பாளர் ஏபிஐ.
  • ஒன்று அல்லது அதற்கு மேற்பட்ட தலைப்புகளுக்கு குழுசேர (படிக்க) மற்றும் அவற்றுக்காக உருவாக்கப்பட்ட நிகழ்வுகளின் ஸ்ட்ரீமை செயலாக்க நுகர்வோர் API.
  • ஸ்ட்ரீம் செயலாக்க பயன்பாடுகள் மற்றும் மைக்ரோ சர்வீஸ்களை செயல்படுத்துவதற்கான காஃப்கா ஸ்ட்ரீம்ஸ் ஏபிஐ. இது நிகழ்வு ஸ்ட்ரீம்களை செயலாக்குவதற்கான உயர்நிலை செயல்பாடுகளை வழங்குகிறது, இதில் உருமாற்றங்கள், ஒருங்கிணைப்புகள் மற்றும் இணைப்புகள் போன்ற மாநில செயல்பாடுகள், விண்டோலிங், நிகழ்வு நேரத்தின் அடிப்படையில் செயலாக்கம் மற்றும் பல. ஒன்று அல்லது அதற்கு மேற்பட்ட பாடங்களில் வெளியீட்டை உருவாக்க ஒன்று அல்லது அதற்கு மேற்பட்ட பாடங்களில் இருந்து உள்ளீடு படிக்கப்படுகிறது, உள்ளீடு ஸ்ட்ரீமை திறம்பட வெளியீட்டு ஸ்ட்ரீமாக மாற்றுகிறது.
  • காஃப்கா கனெக்ட் ஏபிஐ என்பது, காஃப்காவுடன் ஒருங்கிணைக்கப்படும் வகையில், வெளிப்புற அமைப்புகள் மற்றும் பயன்பாடுகளில் இருந்து நிகழ்வுகளின் ஸ்ட்ரீம்களை நுகரும் (படிக்க) அல்லது உற்பத்தி செய்யும் (எழுத) மீண்டும் பயன்படுத்தக்கூடிய தரவு இறக்குமதி/ஏற்றுமதி இணைப்பிகளை உருவாக்கி இயக்குகிறது. எடுத்துக்காட்டாக, PostgreSQL போன்ற தொடர்புடைய தரவுத்தளத்திற்கான இணைப்பான் ஒவ்வொரு மாற்றத்தையும் அட்டவணைகளின் தொகுப்பில் பிடிக்கலாம். இருப்பினும், நடைமுறையில், காஃப்கா சமூகம் ஏற்கனவே நூற்றுக்கணக்கான பயன்படுத்தத் தயாராக உள்ள இணைப்பிகளை வழங்குவதால், நடைமுறையில் உங்கள் சொந்த இணைப்பிகளை நீங்கள் செயல்படுத்தத் தேவையில்லை.

ஸ்ட்ரீம்கள் API மூலம் நீங்கள் எளிதாகக் கையாளக்கூடிய மிகவும் சிக்கலான ஸ்ட்ரீம் செயலாக்கத்தைச் செயல்படுத்த, நீங்கள் காஃப்காவை Apache Samja (கீழே விவாதிக்கப்பட்டது) அல்லது Apache Flink உடன் ஒருங்கிணைக்கலாம்.

பதிப்புரிமை © 2022 IDG Communications, Inc.

Related Articles

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Latest Articles