டோக்கர் கம்போஸுடன் அப்பாச்சி காஃப்காவைப் பயன்படுத்தவும்

இந்த டுடோரியலில், டோக்கரைப் பயன்படுத்தி அப்பாச்சி காஃப்கா கிளஸ்டரை எவ்வாறு வரிசைப்படுத்தலாம் என்பதைக் கற்றுக்கொள்வோம். எந்தவொரு சூழலிலும் காஃப்கா கிளஸ்டரை விரைவாக சுழற்ற, வழங்கப்பட்ட டோக்கர் படத்தைப் பயன்படுத்த இது அனுமதிக்கிறது.

காஃப்கா என்றால் என்ன என்பதை அடிப்படைகளுடன் தொடங்கி விவாதிப்போம்.

அப்பாச்சி காஃப்கா என்றால் என்ன?

Apache Kafka என்பது ஒரு இலவச, திறந்த மூல, அதிக அளவில் அளவிடக்கூடிய, விநியோகிக்கப்பட்ட மற்றும் தவறு-சகிப்புத்தன்மை கொண்ட வெளியீடு-சந்தா செய்தியிடல் அமைப்பு. இது அதிக அளவு, அதிக செயல்திறன் மற்றும் நிகழ்நேர தரவு ஸ்ட்ரீமைக் கையாளும் வகையில் வடிவமைக்கப்பட்டுள்ளது, இது பதிவு திரட்டல், நிகழ்நேர பகுப்பாய்வு மற்றும் நிகழ்வு-உந்துதல் கட்டமைப்புகள் உள்ளிட்ட பல பயன்பாட்டு நிகழ்வுகளுக்கு ஏற்றதாக அமைகிறது.

காஃப்கா ஒரு விநியோகிக்கப்பட்ட கட்டமைப்பை அடிப்படையாகக் கொண்டது, இது பல சேவையகங்களில் பெரிய அளவிலான தரவைக் கையாள அனுமதிக்கிறது. இது வெளியீட்டு-சந்தா மாதிரியைப் பயன்படுத்துகிறது, அங்கு தயாரிப்பாளர்கள் தலைப்புகளுக்கு செய்திகளை அனுப்புகிறார்கள் மற்றும் நுகர்வோர் அவற்றைப் பெற சந்தா செலுத்துகிறார்கள். இது உற்பத்தியாளர்கள் மற்றும் நுகர்வோர் இடையே துண்டிக்கப்பட்ட தொடர்பை அனுமதிக்கிறது, உயர் அளவிடுதல் மற்றும் நெகிழ்வுத்தன்மையை வழங்குகிறது.

டோக்கர் கம்போஸ் என்றால் என்ன

டோக்கர் கம்போஸ் என்பது மல்டி-கன்டெய்னர் அப்ளிகேஷன்களை வரையறுத்து இயக்குவதற்கான டாக்கர் செருகுநிரல் அல்லது கருவியைக் குறிக்கிறது. ஒரு YAML கோப்பில் கொள்கலன் உள்ளமைவை வரையறுக்க டோக்கர் நம்மை உருவாக்குகிறார். ஒரு பயன்பாட்டிற்குத் தேவைப்படும் சேவைகள், நெட்வொர்க்குகள் மற்றும் தொகுதிகள் போன்ற கொள்கலன் விவரக்குறிப்புகள் உள்ளமைவு கோப்பில் அடங்கும்.

docker-compose கட்டளையைப் பயன்படுத்தி, ஒரே கட்டளையுடன் பல கொள்கலன்களை உருவாக்கி தொடங்கலாம்.

Docker மற்றும் Docker Compose ஐ நிறுவுதல்

உங்கள் உள்ளூர் கணினியில் டோக்கரை நிறுவியிருப்பதை உறுதி செய்வதே முதல் படி. மேலும் அறிய பின்வரும் ஆதாரங்களை நீங்கள் பார்க்கலாம்:

• https://linuxhint.com/install_configure_docker_ubuntu/
• https://linuxhint.com/install-docker-debian/
• https://linuxhint.com/install_docker_debian_10/
• https://linuxhint.com/install-docker-ubuntu-22-04/
• https://linuxhint.com/install-docker-on-pop_os/
• https://linuxhint.com/how-to-install-docker-desktop-windows/
• https://linuxhint.com/install-use-docker-centos-8/
• https://linuxhint.com/install_docker_on_raspbian_os/

இந்த டுடோரியலை எழுதும் வரை, டாக்கர் கம்போஸை நிறுவ உங்கள் இலக்கு கணினியில் டோக்கர் டெஸ்க்டாப்பை நிறுவ வேண்டும். எனவே, டோக்கர் கம்போஸை ஒரு தனி யூனிட்டாக நிறுவுவது நிராகரிக்கப்பட்டது.

டோக்கரை நிறுவியவுடன், நாம் YAML கோப்பை உள்ளமைக்கலாம். டாக்கர் கண்டெய்னரைப் பயன்படுத்தி காஃப்கா கிளஸ்டரை ஸ்பின் அப் செய்ய வேண்டிய அனைத்து விவரங்களும் இந்தக் கோப்பில் உள்ளன.

Docker-Compose ஐ அமைத்தல்.YAML

docker-compose.yaml ஐ உருவாக்கி, உங்களுக்குப் பிடித்த உரை எடிட்டரைக் கொண்டு திருத்தவும்:

அடுத்து, பின்வருவனவற்றில் காட்டப்பட்டுள்ளபடி டோக்கர் உள்ளமைவு கோப்பைச் சேர்க்கவும்:

எடுத்துக்காட்டு டோக்கர் கோப்பு ஒரு Zookeeper மற்றும் காஃப்கா கிளஸ்டரை அமைக்கிறது, அங்கு காஃப்கா கிளஸ்டர் ஜூகீப்பர் சேவையுடன் இணைக்கப்பட்டுள்ளது. ஒவ்வொரு சேவைக்கும் தொடர்பு மற்றும் சேவைகளுக்கான அணுகலை அனுமதிக்கும் வகையில், போர்ட்கள் மற்றும் சூழல் மாறிகளையும் கோப்பு கட்டமைக்கிறது.

கொள்கலன்கள் மறுதொடக்கம் செய்யப்பட்டாலும் அல்லது மீண்டும் உருவாக்கப்பட்டாலும் சேவைகளின் தரவைத் தொடர, பெயரிடப்பட்ட தொகுதிகளையும் நாங்கள் அமைக்கிறோம்.

முந்தைய கோப்பை எளிய பிரிவுகளாக உடைப்போம்:

பிட்னாமி/ஜூகீப்பர்:3.8 படத்தைப் பயன்படுத்தி ஜூகீப்பர் சேவையைத் தொடங்குகிறோம். இந்தப் படம் பின்னர் ஹோஸ்ட் இயந்திரத்தில் உள்ள போர்ட் 2181ஐ கொள்கலனில் உள்ள போர்ட் 2181க்கு வரைபடமாக்குகிறது. நாங்கள் ALLOW_ANONYMOUS_LOGIN சூழல் மாறியை “ஆம்” என்றும் அமைத்துள்ளோம். இறுதியாக, சேவையானது தரவைச் சேமிக்கும் அளவை zookeeper_data தொகுதியாக அமைத்துள்ளோம்.

இரண்டாவது தொகுதி காஃப்கா சேவையை அமைப்பதற்கான விவரங்களை வரையறுக்கிறது. இந்த வழக்கில், நாங்கள் docker.io/bitnami/kafka:3.3 படத்தைப் பயன்படுத்துகிறோம், இது ஹோஸ்ட் போர்ட் 9092 ஐ கண்டெய்னர் போர்ட் 9092 க்கு வரைபடமாக்குகிறது. இதேபோல், KAFKA_CFG_ZOOKEEPER_CONNECT சூழல் மாறியை வரையறுத்து அதன் மதிப்பை Zookeeper இன் முகவரிக்கு வரைபடமாக அமைக்கிறோம். port 2181. இந்த பிரிவில் நாம் வரையறுக்கும் இரண்டாவது சூழல் மாறி ALLOW_PLAINTEXT_LISTENER சூழல் மாறி ஆகும். இந்த சூழல் மாறியின் மதிப்பை 'ஆம்' என அமைப்பது காஃப்கா கிளஸ்டருக்கு பாதுகாப்பற்ற போக்குவரத்தை அனுமதிக்கிறது.

இறுதியாக, காஃப்கா சேவை அதன் தரவைச் சேமிக்கும் அளவை நாங்கள் வழங்குகிறோம்.

Zookeeper மற்றும் Kafkaக்கான தொகுதிகளை டோக்கர் உள்ளமைப்பதை உறுதிசெய்ய, தொகுதிகள் பிரிவில் காட்டப்பட்டுள்ளபடி அவற்றை வரையறுக்க வேண்டும். இது zookeeper_data மற்றும் kafka_data தொகுதிகளை அமைக்கிறது. இரண்டு தொகுதிகளும் உள்ளூர் இயக்கியைப் பயன்படுத்துகின்றன, அதாவது ஹோஸ்ட் இயந்திரத்தில் தரவு சேமிக்கப்படுகிறது.

இதோ! எளிய படிநிலைகளில் டோக்கரைப் பயன்படுத்தி காஃப்கா கொள்கலனை சுழற்ற அனுமதிக்கும் எளிய கட்டமைப்பு கோப்பு.

கொள்கலனை இயக்குதல்

டோக்கர் இயங்குவதை உறுதிசெய்ய, பின்வரும் கட்டளையுடன் YAML கோப்பிலிருந்து கொள்கலனை இயக்கலாம்:

கட்டளை YAML உள்ளமைவு கோப்பைக் கண்டுபிடித்து, குறிப்பிட்ட மதிப்புகளுடன் கொள்கலனை இயக்க வேண்டும்:

முடிவுரை

டோக்கர் கம்போஸ் YAML உள்ளமைவு கோப்பிலிருந்து அப்பாச்சி காஃப்காவை எவ்வாறு கட்டமைத்து இயக்கலாம் என்பதை இப்போது நீங்கள் கற்றுக்கொண்டீர்கள்.