டோக்கரில் லாக்ஸ்டாஷ்

Tokkaril Lakstas



Logstash என்பது ஒரு திறந்த மூல தரவு செயலாக்க பைப்லைன் ஆகும், இது பல்வேறு ஆதாரங்களில் இருந்து பதிவு தரவை சேகரிக்க, செயலாக்க மற்றும் அனுப்ப உங்களை அனுமதிக்கிறது.

இந்த டுடோரியலில், அடிப்படை உள்ளமைவுடன் டோக்கர் கொள்கலனில் Logstash ஐ இயக்கும் செயல்முறையின் மூலம் நாங்கள் உங்களுக்கு வழிகாட்டுவோம்.

தேவைகள்:

நாங்கள் டுடோரியலைத் தொடங்குவதற்கு முன், உங்களிடம் பின்வருபவை இருப்பதை உறுதிசெய்யவும்:







  1. உங்கள் ஹோஸ்ட் கணினியில் நிறுவப்பட்ட டோக்கர் (பதிப்பு 23 மற்றும் அதற்கு மேல் பரிந்துரைக்கப்படுகிறது)
  2. உங்கள் கணினியில் நிறுவப்பட்ட டோக்கர் கம்போஸ்

கொடுக்கப்பட்ட தேவைகள் பூர்த்தி செய்யப்பட்டால், நாம் டுடோரியலைத் தொடரலாம்.



Logstash கட்டமைப்பு கோப்பை அமைக்கவும்

தரவு எவ்வாறு உள்வாங்கப்படுகிறது, வடிகட்டப்படுகிறது மற்றும் வெளியீட்டிற்கு அனுப்பப்படுகிறது என்பதை வரையறுக்க Logstash கட்டமைப்பு கோப்புகளைப் பயன்படுத்துகிறது. உத்தியோகபூர்வ ஆவணத்தில் நீங்கள் குறிப்பிடக்கூடிய வகையில் நீங்கள் கட்டமைக்கக்கூடிய பல்வேறு விருப்பங்கள் உள்ளன.



எங்கள் உதாரணத்திற்கு, ஒரு பதிவுக் கோப்பிலிருந்து தரவை உள்வாங்கி, பொருந்தக்கூடிய பதிவுகளுக்கு அதை வடிகட்டவும், ஒரு கோப்பில் தரவை வெளியிடவும் அடிப்படை உள்ளமைவில் கவனம் செலுத்துகிறோம்.





“logstash.conf” என்ற கோப்பை உருவாக்கி, கட்டமைப்பை பின்வருமாறு சேர்க்கவும்:

உள்ளீடு {
கோப்பு {
பாதை => '/var/log/apache/access.log'

தொடக்க_நிலை => 'ஆரம்பம்'

sincedb_path => '/dev/null'

புறக்கணி_ஓல்டர் => 0
}
}

வடிகட்டி {
என்றால் [செய்தி] =~ 'பிழை' {
குரோக் {
பொருத்தம் => { 'செய்தி' => '%{COMBINEDAPACHELOG}' }
}
}
}

வெளியீடு {
கோப்பு {
பாதை => '/var/log/apache/error_logs.log'
}
}

பின்வருவனவற்றில் காட்டப்பட்டுள்ளபடி முந்தைய கோப்பு உள்ளமைவை வரையறுக்கிறது:

  1. உள்ளீட்டுப் பிரிவு - /var/log/apache/access.log இல் உள்ள Apache பதிவுக் கோப்பைப் படிக்க, உள்ளீட்டுப் பிரிவு கோப்பு உள்ளீட்டு செருகுநிரலைப் பயன்படுத்துகிறது.
    • தொடக்கத்தில் தொடக்க நிலையை அமைப்போம், இது Logstash முழு கோப்பையும் ஆரம்பத்தில் இருந்து படிக்க அனுமதிக்கிறது.
    • Sincedb_path - இந்த அளவுரு மதிப்பை /dev/null என அமைப்பதன் மூலம் Logstash இன் sincedb கண்காணிப்பை முடக்க அனுமதிக்கிறது. இது Logstash எப்போதும் கோப்பின் தொடக்கத்தில் இருந்து வாசிப்பதை உறுதி செய்கிறது.
    • Ignore_older – இந்த அளவுருவின் மதிப்பை 0 க்கு அமைப்பது Logstash பதிவு கோப்பின் அனைத்து உள்ளீடுகளையும் செயல்படுத்த அனுமதிக்கிறது.
  2. வடிப்பான் பிரிவு - வடிப்பான் பிரிவில், பதிவு செய்தியில் ERROR என்ற வார்த்தை உள்ளதா என்பதை சரிபார்க்க வடிகட்டி வடிவத்தை வரையறுக்கிறோம். கோப்பில் மிகவும் துல்லியமான பொருத்தங்களுக்கு வடிகட்டித் தொகுதிகளை வடிகட்டுவதற்கான நிபந்தனைகளை நீங்கள் சரிசெய்யலாம்.
    • நிபந்தனை பூர்த்தி செய்யப்பட்டால், Apache பதிவுகளை அலசுவதற்கு Logstash இல் உள்ளமைக்கப்பட்ட வடிவமான COMBINEDAPACHELOG வடிவத்தைப் பயன்படுத்தி Apache பதிவு வரியை அலசுவதற்கு grok வடிப்பானைப் பயன்படுத்துவோம்.
  3. வெளியீட்டுப் பிரிவு - பொருந்தக்கூடிய உள்ளீடுகளுக்கான வெளியீட்டு வடிவமைப்பை வரையறுக்க இந்தப் பிரிவு அனுமதிக்கிறது.
    • எங்கள் விஷயத்தில், பாதை அளவுருவைப் பயன்படுத்தி அவற்றை /var/log/apache/error_logs.log கோப்பில் எழுதுகிறோம்.

இது எங்களுக்கு அடிப்படை Logstash உள்ளமைவை வழங்க வேண்டும், இது சில அடிப்படை Logstash செயல்பாடுகளை நிரூபிக்க அனுமதிக்கிறது.

பின்வரும் வழங்கப்பட்ட ஆவண ஆதாரத்தில் Logstash பைப்லைன்களை உருவாக்குவது மற்றும் கட்டமைப்பது பற்றி மேலும் குறிப்பிடவும்:

https://www.elastic.co/guide/en/logstash/current/configuration.html

Dockerfile ஐ உருவாக்கவும்

லாக்ஸ்டாஷ் உள்ளமைவுகளை வரையறுத்தவுடன், கொள்கலனை எவ்வாறு இயக்குவது என்பதைத் தொடரலாம். 'logstash.conf' கோப்பின் அதே கோப்பகத்தின் உள்ளே, 'Dockerfile' என்ற புதிய கோப்பை உருவாக்கவும்.

இந்தக் கோப்பைத் திருத்தி, பின்வருமாறு உள்ளீடுகளைச் சேர்க்கவும்:

docker.elastic.co/logstash/logstash இலிருந்து:8.9.2

logstash.conf /usr/share/logstash/pipeline/logstash.conf நகலெடு

கொடுக்கப்பட்ட எடுத்துக்காட்டில், பதிப்பு 8.9.2 ஐப் பயன்படுத்தி அடிப்படை படத்தை அதிகாரப்பூர்வ Logstash படமாக வரையறுக்கிறோம்.

நாம் உருவாக்கிய “logstash.conf” கோப்பை படத்தில் உள்ள /usr/share/logstash/pipeline/logstash.conf க்கு நகலெடுக்கிறோம்.

டோக்கர் படத்தை உருவாக்கவும்

அடுத்து, Dockerfile மற்றும் Logstash கட்டமைப்பு கோப்பு உள்ள கோப்பகத்திற்கு செல்லவும். படத்தை உருவாக்க பின்வரும் கட்டளையை இயக்கவும்:

$ டாக்கர் உருவாக்கம் -டி custom-logstash-image .

லாக்ஸ்டாஷ் கொள்கலனை இயக்கவும்

இப்போது நாம் டோக்கர் படத்தை உருவாக்கிவிட்டோம், டோக்கர் “ரன்” கட்டளையைப் பயன்படுத்தி லாக்ஸ்டாஷ் கொள்கலனை பின்வருமாறு இயக்கலாம்:

$ டாக்கர் ரன் -d --பெயர் logstash-server custom-logstash-image

இது முந்தைய கட்டத்தில் நாம் உருவாக்கிய படத்தைப் பயன்படுத்தி Logstash கொள்கலனை இயக்க வேண்டும்.

லாக்ஸ்டாஷ் கொள்கலன் பதிவுகளை சரிபார்க்கவும்

Logstash சரியாக இயங்குகிறதா என்பதைச் சரிபார்க்க, பின்வரும் கட்டளையைப் பயன்படுத்தி கொள்கலன் பதிவுகளைச் சரிபார்க்கலாம்:

$ டாக்கர் பதிவுகள் < கொள்கலன்_பெயர் >

வெளியீடு:

முடிவுரை

இந்த டுடோரியலில், தனிப்பயன் உள்ளமைவு கோப்பைப் பயன்படுத்தி டோக்கராக இயங்கும் லாக்ஸ்டாஷ் சேவையகத்தை எவ்வாறு விரைவாக அமைக்கலாம் என்பதை நீங்கள் கற்றுக்கொண்டீர்கள். பட அளவுருக்கள் மற்றும் உள்ளமைவு விருப்பங்களில் ஆவணங்களைச் சரிபார்க்க பரிந்துரைக்கிறோம்.