இந்த வலைப்பதிவில், கீழே வழங்கப்பட்ட உள்ளடக்கத்தை நாங்கள் உள்ளடக்குவோம்:
- டிரான்ஸ்ஃபார்மர்களில் இருந்து 'பைப்லைன்' செயல்பாட்டுடன் மாதிரியை ஏற்றுவதன் மூலம் உரை உருவாக்கத்தை தனிப்பயனாக்குவது எப்படி?
- PyTorchல் உரையை உருவாக்குவதற்கு மின்மாற்றி அடிப்படையிலான மாதிரியை எவ்வாறு பயன்படுத்துவது?
- டென்சர்ஃப்ளோவில் உரையை உருவாக்குவதற்கு மின்மாற்றி அடிப்படையிலான மாதிரியை எவ்வாறு பயன்படுத்துவது?
டிரான்ஸ்ஃபார்மர்களில் இருந்து 'பைப்லைன்' செயல்பாட்டுடன் மாதிரியை ஏற்றுவதன் மூலம் உரை உருவாக்கத்தை எவ்வாறு தனிப்பயனாக்குவது?
' குழாய் பயனரின் தேவைகளுக்கு ஏற்ப முன் பயிற்சி பெற்ற AI மாதிரியை தானாக பதிவிறக்கம் செய்ய செயல்பாடு பயன்படுத்தப்படுகிறது. இந்த குறிப்பிட்ட செயல்பாட்டைப் பயன்படுத்த, பயனர்கள் நிறுவ வேண்டும் மின்மாற்றிகள் ” தொகுப்புகள். இந்த தொகுப்பு உணர்வு பகுப்பாய்வு மற்றும் பலவற்றைச் செய்யக்கூடிய அதிநவீன டிரான்ஸ்ஃபார்மர் அடிப்படையிலான மாடல்களுக்கான அணுகலை வழங்குகிறது இயற்கை மொழி செயலாக்கம் (NLP) பணிகள்.
மேலே விவரிக்கப்பட்ட காட்சியின் நடைமுறை விளக்கத்தைப் பார்க்க, கீழே கொடுக்கப்பட்டுள்ள படிகளுக்குச் செல்லவும்!
படி 1: 'டிரான்ஸ்ஃபார்மர்ஸ்' தொகுப்புகளை நிறுவவும்
ஆரம்பத்தில், “! பிப்' மின்மாற்றி தொகுப்புகளை நிறுவ கட்டளை:
! பிப் மின்மாற்றிகளை நிறுவுதல்
நீங்கள் பார்க்க முடியும் என, குறிப்பிட்ட தொகுப்பு வெற்றிகரமாக நிறுவப்பட்டது:
படி 2: மின்மாற்றி அடிப்படையிலான மாதிரியை இறக்குமதி செய்யவும்
பின்னர், தேவையான மின்மாற்றி அடிப்படையிலான மாதிரியை இறக்குமதி செய்யவும். அவ்வாறு செய்ய, முதலில், 'இறக்குமதி' குழாய் 'இருந்து' செயல்பாடு மின்மாற்றிகள் ”. அடுத்து, இறக்குமதி செய்யப்பட்ட செயல்பாட்டைப் பயன்படுத்தி, '' ஐ அனுப்பவும் உரை தலைமுறை தேவையான மாதிரி பெயருடன் அதற்கு ஒரு வாதமாக ' gpt2 ”. அடுத்து, அவற்றை ' உருவாக்க ” மாறி:
இருந்து மின்மாற்றிகள் இறக்குமதி குழாய்
உருவாக்க = குழாய் ( 'உரை-தலைமுறை' , மாதிரி = 'gpt2' )
படி 3: தனிப்பயனாக்கு உரையை உருவாக்கவும்
இப்போது, விரும்பிய உரையை ஒரு வாதமாக அனுப்பவும் உருவாக்க ”. கீழே காட்டப்பட்டுள்ளது போல்:
உருவாக்க ( 'டிரான்ஸ்பார்மர்களில் உரையை உருவாக்குவதற்கு gpt2 மாதிரியைப் பயன்படுத்துவதன் மூலம்' )வழங்கப்பட்ட வெளியீட்டின் படி, பதிவிறக்கம் செய்யப்பட்ட முன் பயிற்சி ' gpt3 ” மாதிரி வெற்றிகரமாக உரை உருவாக்கப்பட்டுள்ளது:
நீங்கள் மற்ற வாதங்களையும் பயன்படுத்தலாம்:
உடனடியாக = 'டிரான்ஸ்பார்மர்களில் உரையை உருவாக்குவதற்கு gpt2 மாதிரியைப் பயன்படுத்துவதன் மூலம்'அச்சு ( மரபணு ( உடனடியாக , num_return_sequences = 5 , அதிகபட்ச நீளம் = இருபது ) )
இங்கே:
- ' உடனடியாக ” என்பது உள்ளீட்டை வெளிப்படுத்தும் வாதமாகப் பயன்படுத்தப்படுகிறது.
- ' எண்_திரும்ப_வரிசை ” என்ற வாதம் வழங்கப்பட்ட உரையின் தொடர்களின் எண்ணிக்கையை உருவாக்க பயன்படுகிறது.
- ' அதிகபட்ச நீளம் 'உருவாக்கப்பட்ட உரையின் நீளத்தைக் குறிப்பிட வாதம் பயன்படுத்தப்படுகிறது. எங்கள் விஷயத்தில், இது ' 30 டோக்கன்கள்(சொற்கள் அல்லது நிறுத்தற்குறிகள்):
குறிப்பு: தனிப்பயனாக்கப்பட்ட உரையானது மாதிரியின் பயிற்சித் தரவை அடிப்படையாகக் கொண்ட குறிப்பிட்ட வரியில் தொடர்ச்சியாக இருக்கும்.
PyTorchல் உரையை உருவாக்குவதற்கு மின்மாற்றி அடிப்படையிலான மாதிரியை எவ்வாறு பயன்படுத்துவது?
பயனர்கள் உரையைத் தனிப்பயனாக்கலாம் ' பைடார்ச் ' எது அந்த ' ஜோதி ” அடிப்படையிலான இயந்திர கற்றல் கட்டமைப்பு. இது NLP மற்றும் Computer Vision போன்ற பல்வேறு பயன்பாடுகளுக்குப் பயன்படுத்தப்படுகிறது. PyTorch இல் உரையைத் தனிப்பயனாக்க மின்மாற்றி அடிப்படையிலான மாதிரியைப் பயன்படுத்த, முதலில், ' GPT2டோக்கனைசர் 'மற்றும்' GPT2மாடல் '' இலிருந்து செயல்பாடுகள் மின்மாற்றிகள் ”:
இருந்து மின்மாற்றிகள் இறக்குமதி GPT2டோக்கனைசர் , GPT2மாடல்பின்னர், பயன்படுத்தவும் ' GPT2டோக்கனைசர் 'எங்கள் விரும்பிய முன் பயிற்சி பெற்ற மாதிரியின்படி டோக்கனைசர்' என்று பெயரிடப்பட்டது gpt2 ”:
டோக்கனைசர் = GPT2டோக்கனைசர். இருந்து_முன் பயிற்சி ( 'gpt2' )பின்னர், முன் பயிற்சி பெற்ற மாதிரியிலிருந்து எடையை உடனடியாகக் கணக்கிடுதல்:
மாதிரி = GPT2மாடல். இருந்து_முன் பயிற்சி ( 'gpt2' )அடுத்து, அறிவிக்கவும் ஜென்_உரை ” நாம் தனிப்பயனாக்க விரும்பும் உரையை வைத்திருக்கும் மாறி:
ஜென்_உரை = 'டிரான்ஸ்பார்மர்களில் உரையை உருவாக்குவதற்கு gpt2 மாதிரியைப் பயன்படுத்துவதன் மூலம்'இப்போது, கடந்து செல்லவும் ' ஜென்_உரை 'மற்றும்' return_tensors=‘pt’ 'பைடார்ச்சில் உரையை உருவாக்கும் மற்றும் உருவாக்கப்பட்ட மதிப்பை 'இல் சேமிக்கும் ஒரு வாதமாக குறியிடப்பட்ட_உள்ளீடு ” மாறி:
குறியிடப்பட்ட_உள்ளீடு = டோக்கனைசர் ( ஜென்_உரை , திரும்பும்_டென்சர்கள் = 'pt' )கடைசியாக, கடந்து செல்லவும் ' குறியிடப்பட்ட_உள்ளீடு தனிப்பயனாக்கப்பட்ட உரையை 'க்கு வைத்திருக்கும் மாறி' மாதிரி ” ஒரு அளவுருவாக மற்றும் அதன் விளைவாக வெளியீட்டைப் பெறவும் அதிகபட்ச நீளம் 'வாதம்' என அமைக்கப்பட்டுள்ளது இருபது 'உருவாக்கப்பட்ட உரை வழங்கப்பட்ட டோக்கன்களுக்கு மட்டுப்படுத்தப்படும் என்பதைக் குறிக்கிறது, ' num_return_sequences 'அது அமைக்கப்பட்டது' 5 'உருவாக்கப்பட்ட உரையானது 5 உரைத் தொடர்களை நம்பியிருக்கும் என்பதைக் காட்டுகிறது:
வெளியீடு = மாதிரி ( **குறியீடு_உள்ளீடு )ஜெனரேட்டர் ( ஜென்_உரை , அதிகபட்ச நீளம் = இருபது , num_return_sequences = 5 )
வெளியீடு
டென்சர்ஃப்ளோவில் உரையை உருவாக்குவதற்கு மின்மாற்றி அடிப்படையிலான மாதிரியை எவ்வாறு பயன்படுத்துவது?
டிரான்ஸ்ஃபார்மர்களில் உரையை உருவாக்க, ' டென்சர்ஃப்ளோ ” அடிப்படையிலான இயந்திர கற்றல் கட்டமைப்புகளும் பயன்படுத்தப்படுகின்றன. அவ்வாறு செய்ய, முதலில், தேவையான செயல்பாடுகளை இறக்குமதி செய்யவும். GPT2டோக்கனைசர் 'மற்றும்' TFGPT2மாடல் ' இருந்து ' மின்மாற்றிகள் ”. மீதமுள்ள குறியீடு மேலே உள்ளதைப் போலவே உள்ளது, நாங்கள் ' TFGPT2மாடல் '' என்பதற்கு பதிலாக 'செயல்பாடு GPT2மாடல் ” செயல்பாடு. பின்பற்ற:
இருந்து மின்மாற்றிகள் இறக்குமதி GPT2டோக்கனைசர் , TFGPT2மாடல்டோக்கனைசர் = GPT2டோக்கனைசர். இருந்து_முன் பயிற்சி ( 'gpt2' )
மாதிரி = TFGPT2மாடல். இருந்து_முன் பயிற்சி ( 'gpt2' )
உரை = 'டிரான்ஸ்பார்மர்களில் உரையை உருவாக்குவதற்கு gpt2 மாதிரியைப் பயன்படுத்துவதன் மூலம்'
குறியிடப்பட்ட_உள்ளீடு = டோக்கனைசர் ( உரை , திரும்பும்_டென்சர்கள் = 'tf' )
வெளியீடு = மாதிரி ( குறியிடப்பட்ட_உள்ளீடு )
ஜெனரேட்டர் ( ஜென்_உரை , அதிகபட்ச நீளம் = இருபது , num_return_sequences = 5 )
நீங்கள் பார்க்க முடியும் என, தனிப்பயனாக்கப்பட்ட உரை வெற்றிகரமாக உருவாக்கப்பட்டது:
அவ்வளவுதான்! டிரான்ஸ்ஃபார்மர்களில் உரை உருவாக்கத்தைத் தனிப்பயனாக்குவது பற்றி விரிவாகக் கூறியுள்ளோம்.
முடிவுரை
டிரான்ஸ்ஃபார்மர்களில் உரை உருவாக்கத்தைத் தனிப்பயனாக்க, பைப்லைன் செயல்பாட்டைக் கொண்டு மாதிரியை ஏற்றுவது, மின்மாற்றி அடிப்படையிலான மாதிரியைப் பயன்படுத்துவது போன்ற பல்வேறு வழிகள் உள்ளன. பைடார்ச் 'மற்றும்' டென்சர்ஃப்ளோ ” இயந்திர கற்றல் கட்டமைப்பை அடிப்படையாகக் கொண்டது. இந்த வழிகாட்டியில், டிரான்ஸ்ஃபார்மர்களில் உரை உருவாக்கத்தைத் தனிப்பயனாக்குவதற்கான நடைமுறை விளக்கத்துடன் சுருக்கமான தகவலை வழங்கியுள்ளோம்.