இந்த சகாப்தத்தில், பல NLP (இயற்கை மொழி செயலாக்கம்) செயல்பாடுகளில் சிறந்த முடிவுகளை வழங்கிய மிகவும் சக்திவாய்ந்த மாதிரிகள் டிரான்ஸ்ஃபார்மர்கள் ஆகும். ஆரம்பத்தில், இது உரை உருவாக்கம் மற்றும் வகைப்பாடு, இயந்திர மொழிபெயர்ப்பு மற்றும் பல உள்ளிட்ட மொழி மாடலிங் பணிகளுக்குப் பயன்படுத்தப்பட்டது. ஆனால் இப்போது, இது பொருள் அங்கீகாரம், பட வகைப்பாடு மற்றும் பல கணினி பார்வை பணிகளுக்கும் பயன்படுத்தப்படுகிறது.
இந்த டுடோரியலில், டிரான்ஸ்ஃபார்மர்களைப் பயன்படுத்தி உரை வகைப்படுத்தலைச் செய்வதற்கான செயல்முறையை நாங்கள் வழங்குவோம்.
டிரான்ஸ்ஃபார்மர்களைப் பயன்படுத்தி உரை வகைப்படுத்தலை எவ்வாறு செய்வது?
டிரான்ஸ்ஃபார்மர்களைப் பயன்படுத்தி உரை வகைப்படுத்தலைச் செய்ய, முதலில், '' மின்மாற்றிகள் வழங்கப்பட்ட கட்டளையை செயல்படுத்துவதன் மூலம் நூலகம்:
! பிப் நிறுவு மின்மாற்றிகள்
நீங்கள் பார்க்க முடியும் என, குறிப்பிட்ட நூலகம் வெற்றிகரமாக நிறுவப்பட்டது:
பின்னர், 'இறக்குமதி குழாய் ' இருந்து ' மின்மாற்றிகள் 'நூலகம்:
மின்மாற்றிகள் இருந்து குழாய் இறக்குமதி
இங்கே, ' குழாய் ” நாம் செய்ய வேண்டிய NLP பணி மற்றும் டோக்கனைசருடன் இந்த செயல்பாட்டிற்கு தேவையான மின்மாற்றி மாதிரியும் அடங்கும்.
குறிப்பு: டோக்கனைசர் உரையை டோக்கன்களாகப் பிரிப்பதன் மூலம் மாதிரியின் உள்ளீட்டை வழங்குவதற்கு உரையைச் செயலாக்க பயன்படுகிறது.
அதன் பிறகு, பயன்படுத்தவும் ' குழாய் () 'செயல்பாடு மற்றும் அதை அனுப்ப' பூஜ்ஜிய-ஷாட்-வகைப்படுத்தல் ” ஒரு வாதமாக. அடுத்து, எங்கள் மாதிரியான மற்றொரு அளவுருவை அனுப்பவும். நாங்கள் பேஸ்புக்கைப் பயன்படுத்துகிறோம்' பார்ட் ” மின்மாற்றி மாதிரி. இங்கே, நாங்கள் டோக்கனைசரைப் பயன்படுத்த மாட்டோம், ஏனெனில் இது குறிப்பிட்ட மாதிரியின் மூலம் தானாகவே ஊகிக்கப்படலாம்:
text_classifier = பைப்லைன் ( 'ஜீரோ-ஷாட்-வகைப்படுத்தல்' , மாதிரி = 'facebook/bart-large-mnli' )
இப்போது, அறிவிக்கவும் ' தொடர் ” வகைப்படுத்தப்பட வேண்டிய எங்கள் உள்ளீட்டு உரையை வைத்திருக்கும் மாறி. பின்னர், நாங்கள் உரையை வகைப்படுத்த விரும்பும் வகைகளை வழங்குகிறோம் மற்றும் ' ஆய்வகம் 'இது லேபிள்கள் என அழைக்கப்படுகிறது:
ஆய்வகம் = [ 'புதுப்பிப்பு' , 'தவறு' , 'முக்கியமான' , 'சரிபார்ப்பு' ]
இறுதியாக, உள்ளீட்டுடன் பைப்லைனை இயக்கவும்:
பைப்லைனைச் செயல்படுத்திய பிறகு, நாங்கள் வழங்கிய வரிசையை வகைப்படுத்தும் மாதிரி கணித்திருப்பதை நீங்கள் காணலாம்:
கூடுதல் தகவல்: நீங்கள் மாதிரியின் செயல்திறனை விரைவுபடுத்த விரும்பினால், நீங்கள் GPU ஐப் பயன்படுத்த வேண்டும். ஆம் எனில், அந்த நோக்கத்திற்காக, பைப்லைனில் ஒரு சாதன வாதத்தைக் குறிப்பிட்டு அதை ' 0 ” GPU ஐப் பயன்படுத்த.
ஒன்றுக்கு மேற்பட்ட வரிசை/உள்ளீட்டு உரை அறிக்கைகளில் உரையை வகைப்படுத்த விரும்பினால், அவற்றை ஒரு பட்டியலில் சேர்த்து பைப்லைன்களுக்கு உள்ளீடாக அனுப்பலாம். அந்த நோக்கத்திற்காக, குறியீடு துணுக்கைப் பார்க்கவும்:
தொடர் = [ 'தெளிவு, ஒத்திசைவு மற்றும் பிழை இல்லாத உள்ளடக்கத்தை உறுதிப்படுத்த, சரிபார்த்தல் மற்றும் திருத்துதல் ஆகியவை அவசியமான கூறுகளாகும்' ,'இந்த நவீன சகாப்தத்தில், கட்டுரைகள் நல்ல தரவரிசை மற்றும் பரந்த பார்வையாளர்களை சென்றடைய SEO தேர்வுமுறை அவசியம்' ]
உரை_வகைப்படுத்தி ( தொடர் , ஆய்வகம் )
வெளியீடு
அவ்வளவுதான்! டிரான்ஸ்ஃபார்மர்களைப் பயன்படுத்தி உரை வகைப்படுத்தலைச் செய்வதற்கான எளிதான வழியை நாங்கள் தொகுத்துள்ளோம்.
முடிவுரை
உரை உருவாக்கம், உரை வகைப்பாடு மற்றும் இயந்திர மொழிபெயர்ப்பு போன்ற மொழி மாடலிங் பணிகளைச் செய்ய டிரான்ஸ்ஃபார்மர்கள் பயன்படுத்தப்படுகின்றன, அத்துடன் பொருள் அங்கீகாரம் மற்றும் பட வகைப்பாடு உள்ளிட்ட கணினி பார்வை பணிகளைச் செய்ய பயன்படுகிறது. இந்த டுடோரியலில், டிரான்ஸ்ஃபார்மர்களைப் பயன்படுத்தி உரை வகைப்படுத்தலைச் செய்வதற்கான செயல்முறையை நாங்கள் விளக்கியுள்ளோம்.