உள்ளடக்கத்தின் தலைப்பு:
- PySpark DataFrame to JSON To_json() உடன் ToPandas()
- PySpark DataFrame to JSON ஐப் பயன்படுத்தி ToJSON()
- PySpark DataFrame to JSONஐப் பயன்படுத்தி Write.json()
அனைத்து எடுத்துக்காட்டுகளிலும் ஒரு எளிய PySpark DataFrame ஐக் கருத்தில் கொண்டு, குறிப்பிட்ட செயல்பாடுகளைப் பயன்படுத்தி JSON ஆக மாற்றுவோம்.
தேவையான தொகுதி:
PySpark நூலகம் இன்னும் நிறுவப்படவில்லை என்றால் உங்கள் சூழலில் அதை நிறுவவும். அதை நிறுவ பின்வரும் கட்டளையைப் பார்க்கவும்:
pip நிறுவ pyspark
PySpark DataFrame to JSON To_json() உடன் ToPandas()
to_json() முறை Pandas தொகுதியில் உள்ளது, இது Pandas DataFrame ஐ JSON ஆக மாற்றுகிறது. நமது PySpark DataFrame ஐ Pandas DataFrame ஆக மாற்றினால் இந்த முறையைப் பயன்படுத்தலாம். PySpark DataFrame ஐ Pandas DataFrame ஆக மாற்ற, toPandas() முறை பயன்படுத்தப்படுகிறது. to_json() இன் தொடரியலை அதன் அளவுருக்களுடன் பார்க்கலாம்.
தொடரியல்:
dataframe_object.toPandas().to_json(orient,index,...)
- மாற்றப்பட்ட JSON ஐ விரும்பிய வடிவமாகக் காட்ட ஓரியண்ட் பயன்படுத்தப்படுகிறது. இது 'பதிவுகள்', 'அட்டவணை', 'மதிப்புகள்', 'நெடுவரிசைகள்', 'குறியீடு', 'பிளவு' ஆகியவற்றை எடுக்கும்.
- மாற்றப்பட்ட JSON சரத்திலிருந்து குறியீட்டைச் சேர்க்க/அகற்ற இன்டெக்ஸ் பயன்படுத்தப்படுகிறது. இது 'உண்மை' என அமைக்கப்பட்டால், குறியீடுகள் காட்டப்படும். இல்லையெனில், ஓரியண்ட் 'பிளவு' அல்லது 'டேபிள்' எனில் குறியீடுகள் காட்டப்படாது.
எடுத்துக்காட்டு 1: 'பதிவுகள்' என ஓரியண்ட்
3 வரிசைகள் மற்றும் 4 நெடுவரிசைகளுடன் 'skills_df' PySpark DataFrame ஐ உருவாக்கவும். ஓரியண்ட் அளவுருவை “பதிவுகள்” எனக் குறிப்பிடுவதன் மூலம் இந்த டேட்டாஃப்ரேமை JSON ஆக மாற்றவும்.
பைஸ்பார்க் இறக்குமதிஇறக்குமதி பாண்டாக்கள்
pyspark.sql இலிருந்து SparkSession இறக்குமதி
linuxhint_spark_app = SparkSession.builder.appName( 'லினக்ஸ் குறிப்பு' ).getOrCreate()
3 வரிசைகள் மற்றும் 4 நெடுவரிசைகள் கொண்ட # திறன் தரவு
திறன்கள் =[{ 'ஐடி' : 123 , 'நபர்' : 'தேன்' , 'திறன்' : 'ஓவியம்' , 'பரிசு' : 25000 },
{ 'ஐடி' : 112 , 'நபர்' : 'மௌனி' , 'திறன்' : 'நடனம்' , 'பரிசு' : 2000 },
{ 'ஐடி' : 153 , 'நபர்' : 'துளசி' , 'திறன்' : 'வாசிப்பு' , 'பரிசு' : 1200 }
]
# மேலே உள்ள தரவுகளிலிருந்து திறன் தரவுச்சட்டத்தை உருவாக்கவும்
skills_df = linuxhint_spark_app.createDataFrame(திறன்கள்)
# உண்மையான திறன் தரவு
skills_df.show()
# 'பதிவுகளாக' ஓரியண்டுடன்_json() ஐப் பயன்படுத்தி JSON ஆக மாற்றவும்
json_skills_data = skills_df.toPandas().to_json(orient= 'பதிவுகள்' )
அச்சு(json_skills_data)
வெளியீடு:
+---+------+------+----------+
| ஐடி|நபர்|பரிசு| திறமை|
+---+------+------+----------+
| 123 | தேன்| 25000 |ஓவியம்|
| 112 | மௌனி| 2000 | நடனம்|
| 153 |துளசி| 1200 | வாசிப்பு|
+---+------+------+----------+
[{ 'ஐடி' : 123 , 'நபர்' : 'தேன்' , 'பரிசு' : 25000 , 'திறன்' : 'ஓவியம்' },{ 'ஐடி' : 112 , 'நபர்' : 'மௌனி' , 'பரிசு' : 2000 , 'திறன்' : 'நடனம்' },{ 'ஐடி' : 153 , 'நபர்' : 'துளசி' , 'பரிசு' : 1200 , 'திறன்' : 'வாசிப்பு' }]
PySpark DataFrame ஆனது மதிப்புகளின் அகராதியுடன் JSON வரிசையாக மாற்றப்படுவதை நாம் காணலாம். இங்கே, விசைகள் நெடுவரிசையின் பெயரைக் குறிக்கின்றன மற்றும் மதிப்பு PySpark DataFrame இல் உள்ள வரிசை/செல் மதிப்பைக் குறிக்கிறது.
எடுத்துக்காட்டு 2: ஓரியண்ட் 'பிளவு'
'பிளவு' ஓரியண்டால் வழங்கப்படும் JSON வடிவத்தில், நெடுவரிசைகளின் பட்டியல், குறியீட்டு பட்டியல் மற்றும் தரவுகளின் பட்டியல் ஆகியவற்றைக் கொண்ட நெடுவரிசைப் பெயர்கள் அடங்கும். பின்வருபவை 'பிளவு' திசையின் வடிவம்.
json_skills_data = skills_df.toPandas().to_json(orient= 'பிளவு' )
அச்சு(json_skills_data)
வெளியீடு:
{ 'நெடுவரிசைகள்' :[ 'ஐடி' , 'நபர்' , 'பரிசு' , 'திறன்' ], 'குறியீடு' :[ 0 , 1 , 2 ], 'தகவல்கள்' :[[ 123 , 'தேன்' , 25000 , 'ஓவியம்' ],[ 112 , 'மௌனி' , 2000 , 'நடனம்' ],[ 153 , 'துளசி' , 1200 , 'வாசிப்பு' ]]}எடுத்துக்காட்டு 3: 'இண்டெக்ஸ்' ஆக ஓரியண்ட்
இங்கே, PySpark DataFrame இலிருந்து ஒவ்வொரு வரிசையும் நெடுவரிசையின் பெயராக விசையுடன் அகராதி வடிவத்தில் ஓய்வு பெறுகிறது. ஒவ்வொரு அகராதிக்கும், குறியீட்டு நிலை ஒரு விசையாகக் குறிப்பிடப்படுகிறது.
json_skills_data = skills_df.toPandas().to_json(orient= 'குறியீடு' )
அச்சு(json_skills_data)
வெளியீடு:
{ '0' :{ 'ஐடி' : 123 , 'நபர்' : 'தேன்' , 'பரிசு' : 25000 , 'திறன்' : 'ஓவியம்' }, '1' :{ 'ஐடி' : 112 , 'நபர்' : 'மௌனி' , 'பரிசு' : 2000 , 'திறன்' : 'நடனம்' }, '2' :{ 'ஐடி' : 153 , 'நபர்' : 'துளசி' , 'பரிசு' : 1200 , 'திறன்' : 'வாசிப்பு' }}எடுத்துக்காட்டு 4: 'நெடுவரிசைகள்'
ஒவ்வொரு பதிவுக்கும் நெடுவரிசைகள் முக்கியம். ஒவ்வொரு நெடுவரிசையிலும் குறியீட்டு எண்களுடன் நெடுவரிசை மதிப்புகளை எடுக்கும் அகராதி உள்ளது.
json_skills_data = skills_df.toPandas().to_json(orient= 'நெடுவரிசைகள்' )
அச்சு(json_skills_data)
வெளியீடு:
{ 'ஐடி' :{ '0' : 123 , '1' : 112 , '2' : 153 }, 'நபர்' :{ '0' : 'தேன்' , '1' : 'மௌனி' , '2' : 'துளசி' }, 'பரிசு' :{ '0' : 25000 , '1' : 2000 , '2' : 1200 }, 'திறன்' :{ '0' : 'ஓவியம்' , '1' : 'நடனம்' , '2' : 'வாசிப்பு' }}எடுத்துக்காட்டு 5: 'மதிப்புகள்' என ஓரியண்ட்
உங்களுக்கு JSON இல் மதிப்புகள் மட்டுமே தேவைப்பட்டால், நீங்கள் 'மதிப்புகள்' நோக்குநிலைக்குச் செல்லலாம். இது ஒவ்வொரு வரிசையையும் ஒரு பட்டியலில் காட்டுகிறது. இறுதியாக, அனைத்து பட்டியல்களும் ஒரு பட்டியலில் சேமிக்கப்படும். இந்த JSON உள்ளமைக்கப்பட்ட பட்டியல் வகையைச் சேர்ந்தது.
json_skills_data = skills_df.toPandas().to_json(orient= 'மதிப்புகள்' )
அச்சு(json_skills_data)
வெளியீடு:
[[ 123 , 'தேன்' , 25000 , 'ஓவியம்' ],[ 112 , 'மௌனி' , 2000 , 'நடனம்' ],[ 153 , 'துளசி' , 1200 , 'வாசிப்பு' ]]எடுத்துக்காட்டு 6: 'டேபிள்' ஆக ஓரியண்ட்
'டேபிள்' ஓரியண்ட், நெடுவரிசை தரவு வகைகளுடன் புலப் பெயர்களுடன் ஸ்கீமாவை உள்ளடக்கிய JSON ஐ வழங்குகிறது, குறியீட்டை முதன்மை விசையாக மற்றும் பாண்டாஸ் பதிப்பு. மதிப்புகள் கொண்ட நெடுவரிசை பெயர்கள் 'தரவு' என காட்டப்படும்.
json_skills_data = skills_df.toPandas().to_json(orient= 'மேசை' )
அச்சு(json_skills_data)
வெளியீடு:
{ 'திட்டம்' :{ 'வயல்கள்' :[{ 'பெயர்' : 'குறியீடு' , 'வகை' : 'முழு' },{ 'பெயர்' : 'ஐடி' , 'வகை' : 'முழு' },{ 'பெயர்' : 'நபர்' , 'வகை' : 'லேசான கயிறு' },{ 'பெயர்' : 'பரிசு' , 'வகை' : 'முழு' },{ 'பெயர்' : 'திறன்' , 'வகை' : 'லேசான கயிறு' }], 'முதன்மை விசை' :[ 'குறியீடு' ], 'pandas_version' : '1.4.0' }, 'தகவல்கள்' :[{ 'குறியீடு' : 0 , 'ஐடி' : 123 , 'நபர்' : 'தேன்' , 'பரிசு' : 25000 , 'திறன்' : 'ஓவியம்' },{ 'குறியீடு' : 1 , 'ஐடி' : 112 , 'நபர்' : 'மௌனி' , 'பரிசு' : 2000 , 'திறன்' : 'நடனம்' },{ 'குறியீடு' : 2 , 'ஐடி' : 153 , 'நபர்' : 'துளசி' , 'பரிசு' : 1200 , 'திறன்' : 'வாசிப்பு' }]}எடுத்துக்காட்டு 7: குறியீட்டு அளவுருவுடன்
முதலில், குறியீட்டு அளவுருவை 'உண்மை' என அமைப்பதன் மூலம் கடந்து செல்கிறோம். ஒவ்வொரு நெடுவரிசை மதிப்பிற்கும் குறியீட்டு நிலை ஒரு அகராதியில் விசையாகத் திரும்புவதைப் பார்ப்பீர்கள்.
இரண்டாவது வெளியீட்டில், குறியீடு 'தவறு' என அமைக்கப்பட்டதால், குறியீட்டு நிலைகள் இல்லாமல் நெடுவரிசைப் பெயர்கள் ('நெடுவரிசைகள்') மற்றும் பதிவுகள் ('தரவு') மட்டுமே திரும்பும்.
# இண்டெக்ஸ்=True உடன் to_json() ஐப் பயன்படுத்தி JSON ஆக மாற்றவும்json_skills_data = skills_df.toPandas().to_json(index=True)
அச்சு(json_skills_data, ' \n ' )
# index=False உடன் to_json() ஐப் பயன்படுத்தி JSON ஆக மாற்றவும்
json_skills_data= skills_df.toPandas().to_json(index=False,orient= 'பிளவு' )
அச்சு(json_skills_data)
வெளியீடு:
{ 'ஐடி' :{ '0' : 123 , '1' : 112 , '2' : 153 }, 'நபர்' :{ '0' : 'தேன்' , '1' : 'மௌனி' , '2' : 'துளசி' }, 'பரிசு' :{ '0' : 25000 , '1' : 2000 , '2' : 1200 }, 'திறன்' :{ '0' : 'ஓவியம்' , '1' : 'நடனம்' , '2' : 'வாசிப்பு' }}{ 'நெடுவரிசைகள்' :[ 'ஐடி' , 'நபர்' , 'பரிசு' , 'திறன்' ], 'தகவல்கள்' :[[ 123 , 'தேன்' , 25000 , 'ஓவியம்' ],[ 112 , 'மௌனி' , 2000 , 'நடனம்' ],[ 153 , 'துளசி' , 1200 , 'வாசிப்பு' ]]
PySpark DataFrame to JSON ஐப் பயன்படுத்தி ToJSON()
PySpark DataFrame ஐ JSON பொருளாக மாற்ற toJSON() முறை பயன்படுத்தப்படுகிறது. அடிப்படையில், இது ஒரு பட்டியலால் சூழப்பட்ட JSON சரத்தை வழங்குகிறது. தி [‘{நெடுவரிசை:மதிப்பு,…}’,…. ] இந்தச் செயல்பாட்டின் மூலம் திருப்பியளிக்கப்படும் வடிவம். இங்கே, PySpark DataFrame இலிருந்து ஒவ்வொரு வரிசையும், நெடுவரிசைப் பெயரை விசையாகக் கொண்ட அகராதியாகத் தரப்படும்.
தொடரியல்:
dataframe_object.toJSON()குறியீட்டு, நெடுவரிசை லேபிள்கள் மற்றும் தரவு வகை போன்ற அளவுருக்களை அனுப்ப முடியும்.
உதாரணமாக:
5 வரிசைகள் மற்றும் 4 நெடுவரிசைகளுடன் 'skills_df' PySpark DataFrame ஐ உருவாக்கவும். toJSON() முறையைப் பயன்படுத்தி இந்த DataFrame ஐ JSON ஆக மாற்றவும்.
பைஸ்பார்க் இறக்குமதிpyspark.sql இலிருந்து SparkSession இறக்குமதி
linuxhint_spark_app = SparkSession.builder.appName( 'லினக்ஸ் குறிப்பு' ).getOrCreate()
5 வரிசைகள் மற்றும் 4 நெடுவரிசைகள் கொண்ட # திறன் தரவு
திறன்கள் =[{ 'ஐடி' : 123 , 'நபர்' : 'தேன்' , 'திறன்' : 'ஓவியம்' , 'பரிசு' : 25000 },
{ 'ஐடி' : 112 , 'நபர்' : 'மௌனி' , 'திறன்' : 'இசை/நடனம்' , 'பரிசு' : 2000 },
{ 'ஐடி' : 153 , 'நபர்' : 'துளசி' , 'திறன்' : 'வாசிப்பு' , 'பரிசு' : 1200 },
{ 'ஐடி' : 173 , 'நபர்' : 'ரன்' , 'திறன்' : 'இசை' , 'பரிசு' : 2000 },
{ 'ஐடி' : 43 , 'நபர்' : 'கமலா' , 'திறன்' : 'வாசிப்பு' , 'பரிசு' : 10000 }
]
# மேலே உள்ள தரவுகளிலிருந்து திறன் தரவுச்சட்டத்தை உருவாக்கவும்
skills_df = linuxhint_spark_app.createDataFrame(திறன்கள்)
# உண்மையான திறன் தரவு
skills_df.show()
# JSON வரிசைக்கு மாற்றவும்
json_skills_data = skills_df.toJSON().collect()
அச்சு(json_skills_data)
வெளியீடு:
+---+------+----+-------------+| ஐடி|நபர்|பரிசு| திறமை|
+---+------+----+-------------+
| 123 | தேன்| 25000 | ஓவியம்|
| 112 | மௌனி| 2000 |இசை/நடனம்|
| 153 |துளசி| 1200 | வாசிப்பு|
| 173 | ரன்| 2000 | இசை|
| 43 |கமலா| 10000 | வாசிப்பு|
+---+------+----+-------------+
[ '{'id':123,'நபர்':'தேன்','பரிசு':25000,'திறன்':'ஓவியம்'}' , '{'id':112,'person':'Mouni','prize':2000,'skill':'Music/dance'}' , '{'id':153,'நபர்':'துளசி','பரிசு':1200,'திறன்':'படித்தல்'}' , '{'id':173,'person':'Ran','prize':2000,'skill':'music'}' , '{'id':43,'நபர்':'கமலா','பரிசு':10000,'திறன்':'படித்தல்'}' ]
PySpark DataFrame இல் 5 வரிசைகள் உள்ளன. இந்த 5 வரிசைகளும் கமாவால் பிரிக்கப்பட்ட சரங்களின் அகராதியாகத் திரும்பும்.
PySpark DataFrame to JSONஐப் பயன்படுத்தி Write.json()
PySpark DataFrame ஐ JSON கோப்பில் எழுதும்/சேமிக்கும் PySparkல் எழுதும்.json() முறை உள்ளது. இது கோப்பு பெயர்/பாதை அளவுருவாக எடுத்துக்கொள்கிறது. அடிப்படையில், இது பல கோப்புகளில் (பகிர்வு செய்யப்பட்ட கோப்புகள்) JSON ஐ வழங்குகிறது. அவை அனைத்தையும் ஒரே கோப்பில் இணைக்க, நாம் coalesce() முறையைப் பயன்படுத்தலாம்.
தொடரியல்:
dataframe_object.coalesce( 1 ).write.json(‘file_name’)- சேர்க்கும் பயன்முறை - dataframe_object.write.mode('append').json('file_name')
- மேலெழுதும் பயன்முறை – dataframe_object.write.mode('overwrite').json('file_name')
ஏற்கனவே உள்ள JSON ஐ சேர்க்க/மேலெழுத முடியும். Write.mode() ஐப் பயன்படுத்தி, “சேர்” என்பதைக் கடந்து தரவைச் சேர்க்கலாம் அல்லது இந்தச் செயல்பாட்டிற்கு “மேலெழுத” என்பதைக் கடந்து ஏற்கனவே உள்ள JSON தரவை மேலெழுதலாம்.
எடுத்துக்காட்டு 1:
3 வரிசைகள் மற்றும் 4 நெடுவரிசைகளுடன் 'skills_df' PySpark DataFrame ஐ உருவாக்கவும். இந்த DataFrameஐ JSONக்கு எழுதவும்.
பைஸ்பார்க் இறக்குமதிஇறக்குமதி பாண்டாக்கள்
pyspark.sql இலிருந்து SparkSession இறக்குமதி
linuxhint_spark_app = SparkSession.builder.appName( 'லினக்ஸ் குறிப்பு' ).getOrCreate()
3 வரிசைகள் மற்றும் 4 நெடுவரிசைகள் கொண்ட # திறன் தரவு
திறன்கள் =[{ 'ஐடி' : 123 , 'நபர்' : 'தேன்' , 'திறன்' : 'ஓவியம்' , 'பரிசு' : 25000 },
{ 'ஐடி' : 112 , 'நபர்' : 'மௌனி' , 'திறன்' : 'நடனம்' , 'பரிசு' : 2000 },
{ 'ஐடி' : 153 , 'நபர்' : 'துளசி' , 'திறன்' : 'வாசிப்பு' , 'பரிசு' : 1200 }
]
# மேலே உள்ள தரவுகளிலிருந்து திறன் தரவுச்சட்டத்தை உருவாக்கவும்
skills_df = linuxhint_spark_app.createDataFrame(திறன்கள்)
# write.json()
skills_df.coalesce( 1 ).write.json( 'திறன்_தரவு' )
JSON கோப்பு:
skills_data கோப்புறையில் பிரிக்கப்பட்ட JSON தரவு உள்ளதைக் காணலாம்.
JSON கோப்பைத் திறப்போம். PySpark DataFrame இலிருந்து அனைத்து வரிசைகளும் JSON ஆக மாற்றப்படுவதை நாம் காணலாம்.
PySpark DataFrame இல் 5 வரிசைகள் உள்ளன. இந்த 5 வரிசைகளும் கமாவால் பிரிக்கப்பட்ட சரங்களின் அகராதியாகத் திரும்பும்.
எடுத்துக்காட்டு 2:
ஒரு வரிசையுடன் “skills2_df” PySpark DataFrame ஐ உருவாக்கவும். பயன்முறையை “சேர்” எனக் குறிப்பிடுவதன் மூலம் முந்தைய JSON கோப்பில் ஒரு வரிசையைச் சேர்க்கவும்.
பைஸ்பார்க் இறக்குமதிஇறக்குமதி பாண்டாக்கள்
pyspark.sql இலிருந்து SparkSession இறக்குமதி
linuxhint_spark_app = SparkSession.builder.appName( 'லினக்ஸ் குறிப்பு' ).getOrCreate()
திறன்கள்2 =[{ 'ஐடி' : 78 , 'நபர்' : 'மேரி' , 'திறன்' : 'சவாரி' , 'பரிசு' : 8960 }
]
# மேலே உள்ள தரவுகளிலிருந்து திறன் தரவுச்சட்டத்தை உருவாக்கவும்
skills2_df = linuxhint_spark_app.createDataFrame(skills2)
இணைப்பு பயன்முறையுடன் # write.json().
skills2_df.write.mode( 'சேர்' ).json( 'திறன்_தரவு' )
JSON கோப்பு:
பிரிக்கப்பட்ட JSON கோப்புகளை நாம் பார்க்கலாம். முதல் கோப்பு முதல் DataFrame பதிவுகளையும் இரண்டாவது கோப்பு இரண்டாவது DataFrame பதிவையும் கொண்டுள்ளது.
முடிவுரை
PySpark DataFrame ஐ JSON ஆக மாற்ற மூன்று வெவ்வேறு வழிகள் உள்ளன. முதலில், PySpark DataFrame ஐ Pandas DataFrame ஆக மாற்றுவதன் மூலம் JSON ஆக மாற்றும் to_json() முறையை வெவ்வேறு அளவுருக்களைக் கருத்தில் கொண்டு வெவ்வேறு எடுத்துக்காட்டுகளுடன் விவாதித்தோம். அடுத்து, toJSON() முறையைப் பயன்படுத்தினோம். கடைசியாக, PySpark DataFrame ஐ JSONக்கு எழுத, write.json() செயல்பாட்டை எவ்வாறு பயன்படுத்துவது என்பதை நாங்கள் கற்றுக்கொண்டோம். இந்தச் செயல்பாட்டின் மூலம் இணைத்தல் மற்றும் மேலெழுதுதல் சாத்தியமாகும்.