本文介紹了使用Spark-avro寫入數(shù)據(jù)幀創(chuàng)建topLevelRecord-要使用現(xiàn)有架構(gòu)的處理方法，對大家解決問題具有一定的參考價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)吧！
問題描述
我正在使用Kryo編碼器將GenericRecords編碼為Spark DataFrame，并將該數(shù)據(jù)幀寫入Avro文件。一旦我嘗試從配置單元中讀取文件，我就得到一個錯誤，說解析器找到的是toplevelRecords而不是預(yù)期的字段。這條記錄不在我現(xiàn)有的模式中，我認(rèn)為它是在我使用Spark-Avro編寫時創(chuàng)建的。我想知道是否/如何從Avro文件中刪除它。
如下所示：
{
"type":"record",
"name":"topLevelRecord",
"fields":[
{
"name":"value",
"type":["bytes","null"]
}
]
}
推薦答案
名稱字段在Avro架構(gòu)中是必需的(https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-AvroOptions.html)
如果架構(gòu)中未設(shè)置值topLevelRecord，則值topLevelRecord是默認(rèn)值，但是您可以提供一個值以在寫入數(shù)據(jù)框時覆蓋它。
Scala：
創(chuàng)建參數(shù)映射并將其傳遞給編寫器：
val name = "AvroTest"
val parameters = Map("recordName" -> name)
df.write.options(parameters).format("avro").save("/tmp/output")
引用：https://docs.databricks.com/spark/latest/data-sources/read-avro.html
Python：
將選項(xiàng)傳遞給編寫器，如下所示：
df.write.format("com.databricks.spark.avro").option("recordName", "Uber").save("tmp/output")
這篇關(guān)于使用Spark-avro寫入數(shù)據(jù)幀創(chuàng)建topLevelRecord-要使用現(xiàn)有架構(gòu)的文章就介紹到這了，希望我們推薦的答案對大家有所幫助，
