Spark JSON Đọc các trường đầy đủ từ JSON vào lớp trường hợp

In lại 作者：行者123 更新时间：2023-12-05 02:56:53 34 4

case class Y (a: String, b: String)
case class X (dummy: String, b: Y)

spark.read.json(Seq("{'dummy': '1', 'b': {'a': '1'}}").toDS).as[X]
org.apache.spark.sql.AnalysisException: No such struct field b in a;
  at org.apache.spark.sql.catalyst.expressions.ExtractValue$.findField(complexTypeExtractors.scala:85)
  at org.apache.spark.sql.catalyst.expressions.ExtractValue$.apply(complexTypeExtractors.scala:53)
  at org.apache.spark.sql.catalyst.analysis.Analyzer$$anonfun$resolveExpression$1.applyOrElse(Analyzer.scala:1074)
  at org.apache.spark.sql.catalyst.analysis.Analyzer$$anonfun$resolveExpression$1.applyOrElse(Analyzer.scala:1065)
  at org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$transformUp$2.apply(TreeNode.scala:282)
  at org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$transformUp$2.apply(TreeNode.scala:282)
  at org.apache.spark.sql.catalyst.trees.CurrentOrigin$.withOrigin(TreeNode.scala:70)

case class Y (a: String, b: Option[String] = None)
case class X (dummy: String, b: Y)

import org.apache.spark.sql.Encoders

val schema = Encoders.product[X].schema

spark.read.schema(schema).json(Seq("{'dummy': '1', 'b': {'a': '1'}}").toDS).as[X].show()

//+-----+----+
//|dummy| b|
//+-----+----+
//| 1|[1,]|
//+-----+----+

spark.read.schema(schema).json(Seq("{'dummy': '1', 'b': {'a': '1'}}").toDS).as[X].
select("b.b").show()

//+----+
//| b|
//+----+
//|null|
//+----+

spark.read.schema(schema).json(Seq("{'dummy': '1', 'b': {'a': '1'}}").toDS).as[X].printSchema

//root
 //|-- dummy: string (nullable = true)
 //|-- b: struct (nullable = true)
 //| |-- a: string (nullable = true)
 //| |-- b: string (nullable = true)

34 4 0

• Oracle 案例

  这个问题在这里已经有了答案: Oracle: merging two different queries into one, LIKE & IN (1 个回答) 8年前关闭。 我有以下代码: case

• MYSQL存储过程、案例

  我查阅过此页面:http://dev.mysql.com/doc/refman/5.1/en/case.html以及这个，但无法获得一个简单的程序来工作...... 更新:为了明确我想要做什么:我想从

• MySQL查询优化总..案例

  有什么办法可以优化下面的查询吗？ SELECT DATE_FORMAT(a.duedate,'%d-%b-%y') AS dte, duedate, SUM(CASE WHEN (typeofnoti

• MYSQL 案例

  我进退两难，以下 SQL 查询的结果是什么以及它是如何工作的: SELECT ... CASE WHEN (a.FIELD=1 AND b.FIELD=2) THEN 1 WHEN

• Java基础之打印万年历的简单实现(案例)

  问题：输入年，月，打印对应年月的日历。 示例： 问题分析： 1，首先1970年是Unix系统诞生的时间，1970年成为Unix的元年，1970年1月1号是星期四，现在大多的手机的日历功能只能显

• 理论+案例，带你掌握Angular依赖注入模式的应用

  **摘要：**介绍了Angular中依赖注入是如何查找依赖，如何配置提供商，如何用限定和过滤作用的装饰器拿到想要的实例，进一步通过N个案例分析如何结合依赖注入的知识点来解决开发编程中会遇到的问题。 本

• scala - (案例)类构造函数上下文中的隐式转换

  我想拥有自动伴侣类apply case 类的构造函数来为我执行隐式转换，但无法弄清楚如何这样做。我到处搜索，我能找到的最接近的答案是 this问题(我将解释为什么它不是我在下面寻找的)。 我有一个看起

• 具有多列的 SQL 案例

  您好，我已经浏览了“多列案例”问题，但没有看到与此相同的内容，所以我想我应该问一下。 基本上我有两个我想要连接的表(都是子查询的结果)。它们具有相同的列名称。如果我加入他们的 ID 和 SELECT

• 非直觉类型推断的 Kotlin 案例

  我发现了一些类型推断的非直觉行为。因此，语义等效代码的工作方式不同，具体取决于编译器推断出的有关函数返回类型的信息。当您在最小单元测试中重现此案例时，或多或少会清楚发生了什么。但我担心在编写框架代码时

• SQL Server - 案例

  CREATE TABLE test ( sts_id int , [status1] int , [status2] int , [status3] int , [status4] int ) INS

• 带有内连接的 MYSQL 案例

  我有以下声明: SELECT Dag AS Dag, CASE Jaar WHEN 2013 THEN Levering END AS '2013', CASE

• mysql - 案例、子查询和连接

  我想做的是为所有高于平均时间、平均时间和低于平均时间的游乐设施获取平均tip_portion。所以返回3行。当我运行它时，它显示: ERROR: missing FROM-clause entry

• Mysql 案例 - 统计特定时间内的字段数

  我正在尝试设置一个包含以下字段的报告: 非常需要报告来显示日期、该日期内的总记录(因此我按日期分组)，然后按小时计算 12 小时工作日(从上午 8 点到晚上 8 点)我需要计算记录在这些时间内出现的时

• mysql - 在一个查询中获取所有 WHERE 案例

  我有这个查询 SELECT users.name FROM users LEFT JOIN weapon_stats ON users.id = weapon_stats.zp_id WHERE we

• 计数不同时的 MySQL 案例

  我正在尝试按收视率等级获取不同视频的计数。我有下表: vid_id views 1 6 1 10 1 900 2 850 2 125000

• mysql - 案例 When 案例之间的联合

  假设我有一个如下所示的 SQL 语句: select supplier, case when platform in (5,6) then 'mobile' when p

• MySql - 更新/案例

  我有一个表测试 TestNumber (int primary key) InactiveBitwise (int) 我执行以下命令: UPDATE tests SET CASE WH

• 带分组依据的 MySQL 案例

  我有一个像这样的表(name=expense): id amount date 1 -1687 2014-01-02 00:00:00.0 2 11000 2014-01-02 0

• C++ 案例 multimap

  我有一个 multimap 定义 typedef std::pair au_pair; //vertices typedef std::pair acq_pair; //ch qlty specifi

• c++ - 将静态常量类实例用于开关/案例

  我有一个有点像枚举的类，它的每个实例都有一个唯一的 int 值，该值从 0 开始并在每个新实例时递增。 class MyEnumLikeClass { static int NextId =