如何从 S3 存储桶中名为“/”的目录中读取文件?

如何从 S3 存储桶中名为“/”的目录中读取文件?

代码: val df = spark.read.csv("s3a://sample_bucket//csvFiles/file.csv");

错误:22/06/23 20:02:57 WARN impl.MetricsConfig:无法找到配置:尝试了 hadoop-metrics2-s3a-file-system.properties、hadoop-metrics2.properties org.apache.spark.sql.AnalysisException:路径不存在:s3a://sample_bucket//csvFiles/file.csv;在 org.apache.spark.sql.execution.datasources.DataSource$$anonfun$org$apache$spark$sql$execution$datasources$DataSource$$checkAndGlobPathIfNecessary$1.apply(DataSource.scala:557) 在 org.apache.spark.sql.execution.datasources.DataSource$$anonfun$org$apache$spark$sql$execution$datasources$DataSource$$checkAndGlobPathIfNecessary$1.apply(DataSource.scala:544) 在 scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241) 在 scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241) 在scala.collection.immutable.List.foreach(List.scala:392) at scala.collection.TraversableLike$class.flatMap(TraversableLike.scala:241) at scala.collection.immutable.List.flatMap(List.scala:355) at org.apache.spark.sql.execution.datasources.DataSource.org$apache$spark$sql$execution$datasources$DataSource$$checkAndGlobPathIfNecessary(DataSource.scala:544) at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:358) at org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala:223) at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:211) at org.apache.spark.sql.DataFrameReader.csv(DataFrameReader.scala:615) at org.apache.spark.sql.DataFrameReader.csv(DataFrameReader.scala:467) ... 49 省略

当我使用上述代码时,出现此错误。文件路径直接从 UI 获取,我不知道为什么它显示路径不存在错误。

请帮帮我。提前谢谢。

相关内容