- Published on
Spark에서 SparkSession에 hive 설정을 해서 Hive의 데이터를 읽기/쓰기가 가능하다. 하지만 Hive에서 생성한 데이터베이스가 Spark에서는 조회가 되지 않았다. Spark에서 Hive Metastore를 Catalog로 사용할 때, hive-site.xml에 설정된 값을 이해하면 왜 조회가 되지 않는지 이해할 수 있다. hive-site.xml의 metadata.catalog.default 값이 어떻게 영향을 미치지는 살펴봤다.