Hive Metastore가 두 대의 시스템에 설치되면 hadoop 클러스터(ambari 플랫폼 기반)가 있습니다.
작업 실행(presto에서 쿼리 실행) 중에 힙 크기로 인해 작업이 실패하는 경우가 있습니다. (메타스토어 힙 크기)
우리의 경우 이는 메타스토어 힙 문제 때문입니다.
Metastore 로그에서 다음을 볼 수 있습니다.
2021-12-13 01:39:23,145 INFO [org.apache.hadoop.hive.common.JvmPauseMonitor$Monitor@1595ec02]: common.JvmPauseMonitor (JvmPauseMonitor.java:run(193)) - Detected pause in JVM or host machine (eg GC): pause of approximately 3263ms
No GCs detected
그래서 우리는 메타스토어 힙 크기를 2G에서 4G로 늘렸습니다.
그러나 문제는 MetaStore 힙의 올바른 크기를 아는 방법과 그에 기반한 것입니다.
예를 들어 이를 네임노드의 HDFS 힙 크기와 비교하면
네임노드 힙 크기는 네임노드에서 관리하는 파일 수를 기반으로 해야 한다고 말할 수 있습니다.
그러나 Metastore 힙 크기와 동일한 개념은 무엇입니까?
Metastore 힙 크기를 계산하는 방법은 무엇입니까?
인용하다 -https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/admin_hive_tuning.html
https://stackoverflow.com/questions/56363736/hive-too-many-connection-to-postgresql-db
https://docs.microsoft.com/en-us/azure/databricks/kb/metastore/hive-metastore-troubleshooting
https://www.linkedin.com/pulse/hive-metastore-hcatalog-hcat-haotian-zhang/