☰

Ambari 및 Spark는 CLI에서 시작할 수 없습니다.

tag-icon • tag-icon hadoop
Ambari 및 Spark는 CLI에서 시작할 수 없습니다.

Ambari GUI에서는 Spark 서비스를 시작할 수 없습니다. 따라서 다음과 같이 명령줄을 통해 시작하려고 합니다.

[spark@mas01 spark2]$ ./sbin/start-thriftserver.sh --master yarn-client --executor-memory 512m --hiveconf hive.server2.thrift.port=10015
starting org.apache.spark.sql.hive.thriftserver.HiveThriftServer2, logging to /var/log/spark2/spark-spark-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-master01.octopus9.com.out

그러나 로그에서 다음과 같은 오류가 발생합니다.

경고: Masteryarn-client는 2.0부터 더 이상 사용되지 않습니다. 대신 지정된 배포 모드로 마스터 "원사"를 사용하세요.

문법에 어떤 문제가 있는지 알려주세요.

[spark@mas01 spark2]$ more /var/log/spark2/spark-spark-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-master01.octopus9.com.out
Spark Command: /usr/jdk64/jdk1.8.0_112/bin/java -Dhdp.version=2.6.0.3-8 -cp /usr/hdp/2.6.0.3-8/spark2/conf/:/usr/hdp/2.6.0.3-8/spark2/jars/*:/usr/hdp/current/hadoop-client/conf/ -Xmx10000m org.apache.spark.deploy.SparkSubmit --master yarn-client --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 --name Thrift JDBC/ODBC Server --executor-memory 512m spark-internal -- hiveconf hive.server2.thrift.port=10015
========================================
Warning: Master yarn-client is deprecated since 2.0. Please use master "yarn" with specified deploy mode instead.

답변1

yarn-clientSpark 2.0.0 이전에는 or 를 사용할 수 있었지만 yarn-cluster현재는 더 이상 사용되지 않습니다. 더 이상 사용되지 않는 기본 URL을 사용하면 위의 경고가 표시됩니다.

이제 유일한 올바른 기본 URL은 yarn예 입니다 ./bin/spark-submit --master yarn .... 그런 다음 --deploy-modeSpark client(기본값) 또는 Spark 모드 cluster중에서 선택할 수 있습니다 .

관련 정보