이 예를 보고 있어요아파치 스파크문서. --master 변수에 local[4]라는 변수를 전달하는 것 같습니다. 나는 전에 그것을 본 적이 없습니다. 무슨 뜻이에요? 저는 OS X에서 bash를 사용하고 있습니다. "로컬" 배열이 있습니까? Maven 구조인가요?
# Package a jar containing your application
$ mvn package
...
[INFO] Building jar: {..}/{..}/target/simple-project-1.0.jar
# Use spark-submit to run your application
$ YOUR_SPARK_HOME/bin/spark-submit \
--class "SimpleApp" \
--master local[4] \
target/simple-project-1.0.jar
...
Lines with a: 46, Lines with b: 23
답변1
이는 bash나 Maven 문제가 아닌 Spark 문제입니다. Spark의 경우 기본 이름은 다음 형식을 취할 수 있습니다.
local[K]: K 작업자 스레드를 사용하여 로컬에서 Spark를 실행합니다(머신의 코어 수로 설정해야 함).
확인하다https://github.com/mesos/spark/wiki/Spark-Programming-Guide#master-names더 많은 정보를 알고 싶습니다.