Spark : Spark Shell에서 Spark 파일을 실행하는 방법

Spark : Spark Shell에서 Spark 파일을 실행하는 방법

---

CDH 5.2를 사용하고 있습니다. Spark-shell 을 사용 하여 명령을 실행할 수 있습니다.

1. 스파크 명령이 포함 된 파일 (file.spark)을 어떻게 실행할 수 있습니까?
2. sbt없이 CDH 5.2에서 scala 프로그램을 실행 / 컴파일하는 방법이 있습니까?

미리 감사드립니다

---

spark-shell에서 외부 파일을로드하려면 다음을 수행하십시오.

:load PATH_TO_FILE

이것은 파일의 모든 것을 호출합니다.

죄송하지만 SBT 질문에 대한 해결책이 없습니다. :-)

---

명령 줄에서 다음을 사용할 수 있습니다.

spark-shell -i file.scala

작성된 코드를 실행하려면 file.scala

---

sbt 또는 maven을 사용하여 Spark 프로그램을 컴파일 할 수 있습니다. 간단히 스파크를 Maven에 종속성으로 추가하십시오.

<repository>
      <id>Spark repository</id>
      <url>http://www.sparkjava.com/nexus/content/repositories/spark/</url>
</repository>

그리고 의존성 :

<dependency>
      <groupId>spark</groupId>
      <artifactId>spark</artifactId>
      <version>1.2.0</version>
</dependency>

스파크 명령으로 파일을 실행하는 측면에서 다음과 같이 간단하게 수행 할 수 있습니다.

echo"
   import org.apache.spark.sql.*
   ssc = new SQLContext(sc)
   ssc.sql("select * from mytable").collect
" > spark.input

이제 명령 스크립트를 실행하십시오.

cat spark.input | spark-shell

---

대답에 더 많은 관점을주기 위해

Spark-shell은 스칼라 재현입니다.

: help 를 입력 하여 스칼라 셸 내에서 가능한 작업 목록을 볼 수 있습니다 .

scala> :help
All commands can be abbreviated, e.g., :he instead of :help.
:edit <id>|<line>        edit history
:help [command]          print this summary or command-specific help
:history [num]           show the history (optional num is commands to show)
:h? <string>             search the history
:imports [name name ...] show import history, identifying sources of names
:implicits [-v]          show the implicits in scope
:javap <path|class>      disassemble a file or class name
:line <id>|<line>        place line(s) at the end of history
:load <path>             interpret lines in a file
:paste [-raw] [path]     enter paste mode or paste a file
:power                   enable power user mode
:quit                    exit the interpreter
:replay [options]        reset the repl and replay all previous commands
:require <path>          add a jar to the classpath
:reset [options]         reset the repl to its initial state, forgetting all session entries
:save <path>             save replayable session to a file
:sh <command line>       run a shell command (result is implicitly => List[String])
:settings <options>      update compiler options, if possible; see reset
:silent                  disable/enable automatic printing of results
:type [-v] <expr>        display the type of an expression without evaluating it
:kind [-v] <expr>        display the kind of expression's type
:warnings                show the suppressed warnings from the most recent line which had any

: load 파일의 행 해석

참조 URL : https://stackoverflow.com/questions/27717379/spark-how-to-run-spark-file-from-spark-shell