Spark用sbtプロジェクトの設定

プロジェクトセットアップ

build.sbtに以下のコードを書いて、sbt update

gist.github.com

ソースを書く

• src/main/scala/SampleApp.scala

gist.github.com

ビルド

sbt package

実行

spark-submit \
  --class SampleApp \
  --master yarn-cluster \
  --num-executors 8 \
  target/scala-2.10/(your project)_2.10-1.0.jar