Webなどから取ってきた巨大な文書ファイルを処理するとき、UTF-8エンコーディングで処理したはずだったのに、中間処理に使った言語の仕様なのか処理ミスなのか、とにかく何らかの理由があって、Scalaで読み込む際に MalformedInputException が発生してしま…

プロジェクトセットアップ build.sbtに以下のコードを書いて、sbt update gist.github.com ソースを書く src/main/scala/SampleApp.scala gist.github.com ビルド sbt package 実行 spark-submit \ --class SampleApp \ --master yarn-cluster \ --num-execu…