scala - 如何设置spark build.sbt文件？

In lại 作者：行者123 更新时间：2023-12-02 19:41:32 hai mươi bốn 4

name := "CommonLib"

version := "0.1"

scalaVersion := "2.12.5"

// addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.14.6")

// resolvers += "bintray-spark-packages" at "https://dl.bintray.com/spark-packages/maven/"
// resolvers += Resolver.sonatypeRepo("public")

libraryDependencies ++= Seq(
      "org.apache.spark" % "spark-core_2.10" % "1.6.0" exclude("org.apache.hadoop", "hadoop-yarn-server-web-proxy"),
      "org.apache.spark" % "spark-sql_2.10" % "1.6.0" exclude("org.apache.hadoop", "hadoop-yarn-server-web-proxy"),
      "org.apache.hadoop" % "hadoop-common" % "2.7.0" exclude("org.apache.hadoop", "hadoop-yarn-server-web-proxy"),
      // "org.apache.spark" % "spark-sql_2.10" % "1.6.0" exclude("org.apache.hadoop", "hadoop-yarn-server-web-proxy"),
      "org.apache.spark" % "spark-hive_2.10" % "1.6.0" exclude("org.apache.hadoop", "hadoop-yarn-server-web-proxy"),
      "org.apache.spark" % "spark-yarn_2.10" % "1.6.0" exclude("org.apache.hadoop", "hadoop-yarn-server-web-proxy"),
      "com.github.scopt" %% "scopt" % "3.7.0"
)

//addSbtPlugin("org.spark-packages" % "sbt-spark-package" % "0.2.6")

//libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.3.0"

//libraryDependencies ++= {
// val sparkVer = "2.1.0"
// Seq(
// "org.apache.spark" %% "spark-core" % sparkVer % "provided" withSources()
// )
//}

hai mươi bốn 4 0

• sbt - sbt.TaskKey 和 sbt.SettingKey 的 SBT 文档在哪里？

  我有兴趣弄清楚 sbt.TaskKey 或 sbt.SettingKey 的一些操作是做什么的 n + "-assembly-" + v + ".jar" } 此时你必须以某种方式知道 jarN

• sbt - SBT 中的多行注释

  是否可以在 SBT 中注释掉整个文本 block ，类似于 /* Java 样式 block 注释 */ 语法？我遇到了一些构建错误，只能使用多个单行注释。 我看到的构建错误是解析表达式时出错。确保设

• sbt - SBT 凭据配置应该放在哪里？

  我在 Windows 上运行 SBT 1.1.1。 如果我将以下行放在 build.sbt 中，我的构建就可以了: credentials += Credentials(Path.userHome /

• sbt - SBT 中的可选依赖项

  Maven 有 optional dependency概念。在 SBT 文档中搜索可选依赖项仅找到 "However, sometimes we have optional dependencies

• sbt - 如何在子项目中使用 sbt 原生打包器 (sbt 0.13)

  我有一个 sbt 项目，其中包含大量子项目和外部库依赖项。 build.sbt是这样的: val extlib1 = "xy.xxx" % "lib1" % "1.0+" val extlib2 =

• sbt - SBT 项目定义文件的弃用和功能警告

  在编译我的 SBT 项目定义(即 project 目录中的文件)时，我收到了弃用和功能警告。 SBT 版本是 0.13.0。 我没有通过设置 scalacOptions := Seq("-featur

• sbt - sbt 库依赖顺序依赖吗？

  根据经验， build.sbt 中声明的库依赖项的顺序似乎很重要。这是真的？如果是这样，值得在 sbt library management 中简要提及。文档的部分。 最佳答案 是的，列出的顺序是用于

• sbt - SBT 中的控制台输入不回显到屏幕上

  我希望我遗漏了一些东西，因为当程序在 sbt 中运行时，按键似乎不会回显到屏幕上。 下面是一个例子: object ConsoleTest extends App { println("Enter

• sbt - .sbt 文件之间的优先级是什么？

  [SBT 文档] 说 Put settings in a .sbt file in a project that isn't checked into version control, such as

• sbt - 仅在安装启动器后立即离线运行 sbt？

  这个问题在这里已经有了答案: How to use sbt from behind proxy? (16 个回答) 7年前关闭。 我试图在防火墙后面运行 sbt，但我无法禁用它。但不知何故，我可以获得

• sbt - sbt-pack 和 sbt-assembly 之间的主要区别是什么？

  我刚刚偶然发现了 sbt-pack插入。开发流好像steady .这让我感到惊讶，因为我认为(引用 sbt-pack 的标题)唯一的插件是“创建可分发的 Scala 包”。是 sbt-assembly

• sbt - 如何从代理后面使用 sbt？

  如何配置 sbt 以使用代理？ 例如，我的构建定义需要连接到 GitHub，指定 http.proxy、http.proxyPort、user 的连接参数，和密码。 我如何将这些设置传递给 sbt？

• sbt - 追踪关于 plugins.sbt 的 sbt 驱逐

  我似乎无法找到下面看到的第一次驱逐的根本原因。如下所示，运行 evicted 不会提供与其相关的详细信息。 这一切都是在添加到 project/plugins.sbt 之后发生的:libraryDep

• sbt - sbt-idea 与 sbt 0.11 的正确设置是什么？

  我正在用 sbt 0.11.2 创建一个 Scala 项目和 sbt-idea，我得到了 UNRESOLVED DEPENDENCIES在 gen-idea任务。 我刚刚安装了 sbt(下载了 jar

• sbt - 为什么构建失败并显示 sbt.ResolveException : unresolved dependency: com. typesafe.sbt#sbt-pgp;0.8.2 : not found?

  对于使用 sbt 0.13.5 成功构建的项目(尝试升级到 0.13.6，仍然无法正常工作)，我们在构建服务器上突然出现故障(typesafe 和 maven 存储库通过我们的内部 Nexus 存储库

• sbt - 为什么 sbt updateClassifier 无法下载 org.scala-sbt#precompiled？

  在 unix shell 中试试这个: git clone git@github.com:jsuereth/sbt-in-action-examples.git cd sbt-in-action-ex

• scala - 何时使用 "sbt assembly"和 "sbt compile && sbt package"？

  我想知道什么时候应该使用sbt assembly，什么时候应该使用sbt compile && sbt package？ 我正在使用 Intellij IDEA 在我的本地计算机上编写一个程序，并使用

• sbt - 使用 sbt-aether-deploy 和 sbt-native-packager

  有没有人使用 sbt-aether-deploy 将 sbt-native-packager 生成的工件(在我的例子中是 tgz)发布到 nexus 仓库？ (我需要这个用于带时间戳的快照，特别是 n

• sbt - 为什么 sbt 会抛出 "value enablePlugins is not a member of sbt.Project"异常？

  我正在尝试在使用 SBT 版本 0.13.5 的项目中启用自定义 AutoPlugin。当我尝试在我的 build.sbt 中启用插件时通过: val aProject = project.in(fi

• sbt - IOException : Cannot run program "javac" when "sudo ./sbt/sbt compile" in Spark?

  我正在安装Apache Spark它使用自己的 SBT 副本来进行设置。 我在 VirtualBox 虚拟机中使用 Linux Mint。 以下是我从 Spark 目录 spark-0.9.0-inc