一.JDK1.8安裝

從Apache官網(wǎng)上下載JDK1.8.x安裝包：

安裝過程中指定具體的安裝路徑，盡量不使用默認(rèn)路徑！

配置系統(tǒng)參數(shù)：

編輯Path，添加JAVA配置：

二.安裝Scala編程語言

配置Scala系統(tǒng)參數(shù)：

三.安裝IDEA

安裝成功后先設(shè)置外觀樣式，然后選擇打開項目，效果如下：

指定初始化plugins scala版本：

有外網(wǎng)下載和安裝本地插件兩種模式：

有外網(wǎng)可以聯(lián)網(wǎng)下載：

沒有外網(wǎng)可以安裝本地初始化scala插件：

打開代碼可以發(fā)現(xiàn)需要重新設(shè)置JDK和Scala:

指定JDK和Scala：

四.設(shè)置開發(fā)樣式

可以看出字體是比較小的，點擊File --> Settings：

編輯Editor下font創(chuàng)建一個新語言模板：

可以設(shè)置字體、字號和行間距，下面會實時顯示效果：

實際效果如下：

五.Demo案例

代碼：

import org.apache.spark.sql.SparkSession

/**
  * Created by Administrator on 2020/11/19.
  */
object Test {
  def main(args: Array[String]) {
    val spark = SparkSession.builder().AppName("wordCount")
      .master("local[2]")
      .getOrCreate()
    // 加載數(shù)據(jù)
    val textRDD = spark.sparkContext.textFile("D:/wordcount.txt")
    val result = textRDD.map(row => row.replace(",", ""))//去除文字中的,防止出現(xiàn)歧義
      .flatMap(row => row.split(" "))//把字符串轉(zhuǎn)換為字符集合
      .map(row => (row, 1))//把每個字符串轉(zhuǎn)換為map，便于計數(shù)
      .reduceByKey(_+_)//計數(shù)
      .filter(_._2 > 2) // 根據(jù)出現(xiàn)次數(shù)過濾
    // 打印結(jié)果
    result.foreach(println)
  }
}

執(zhí)行結(jié)果：

備注：

需要導(dǎo)入Spark開發(fā)所需要的包，可以使用Maven或本地導(dǎo)入：