有關 PySpark 的那些事


環境設定

  • JAVA_HOME: 設定 JAVA 的路徑
  • SPARK_HOME: 設定 SPARK 的路徑
  • PYSPARK_DRIVER_PYTHON: 設定 Driver 的 python 路徑
  • PYSPARK_PYTHON=python3: 設定 Driver 的 python 版本
    • 遇到的 Error: Exception: Python in worker has different version 3.4 than that in driver 2.7, PySpark cannot run with different minor versions
  • HOSTIP: 如果是用 cluster mode 的話需要設定。

Hadoop

  • 如果是使用 Hadoop 作為檔案系統的話,處理檔案可能需要 hadoop client。






你可能感興趣的文章

何謂演算法技術面試?讀《Cracking the Coding Interview(提升程式設計師的面試力)》

何謂演算法技術面試?讀《Cracking the Coding Interview(提升程式設計師的面試力)》

如何在終端機下使用 conda 指令管理虛擬環境

如何在終端機下使用 conda 指令管理虛擬環境

切版~以為簡單的地方卻要考慮許多細節

切版~以為簡單的地方卻要考慮許多細節






留言討論