問題描述
Apache Spark：指向父 RDD 的引用指針 (Apache Spark: Reference pointer to the parent RDD)
我了解 SPARK 會維護 RDD 的沿襲信息。假設我有一個 RDD “a”，並對其進行了一些轉換，我生成了一個新的 RDD “b”。在這種情況下，“a”是“b”的父 RDD。是否可以通過引用父指針從RDD“b”取回RDD“a”？
謝謝！
參考解法
方法 1:
It depends what is the real question:
- yes ‑ If you extend RDD for example. It is necessary for most of the implementations of
computemethod. - no ‑ dependencies are not publicly accessible so you cannot get parents from an instance of RDD.
(by Yassir S、user6022341)