防止 Spark Shell 中結構化流的進度輸出 (Prevent progress output from Structured Streaming in Spark Shell)

問題描述

防止 Spark Shell 中結構化流的進度輸出 (Prevent progress output from Structured Streaming in Spark Shell)

我目前正在 Scala Spark Shell 中嘗試結構化流。我的問題是，它會不斷寫入我無法隱藏的進度消息。類似的東西：

[Stage 5:==================================================>    (182 + 2) / 200]

我可以在控制台中編寫命令並訪問流，但這些消息總是會覆蓋我當前正在編寫的行。有沒有辦法在 shell 中禁用進度輸出？

作為參考，這就是我在 shell 中定義和啟動流的方式：

val streaming = spark.readStream.schema(dataSchema).option("maxFilesPerTrigger", 1).json("/user/mwilhelm/data/activity‑data/")
val activityCounts = streaming.groupBy("gt").count()
val activityQuery = activityCounts.writeStream.queryName("activity_counts").format("memory").outputMode("complete").start()

參考解法

方法 1:

Launching spark shell with following configuration will stop displaying progress indicator in console ‑

./bin/spark‑shell ‑‑conf spark.ui.showConsoleProgress=false

(by Markus Wilhelm、Ajay Srivastava)

參考文件

1. Prevent progress output from Structured Streaming in Spark Shell (CC BY‑SA 2.5/3.0/4.0)