ExecuteSparkInteractive
描述:
通过Livy管理的HTTP会话上执行Spark代码,支持缓存的RDD共享。
标签:
spark, livy, http, execute
参数:
如下列表中,必填参数则标识为加粗. 其他未加粗参数,则表示为可选参数。表中同时提到参数默认值设置, 并且 参数还支持 表达式语言.
名字 | 默认值 | 允许值列表 | 描述 |
---|---|---|---|
Livy服务 | 控制器服务API: LivySessionService 实现: LivySessionController | 指定Livy管理的H会话服务 | |
代码 | 指定会话中执行的代码。可设置为空,或 常量值, 或属性表达式。如果设置,不管输入数据流的内容如何,都将使用该设置。 如果为空,则将使用输入数据流的内容作为代码执行。注意,输入数据流的内容不支持表达式 支持表达式语言 (支持流属性和变量) | ||
字符编码 | UTF-8 | 指定输入数据流内容的字符集编码 支持表达式语言 (支持流属性和变量) | |
状态检查时间 | 1 sec | 检查操作状态之间的等待时间。 支持表达式语言 (支持流属性和变量) |
连线:
名字 | 描述 |
---|---|
success | 成功执行后的数据流输出到此成功连线 |
wait | 等待可用Spark会话的数据流将路由到此连线 |
failure | 无法解析数据流时将路由到此连线 |
读取属性:
未提供。
写入属性:
未提供。
状态管理:
该组件不保存状态。
限制:
该组件没有限制
输入流要求:
组件必须提供输入流。
系统资源考量:
未提供。