Skip to content

Commit 462b7e1

Browse files
authored
[hotfix] yarn-application mode bug fixed. (apache#779)
1 parent 8dcd22c commit 462b7e1

File tree

4 files changed

+13
-19
lines changed

4 files changed

+13
-19
lines changed

README.md

+1-3
Original file line numberDiff line numberDiff line change
@@ -117,9 +117,7 @@ Our ultimate goal is to build a one-stop big data solution integrating stream pr
117117
* ...
118118

119119
Thanks to the above excellent open source projects and many outstanding open source projects that are not mentioned, for giving the greatest
120-
respect, special thanks to [Apache Zeppelin](http://zeppelin.apache.org)
121-
, [IntelliJ IDEA](https://www.jetbrains.com/idea/), Thanks to the [fire-spark](https://github.com/GuoNingNing/fire-spark) project for the
122-
early inspiration and help.
120+
respect,Thanks to [Apache Flink](http://flink.apache.org) for creating a great project! Thanks to the [Apache Zeppelin](http://zeppelin.apache.org) project for the early inspiration.
123121

124122
### 🚀 Quick Start
125123

README_CN.md

+4-8
Original file line numberDiff line numberDiff line change
@@ -37,11 +37,9 @@ Make stream processing easier
3737
3838
## 🚀 什么是StreamX
3939

40-
    大数据技术如今发展的如火如荼,已经呈现百花齐放欣欣向荣的景象,实时处理流域 `Apache Spark``Apache Flink`
41-
更是一个伟大的进步,尤其是 `Apache Flink` 被普遍认为是下一代大数据流计算引擎, 我们在使用 `Flink` 时发现从编程模型, 启动配置到运维管理都有很多可以抽象共用的地方, 我们将一些好的经验固化下来并结合业内的最佳实践, 通过不断努力终于诞生了今天的框架
42-
—— `StreamX`, 项目的初衷是 —— 让 `Flink` 开发更简单, 使用 `StreamX` 开发,可以极大降低学习成本和开发门槛, 让开发者只用关心最核心的业务, `StreamX`
43-
规范了项目的配置,鼓励函数式编程,定义了最佳的编程方式,提供了一系列开箱即用的 `Connectors` ,标准化了配置、开发、测试、部署、监控、运维的整个过程, 提供 `Scala``Java` 两套api,
44-
其最终目的是打造一个一站式大数据平台,流批一体,湖仓一体的解决方案
40+
实时即未来, 在实时处理流域 `Apache Spark``Apache Flink` 是一个伟大的进步,尤其是 `Apache Flink` 被普遍认为是下一代大数据流计算引擎, 我们在使用 `Flink` & `Spark` 时发现从编程模型, 参数配置到项目部署, 运维管理都有很多可以抽象共用的地方,
41+
我们将一些好的经验固化下来并结合业内的最佳实践, 通过不断努力终于诞生了今天的框架 —— `StreamX`, 项目的初衷是 —— 让流处理更简单, 使用 `StreamX` 开发, 可以极大降低学习成本和开发门槛, 让开发者只用关心最核心的业务, `StreamX` 规范了项目的配置,
42+
鼓励函数式编程, 定义了最佳的编程方式, 提供了一系列开箱即用的 `Connectors`, 标准化了配置、开发、测试、部署、监控、运维的整个过程, 提供了 Scala/Java 两套 api, 其最终目的是打造一个一站式大数据平台, 流批一体,湖仓一体的解决方案
4543

4644
[![StreamX video](https://user-images.githubusercontent.com/13284744/142747056-d220d69b-7f2a-447d-aeca-bc5435c8e29b.png)](http://assets.streamxhub.com/streamx-video.mp4)
4745

@@ -111,9 +109,7 @@ Make stream processing easier
111109
* [Monaco Editor](https://microsoft.github.io/monaco-editor/)
112110
* ...
113111

114-
感谢以上优秀的开源项目和很多未提到的优秀开源项目,致以最崇高的敬意,特别感谢[Apache Zeppelin](http://zeppelin.apache.org)
115-
[IntelliJ IDEA](https://www.jetbrains.com/idea/)
116-
感谢 [fire-spark](https://github.com/GuoNingNing/fire-spark) 项目,早期给予的灵感和帮助, 感谢我老婆在项目开发时给予的支持,悉心照顾我的生活和日常,给予我足够的时间开发这个项目
112+
感谢以上优秀的开源项目和很多未提到的优秀开源项目,致以最崇高的敬意,感谢 [Apache Flink](http://flink.apache.org) 创造了一个了不起的项目! 感谢 [Apache Zeppelin](http://zeppelin.apache.org) 早期给予的灵感,感谢我老婆在项目开发时给予的支持,悉心照顾我的生活和日常,给予我足够的时间开发这个项目!
117113

118114
### 🚀 快速上手
119115

streamx-console/streamx-console-service/src/main/java/com/streamxhub/streamx/console/core/controller/ApplicationBuildPipelineController.java

+1-1
Original file line numberDiff line numberDiff line change
@@ -74,7 +74,7 @@ public RestResponse buildApplication(Long appId, boolean forceBuild) {
7474
return RestResponse.create().data(false);
7575
}
7676
Application app = applicationService.getById(appId);
77-
// 检查是否需要走build这一步流程(如:jar和pom发送变化了则需要走build流程,其他普通参数修改了,不需要走build流程)
77+
// 检查是否需要走build这一步流程(jar和pom发生变化了则需要走build流程, 其他普通参数修改了,不需要走build流程)
7878
boolean needBuild = applicationService.checkBuildAndUpdate(app);
7979
if (!needBuild) {
8080
return RestResponse.create().data(true);

streamx-console/streamx-console-service/src/main/java/com/streamxhub/streamx/console/core/service/impl/ApplBuildPipeServiceImpl.java

+7-7
Original file line numberDiff line numberDiff line change
@@ -184,8 +184,7 @@ public void onStart(PipeSnapshot snapshot) throws Exception {
184184
FsOperator fsOperator = app.getFsOperator();
185185
fsOperator.delete(appHome);
186186
if (app.isUploadJob()) {
187-
File temp = WebUtils.getAppTempDir();
188-
File localJar = new File(temp, app.getJar());
187+
File localJar = new File(WebUtils.getAppTempDir(), app.getJar());
189188
// upload jar copy to appHome
190189
String uploadJar = appUploads.concat("/").concat(app.getJar());
191190
checkOrElseUploadJar(app.getFsOperator(), localJar, uploadJar, appUploads);
@@ -196,12 +195,13 @@ public void onStart(PipeSnapshot snapshot) throws Exception {
196195
}
197196
} else {
198197
if (!app.getDependencyObject().getJar().isEmpty()) {
199-
//copy jar to upload dir
198+
//copy jar to local upload dir
200199
for (String jar : app.getDependencyObject().getJar()) {
201-
File jarFile = new File(WebUtils.getAppTempDir(), jar);
202-
assert jarFile.exists();
203-
String uploadJar = appUploads.concat("/").concat(jar);
204-
checkOrElseUploadJar(FsOperator.lfs(), jarFile, uploadJar, appUploads);
200+
File localJar = new File(WebUtils.getAppTempDir(), jar);
201+
assert localJar.exists();
202+
String localUploads = Workspace.local().APP_UPLOADS();
203+
String uploadJar = localUploads.concat("/").concat(jar);
204+
checkOrElseUploadJar(FsOperator.lfs(), localJar, uploadJar, localUploads);
205205
}
206206
}
207207
}

0 commit comments

Comments
 (0)