Apache DolphinScheduler 3.2.2 版本正式发布!

Apache DolphinScheduler 3.2.2 版本正式发布!
最近,该工具推出了ApacheDolphinScheduler的新版本。该版本主要以旧版为基础进行更新,实现了bug的修复,新增了一些重要功能,并对系统运行效率做出了提升的同时对相关文档也进行了完善性更新。
📥3.2.2版本下载:https://dolphinscheduler.apache.org/zh-cn/download/3.2.2
⚙️Release Note:https://github.com/apache/dolphinscheduler/releases/tag/3.2.2
主要更新
增加参数类型
为了更好地提升用户体验
作业数量统计
通过强化Master&Worker系统的高负载状态监测功能,进一步提升对alert-server服务的状态感知能力,并优化界面显示效果以增强用户对核心服务运行状态的直观认知。同时构建专门用于展示启动指令及其结果的工作流界面,并提供相应的失败指令执行情况概览视图。
其他重要问题修复
优化了远程终端文档。
提供了操作指南以帮助完成远程终端配置。
优化了项目偏好设置的交互体验。
将Java任务依赖环境替换为jdk。
支持完整的文件路径验证。
生成操作日志记录以供查询。
提高告警服务启动时资源的使用效率。
通过冗余机制确保系统在参数缺失时仍能正常运行。
纠正分页查询结果中的总页数错误。
解决异常任务终止后的调度混乱问题。
纠正普通用户的权限配置错误。
通过资源限制解决由于任务组异常导致内存溢出的问题。
提高Switch节点判断分支存在的准确性。
新增Feature
- [DSIP-39][参数] 优化启动相关参数的类型设置 ( #15967 )@sdhzwc
- [监控][Improvement] 监控 Master 与 Worker 的工作状态并展示命令列表 ( #15978 )@qingwli
- 提供 ETCD 和 JDBC 注册指引链接 ( #15597 )@pegasas
Improvement
将Schema 330整合至321,并更新相关文档( #15582:https://github.com/apache/dolphinscheduler/pull/15582 , #15586:https://github.com/apache/dolphinscheduler/pull/15586 ,@zhongjiajie)
在该API中新增一个关于PageInfo URL的引用
[Improvement-15603][API] 在删除或修改工作流的过程中( #15681 ) ,系统将评估是否存在任何依赖的任务(@calvinjiang)。
在保存任务表单后,在线编辑器中对应的任务节点显示为错误的背景颜色。( #15695 )@calvinjiang
[Improvement-15707][Master] 修复因任务依赖导致的工作流异常运行问题(# Dolphinscheduler Issue #15712)
改进-15723
[Improvement-15725][UI] 项目偏好设置中的预设值能够被删除。( #15727 )@calvinjiang
在合并操作之前,请将此Pull Request提交至前端,在合并操作之前,请将此Pull Request提交至前端,并确保其已由GitHub Actions自动验证通过并已由GitHub Actions自动验证通过
[Improvement][RemoteLogging] 放置 init 到 loghandler 中( #15780 )@pegasas
[Improvement] 添加资源全路径检查 ( #15786 )@caishunfeng
[Improvement-15744][parameter] 项目参数增添更新时间及更新用户id ( #15745 )@sdhzwc
从dolphinscheduler-task-dataquality模块中移除或删除dolphinscheduler-data-quality相关代码( #15791 )@ruanwenjun
[Improvement-15713][api]DataSource 和 UdfFunc 列表查询使用枚举代码值而不是ordinal ( #15714 )@songwenyong
[Improvement] 修复 ProcessServiceImpl 的拼写错误 ( #15817 )@qingwli
[Improvement][Api] 移除冗余的 batchUpdateUdfFunc 这个方法( #15844 )[@qingwli]
[Fix-15866][Doc] 将taobao的npm源发布为可用源 ( #15867 )@xxzuo
引入 DSIP 模板(#15871)@ruanwenjun
建议避免对类路径下的所有目录进行全扫描( #15874 )@ruanwenjun
[DSIP-31] 优化 hikari 的连接池大小 ( #15890 )@ruanwenjun
[Improvement] 消除异常信息异味 ( #15892 )[@qingwli]
通过应用 workerNodeInfoWriteLock 更新作业节点信息 ( #15903 )@DaqianLiao
[Improvement-15919][datasource] Improvement的数据来源获取名称 ( #15920 )@sdhzwc
[Improvement-15910][UI] 在采用并行执行模式的情况下,应当在用户自定义的并行度上设置默认值。( #15912 )@calvinjiang
提升RPC基类的范畴(其中包含#15946和@ruanwenjun两个部分)
[DSIP-35][Alert] 优化告警机制模型 ( #15932 )@ruanwenjun
Enhancement: 对于pytorch项目的git URL注入漏洞进行修复(参考GitHub Issues #15873 和Pull Request #15950)[@cntigers
新增注册模块的整体集成测试方案 ( #15981 )@ruanwenjun
该GitHub项目中采用了包含snakeyaml的安全构建函数( #15758 )@EricGao888
[Improvement][监控] 为监控器添加 UT ( #15998 )@qingwli
retired version 2.0.9/3.0.6 version upgrade test ( #16012 ) @ruanwenjun
[Improvement][Doc]修正 appendix.md 中文文档中的错别字 ( #16033 )@TianXinCoord
通过 [Improvement][Helm] 工具生成并设置为 api/master/worker.alert 路径下的 configmap 配置项 ( #16058 )@pegasas
[Improvement-16125][dolphinscheduler-dist] 优化二进制分发流程以缩减 tarballs 的体积 ( #16192 )@zhuxt2015
Bugfix
修复恢复处于暂停状态的工作流实例可能会导致生成故障转移任务实例的问题(#15611)@ruanwenjun
[FIX] 纠正审计日志 parma 拼写错误 ( #16077 )[@qingwli]
解决out参数可能导致数据丢失的问题 ( #15617 )@ruanwenjun
[Bug][API] 列表页面未包含总页数 ( #15619 )@Gallardot
解决Hive JDBC URL的问题( #15627 )@xxzuo
[Bug][dolphinscheduler-task-seatunnel] 关于脚本资源文件路径设置的问题 (#15621)@cqutwangyu
[Bug] 解决能够对位于资源目录之外的文件进行修改的问题 ( #15652 )@ruanwenjun
Bug
[Bug] [Worker] 解决:创建包含以主目录为根的文件夹结构的 Linux 用户 ( #15670 )@zero-element
fix #15639 master branch: parameter passing is empty, causing NPE (#15678 @liuchunhua)
[Fix-15679][UI] 源代码已解决开关状态按钮显示异常问题 ( #15686 )@liuchunhua
Fix
该插件已用于解决readme.md中的拼写错误问题( #15716 )@ZhongJinHacker
解决启动参数影响全局设置的问题时出现了 NPE 问题 ( #15677 )@wustlz
[CI] 解决 UI 构建问题 ( #15732 )@SbloodyS
[Fix-15698][UI] 当启动新标签页时将定义进行关闭操作 ( #15736 )@arlendp
解决了前端ci不再触发的问题 (#15749) [@SbloodyS]
[问题] 在特定工作流版本中存在未完成的工作流实例时,请阻止对该版本进行删除操作(#15730)@ruanwenjun
Issue
Bug
Fix
[Fix Issue 15771] 解决了普通用户被赋予项目权限的问题 ( #15772 )@silentxingtian
[bug][ui] 新增一个缺失的数据源并相应地更新其数据源 ID ( #15776 )@whhe
该GitHub Issues [#15773] 已经被修正,请注意更新版本以获得改进功能。@ruanwenjun
Bug 优化依赖任务流程 ( #15795 )[@abzymeinsjtu]
Fix the spelling errors in the common.properties file ( #15806 ) @pegasas
我们解决了无法生成 StreamingTaskTriggerResponse 实例的问题( #15816 )@atjiucheng
[Improvement] 异常字符检查 ( #15824 )@pinkfloyds
改进措施中将 python-gateway: enabled 的默认值设定为 false,并已提交至 #15825 供审阅,请关注 @pinkfloyds 的动态
改进措施中将 python-gateway: enabled 的默认值设定为 false,并已提交至 #15825 供审阅,请关注 @pinkfloyds 的动态
Fix-15787
解决该ErrorCommand中缺少该命令中的某些字段信息 ( #15847 )@ruanwenjun
注册 processId 用于生成 CodeGenerator( #15848)@ruanwenjun
禁止强制成功当前工作流中运行的任务作业实例 15855,由[@ruanwenjun] 提供。
Bug
该命令指定 SSH 心跳类型为 IGNORE(#15858)@ruanwenjun
][BUG-RESOLVED] 修复了无法恢复已停机实例的问题(如 #15880 所示)@privking
修复 queryByTypeAndJobId 可能因处理多个结果而导致错误出现的问题 ( #15883 )@ruanwenjun
解决了终止动态任务导致工作流实例长时间未结束的问题 ( #15896 )@ruanwenjun
解决自动化同时启动 Tennat 导致的任务失败问题 ( #15909 )@ruanwenjun
解决Java作业流程中jar路径配置错误的问题 ( #15906 )@ruanwenjun
此问题已解决。此消息表示已完成的任务仍无法在工作流实例中被重新执行(#15884)@privking
[Fix-15937] 增加了 tenantCode 的扩散至 DynamicCommandUtils.createCommand 中,并引用了 #15956 (@stoplyy)
fix-15907
Issue #15969: 该问题未涉及 Helm 库中的数据库节点 (#15970)[@Gallardot]...
EMR 任务允许替代参数占位符 ( #15975 )@ruanwenjun
请协助我们解决笔误问题( #15996 ) jb-ampon.
纠正 ci 中 pg 数据库架构变更的问题 ( #15995 )@ruanwenjun
[Fix-15992] 采用有序迭代 MasterPriorityQueue 用于维护 slot index( #15993)@coldestlin
纠正了因 varpool 内部重复键而导致的工作流实例无法正常重启的问题( #16001 )@ruanwenjun
其中用于注册的随机端口号为 #16014 处,并由 @ruanwenjun 提供。
解决当前并发操作引发的rpc channel 泄漏问题 ( #16021 )@ruanwenjun
工单任务执行器线程池#isOverload不正确的 bug( #16027)由 @ruanwenjun 提供
[Fix][CI] 修复 E2E-K8S-Execute 的 ci 错误 ( #16031 )@rickchengx
[Hotfix] 解决 NettyRemotingClient 可能导致的 IllegalMonitorStateException 问题 ( #16038 )@ruanwenjun
[Fix-16046][SqlTask] 解决 Sql 任务的时间类型设置存在错误问题,并已提交 (# 16050) 的修复方案,请关注由 yinxiaolog 提供的提交记录。
[helm] 移除AppVersion ( #16066 )@Gallardot
修复了‘[优化] 异常字符检测’功能(#16102)由[@ruanwenjun]提出的pull request
该系统已成功解决处于dispatch状态的任务实例无法执行故障转移操作的问题( #16107 )[@ruanwenjun]
优化跨场景切换任务下的任务节点设置以防止其不会被跳转或忽略( #16108 )@ruanwenjun
此为因修复条件任务可能导致工作流实例失效的问题
[Fix-16063] 解决升级至 v3.2.1 后出现的管理员登录租户未指定问题 ( #16064 )[@tinglink]
[Fix-16174] 该集群安装指南存在错误(参考 pull request #16208,其中包含详细的改进方案和讨论 @SbloodyS)
解决 worker 超载所导致的任务失败问题( #16221)由 ruanwenjun 完成。
[Fix-16211] 移除 buildJarCommand 中的 ExecutePath 将用于修复 Jar 模式的 Java 任务(#16238)@lanxing2
[Fix-16253] 解决 JDBCRegistry 中的锁冲突问题 (#16252)([@ruanwenjun])
版本号为Fix-16272的警报服务器触发警报机制异常发生 ( #16275 )@wangbowen1024
[CP-16252] 解决 JDBCRegistry 刷新锁定问题 ( #16252 ) ( #16273 )@ruanwenjun
[Fix #16191] 因工作流配置不当导致的环境无法使用的bug已修复( #16199 )由@ruanwenjun 提供
该工件将旧库jre更换为新库jdk,并已提交至GitHub开源项目dolphinscheduler中 (#15764),由Gallardot团队进行标注 [@Gallardot]
Document修复
For the master tag, implement a command retrieval strategy to add a command retrieval mechanism.
[Doc] CNCF官方认证标志已由第15634号提交解决。
[Doc][远程终端] 提供了未包含的更新版号 3.2.1 的远程终端说明文档 ( #15660 )@pegasas
[Doc] 优化 ci 文档审查功能以解决长时间等待处理的问题( #15664)@SbloodyS
[Doc] 解决配置文件中资源配置存在的拼写错误( #15988 )@dongyu6
文档:解决 contribute.md 文件中的问题( #16022 )@jxbwhe
Chore
提交至 pull request #15654 由 @zhongjiajie 提交
[HotFix] [CI] 暂时跳过该可合并检查 ( #15958 )@SbloodyS
Undelete the 3.2.2 version's incompatible changes ( #16214 )@SbloodyS
Chore
在项目中选择一部分pr进行提交至版本3.2.2( #16215 )@SbloodyS
Hotfix: Address DS/OS IP名称问题 (#15876) by @ruanwenjun (https://github.com/ruanwenjun)
致谢贡献者
感谢@wangxj3主导本次发版工作。指导工作由@Kerwin、@ruanwenjun以及@SbloodyS等多位专家提供。以下Contributor及其相关信息提供支持(排名不分先后):DaqianLiao、EricGao888、Gallardot、SbloodyS、TianXinCoord、ZhongJinHacker、Zzih96等众多成员对其贡献表示感谢;此外还包括abzymeinsjtu、arlendp等技术骨干的支持;还有atjiucheng、caishunfeng等核心团队成员的帮助;以及pegasas privking qingwli rickchengx ruanwenjun sdhzwc silentxingtian songwenyong stoppinglyy tinklink wangbowen1024 wustlz xinxingi xzuo yinxiaolog zhongjiage zhuxt2015等众多技术伙伴的支持。
本文由 白鲸开源科技 提供发布支持!
