【第16期】Apache DolphinScheduler 每周 FAQ 集锦
摘要
为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答，社区特发起此次【每周 FAQ】栏目，希望可以解决大家的实际问题。
关于本栏目的要点：
本栏目每周将通过腾讯文档（每周更新）从社区微信群收集 10-30 个问答，并在每周五整理具有典型代表意义的问答后发布，供大家参考。
所有人均可登录文档并提出问题，每人限 2 个提问，提问范围包括：
关于 Apache DolphinScheduler 的使用问题和技术性问题；
在实际应用中遇到的瓶颈问题；
参与社区贡献遇到的困难；
关于社区发展的疑问。
资源有限，请勿提问项目无关问题。
【每周FAQ】是一个社区互助的项目，发起宗旨是鼓励社区成员相互帮助，因此，欢迎大家积极踊跃志愿回答提出的疑问，在腾讯文档中写下答案即可。（高手们都别“潜水”了，出来露一手）
在社群里已经提问的问题，请勿在文档中重复提问，节约资源。
本栏目招募志愿者，有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。
7月22日-7月28日
问
DolphinScheduler 3.1.4 中使用S3对象存储，每起一个新任务实例都需要下载引用的资源，可能会存在瓶颈，是否需要引入缓存机制？
答
对于一个离线调度平台的并发量，应该不至于把 s3 干出瓶颈。
问
DolphinScheduler 3.1.4 宕机或停服一段时间，还不支持自动补数，是否需要引入自动补数功能？
答
如果你工作流有定时，定时开始结束时间是正确的，且工作流和定时都上线了，那重启服务后会自动触发工作流运行，如果没有请检查上述配置。
问
DolphinScheduler 3.1.4 工作流补数手动输入日期执行无序，是否需要优化为按时间顺序执行？
答
可以的，补数有并行和串行。
问
[3.0.4] 文档说在使用 sub_process 调用子结点任务的时候，需要保证定义的子结点为上线状态，否则 sub_process 的工作流无法正常运行。可是在3.0.4版本中，sub_process的子节点为下线状态，最终也被运行了。这个合理吗？
答
应该是合理的，外部触发一个工作流。
问
dolphinscheduler 2.0.9 配置好工作流定义后,点击运行，能不能按照指定日期,并且将指定日期作为参数传给定时任务呢?
答
可以使用补数功能实现，时间参数参考这里，这里的时间都是业务时间 https://dolphinscheduler.apache.org/en-us/docs/2.0.9/guide/parameter/built-in。
问
docker镜像构建部署的时候，构建到api-server的时候，提示multiple platforms feature is currently not supported for docker driver. Please switch to a different driver (eg. "docker buildx create --use")。docker版本是Docker version 23.0.4, build f480fb1。
答
buildx是多镜像需求，需要安装buildx https://docs.docker.com/engine/refer
ence/commandline/buildx/ 。
问
DolphinScheduler 3.1.4, 工作流拖节点会重合, 是否应该考虑不允许重合? 不然盖住了有时候找不到节点了。
答
每次修改前后可以使用formatter 按钮解决这个问题。
问
DolphinScheduler 3.0.1每次重启worker时都会报worker-server/conf/dolphinscheduler_env.sh权限限制，每次需手动chmod 777才可以，这是为什么？
答
升级到最新的 3.0.x 版本可以解决。
问
能否在定义工作流的地方新增一个试运行的功能，方便调试组件？
答
如果只是工作流，可以保存后直接运行工作流。另外WhaleScheduler商业版本已经支持了task的re-run 功能。
问
3.2.0 有具体的上线时间吗？
答
可能8月份。
问
【3.1.7】单机部署，停止DolphinScheduler服务，重启后提示zookeeper 服务超时，关闭防火墙后开放2181端口失败，请问该怎么重启zookeeper服务（未安装zookeeper，早期一键安装的DolphinScheduler）？
答
Standalone 的zk应该是其他服务一起启动和停止的，请确定 application.yaml 中 registry 配置是否正确，一般这类解决方案就是重启服务，重新安装服务等。
问
DolphinScheduler ?3.1.5, 使用minio做文件管理，spark任务读取不到配置文件，sql任务读取不到udf文件，请问是不是一定要用hdfs做文件管理，如果是的话，是不是一个DolphinScheduler服务只能使用一个hdfs集群了？
答
不是的，hdfs、s3、minio都行，请确定task 引用资源的时候为什么下载不了。
问
DolphinScheduler 3.17版本生产集群部署，可以不依赖zookeeper么？请问这个物理机部署应该怎么修改配置文件？
答
我们注册中心除了zk，还有jdbc比如mysql，可以尝试一下。修改 application.yaml 的 registry 节点。
问
DolphinScheduler 可以提供直接支持用户提交k8s yaml文件的方式调度k8s任务吗？
答
目前还不可以。
问
[3.1.5] sql任务hive数据源，使用udf的时候会报错"ParseException line 1:18 missing KW_VIEW at 'temporary' near 'replace' in table name"，请问这个和hive版本有关么？
答
目前使用的udf sql方式是create or replace temporary function as ，可以看看日志，将日志中的sql复制在hive cli 单独运行看看是否有问题。
问
[3.0.4] 请问什么情况下sub_process一直在执行，但是其子节点的task没有一个被执行？整个流程一直卡在subProcess这个位置。
答
看看master日志是否有异常。
问
[3.0.4] 请问，master和worker都没有down或者crush，为什么会进行process的failover操作？
答
Master有个轮询线程做兜底，名称 failoverThread，看看是否是这个触发的。
参与 DolphinScheduler 社区有非常多的参与贡献的方式，包括：
贡献第一个PR(文档、代码)?我们也希望是简单的，第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。
社区汇总了以下适合新手的问题列表：https://github.com/apache/dolphinscheduler/issues/5689
非新手问题列表：https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22
如何参与贡献链接：https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html
来吧，DolphinScheduler开源社区需要您的参与，为中国开源崛起添砖加瓦吧，哪怕只是小小的一块瓦，汇聚起来的力量也是巨大的。
参与开源可以近距离与各路高手切磋，迅速提升自己的技能，如果您想参与贡献，我们有个贡献者种子孵化群，可以添加社区小助手微信(Leonard-ds) ，手把手教会您( 贡献者不分水平高低，有问必答，关键是有一颗愿意贡献的心 )。
添加社区小助手微信(Leonard-ds，好友申请注明“入交流群+姓名+公司+职位信息“，群里是实名制，仅用于验证身份)
添加小助手微信时请说明想参与贡献。
来吧，开源社区非常期待您的参与。
- 发表于:
- 原文链接：https://page.om.qq.com/page/OcZ5kTW92iNnk0pcXZSyeB5Q0
- 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号（企鹅号）传播渠道之一，根据《腾讯内容开放平台服务协议》转载发布内容。
- 如有侵权，请联系 cloudcommunity@tencent.com 删除。
相关快讯
扫码
添加站长 进交流群
领取专属 10元无门槛券
私享最新 技术干货
腾讯云开发者
