[工具] 一种通用可扩展的模块化工作流文件批处理框架 最新

因为本垃圾网站上个月业已决定跑路，所以重构本站跑了四年的巨型增量石山工作流的事情就被提上日程。

因为这一巨石作为本站的核心业务，一旦动了就容易整段垮掉，于是也就这么凑合着过了，现在终于是有机会连载再开了。

所以，借着 DS V4 Pro 的夜间谷价神力，用我多年的构石经验搞了一个完全符合我的想象的文件批处理流水线。

毕生所学了家人们。

此项目也发布在 Github ：aiya-shell-works

然后我简单介绍一下项目，长这样：

不过 GUI 只是项目的一个外壳，核心设计是命令行实现的，具体的系统设计在仓库 README 已经详细说明，这里我只简单描述。

总之，程序的内核只是一个调度器，程序具体进行的操作全部由模块完成，可以对模块进行执行顺序编排，也可以设置模块的工作参数，全部保存为一个工作流文件，使用配置好的工作流执行批处理任务。

当前项目还处于早期阶段，不过内核的部分基本定型，当前我的设计已经完全覆盖我所需要的各种形态，也就是一般的自动请求、运行测试、文件加工、爬虫、下载这些任务，在此框架内均可实现。

整体项目实现并不复杂，我的设计采取的是类似 Github Action 的步骤式流程，而不是这些年比较火热的 RAG 模型工作流。

主要原因是这些年的龙虾以及龙虾类似物和 Dify 、n8n 甚至更早的 Comfy UI 之类的流程系统这些年已经够完善了，我这个水平很难复刻出来一个更好的，其次是我也没兴趣为了某个任务长期为大模型付费。

但是 AI 好啊， AI 得用，经过我好几天冥思苦想改进和总结设计，目前的内核逻辑已经非常直观且配有文档，后续在 codex 或者 opencode 里让 AI 生产新的模块就能增加系统功能，命令行形态也易于被龙虾之类的智能体调用，之后如果有此计划简单写个 MCP 就可以完成接入，至少对于我目标的几个场景来说，这样比让 AI 自己给自己写个 Skills 来执行任务，划算的多也稳定的多。

至于后面的工作就都比较简单了，主要是设计各种模块和各种针对于具体网站的爬虫模块，这些除了能够从我的旧石山里找有用的也可以直接把一些其他的专业项目集成进来用。

先未来一个可期。

嗨呀，谁说我 DS 大哥写代码水平差的，虽说我启动 opencode 之前整个项目实现就想好了得拆成七八步，写提示词逐条描述写了也得有大几千字，构建过程中也重开了两三遍，读代码给我读的脑壳疼，最后这不也是搓出来了嘛。

十天一共花了 50 块的 Token ，其他的 Claude / GPT / Gemini / GLM / Kimi / Qwen / MiniMax 做得到吗。（