AE 数据开发
通过 ae-cli 操作 AE 数据开发平台——数据仓库管理、流程编排、IDE SQL 查询、数据集成与同步，让数据工程从"手动网页操作"升级为"命令行全流程驱动"。
数据采集
数据工程全行业AE DataOps Skill 是 ThinkingAI 行业 Skill 库中的一项数据开发与运维能力，帮助数据工程团队通过 ae-cli 命令行工具操作 AE 数据开发平台——空间发现、数据表与视图管理、流程编排（创建/调度/发布/监控）、IDE SQL 查询、数据集成与同步，6 大模块覆盖数据开发全生命周期，从"手动在网页上逐个操作数据任务"升级为"命令行全流程驱动"的高效模式。这正是 ThinkingAI「10 年行业经验沉淀为开箱即用 Skill」的体现。
dws_pay_user_30d，每日只回刷新增付费明细flow_pay_user_30d，CRON 配 0 0 2 * * ?（每日 02:00）治理完成，根因比预想的集中。「过去 30 天付费用户」这段 CTE 被 13 张报表各算各的，现已沉淀为中间表 dws_pay_user_30d、挂上每日任务流——已改写的报表查询从 2–4 分钟降到 5–8 秒，标签计算切换后预计从 4 小时回到 15 分钟以内。
一、任务流状态
| 任务流 | 调度 | 最近执行 | 耗时 | 状态 |
|---|---|---|---|---|
| flow_pay_user_30d（本次新建） | 每日 02:00（0 0 2 * * ?） | 今日 14:32 手动首跑 | 4 分 12 秒 | 已上线 PROD |
| flow_user_tag（标签计算） | 每日 03:00 | 今日 03:00 | 4 小时 02 分 | 已改写引用，明日生效 |
| flow_mysql_sync（数据同步） | 每日 01:00 | 今日 01:00 | 11 分 40 秒 | 正常 |
| flow_report_ads（报表加工） | 每日 05:00 | 今日 05:00 | 26 分 18 秒 | 已改写引用，明日生效 |
二、本次治理动作
0 0 2 * * ?，预览发布到 PROD，首跑 4 分 12 秒成功行业痛点
数据开发是数据体系的基础工程，但超过 60% 的数据工程团队在开发效率上存在瓶颈：创建一个数据流程需要手动配置 SQL 任务节点、依赖关系、调度规则和 CRON 表达式，平均耗时 30 分钟；流程执行后的运维更困难，排查一个失败任务平均耗时 15-20 分钟；数据集成配置需要手写 JSON 且文档分散，错误率超过 40%。
核心价值
- 6 大模块全覆盖：repo（空间发现）+ datatable（表/视图管理）+ flow（流程编排）+ operations（运维监控）+ ide（SQL 查询）+ integration（数据集成）
- 6 个场景路由：流程创建、流程监控、数据集成、数据查询、表管理、空间发现，自动匹配用户意图
- 流程生命周期完整：DEV 配置→预览发布→PROD 手动执行→运维排查，每步有对应命令
- ID 系统清晰：executeId（早期停止句柄）vs flowInstanceId（稳定运维句柄），不同场景用不同 ID
- CRON 6 字段规范：秒 分 时 日 月 周（比标准 5 字段多一个"秒"字段），常见模板直接可用
适用场景
需要创建数据流程（添加 SQL 任务节点、配置依赖和调度、发布到 PROD）
需要监控流程执行状态、查看任务日志、停止异常实例
需要创建数据源和配置数据同步方案
需要在 IDE 中执行 SQL 查询或浏览数据表结构
需要创建数据表或视图并发布到 PROD
需要发现可用的 DataOps 空间和空间代码
实战案例
常见疑问
DEV 和 PROD 有什么区别？
DEV 是开发环境，负责创建/修改任务和配置调度；PROD 是生产环境，负责正式执行和运维排查。所有创建和修改操作在 DEV 完成，通过预览发布到 PROD。
CRON 格式为什么是 6 字段？
AE DataOps 使用秒 分 时 日 月 周的 6 字段格式，比标准 5 字段多一个"秒"字段。常见模板如 `0 0 2 * * ?` 表示每日凌晨 2 点。
和 ae-analysis 有什么区别？
ae-analysis 是分析侧操作（报表/看板/Ad-hoc 查询），ae-dataops 是数据开发侧操作（流程编排/SQL 开发/数据同步）。前者查数据，后者建数据。
相关 Skills 推荐
用「AE 数据开发」武装你的 Agent
预约演示，看看它如何在你的业务场景中落地
