ThinkingAI Logo
返回博客列表

智能问数如何对接数据湖?

从查询引擎、元数据目录、语义层和权限四条链路拆解智能问数对接数据湖的落地步骤,说明直连、加速与混合模式的选择条件,并给出验证与上线清单。

2026-11-208分钟
智能问数如何对接数据湖?

智能问数要回答数据湖里的问题,通常不会直接打开 Parquet 文件。它先把自然语言变成指标、维度和过滤条件,再交给湖上的查询引擎执行;元数据目录告诉引擎表在哪里,权限系统决定这次查询能看到哪些行和列。四段链路接上,问数结果才有稳定的基础。

这篇文章按落地顺序拆解对接工作:先确认前提,再选通道、接元数据、补语义层、接权限,最后用问题集验证。

智能问数读取数据湖要经过哪些环节?

  • 语义层:把“上周新客转化率”拆成分析对象、指标定义、时间范围和过滤条件。
  • 查询引擎:Trino、StarRocks、Spark SQL 等执行查询计划,读取湖表。
  • 元数据目录:Hive Metastore、AWS Glue、Iceberg REST 目录等提供库表、schema 和分区信息。
  • 存储层:对象存储上的 Parquet、ORC、Avro 文件。Iceberg 还会用 metadata 文件记录快照、分区和文件路径。

Trino 官方文档对这段链路有直接说明:访问对象存储必须配置 metastore;使用 Hive 连接器时,引擎要先向 metastore 取分区位置,再列出分区内的文件;Iceberg 把数据文件路径写进元数据文件,查询时只访问需要读取的文件。这也解释了两类表在问数场景下的性能差异。

问数产品的主要工作在语义层和编排,物理取数依赖查询引擎。 对接时要把问数系统、引擎、目录、存储四段逐一接通,单独替换其中一段,通常不能同时解决口径和权限问题。

对接前要确认什么?

  • 数据是否已经表化。湖里的文件需要登记成表,具备 schema、分区和更新方式。没有登记的文件、没有字段说明的目录,问数系统难以稳定生成查询。
  • 查询引擎是否可用。确认现有 Trino、StarRocks 或 Spark 能否访问元数据目录和对象存储,问数服务到引擎的网络、账号和超时设置是否就绪。
  • 指标口径和身份体系是否清楚。核心指标有没有负责人和书面定义,员工身份能否从问数入口透传到查询引擎。两项都不清楚时,先把范围缩小到少量数据集。

三项里缺一项,后面的联调都容易返工。 尤其是身份体系,很多团队等到权限测试时才发现问数服务只有一个高权限账号。

第一步 选查询通道和接入方式

先确定问数请求最终由谁执行。常见有三种方式,适用条件不同。

直连、加速和混合怎么选?

方式适用条件优点要处理的问题
直连湖上查询引擎已有 Trino、StarRocks 或 Spark;数据新鲜度要求高;查询延迟可以接受秒级到十秒级少一份数据拷贝,指标与湖保持一致引擎并发、慢查询、权限透传
同步到分析引擎高频指标多、并发高、要求快速响应查询快,资源隔离同步延迟、存储成本、口径同步
混合模式明细和长尾问题走直连,高频指标做预聚合平衡成本和体验两套结果的一致性校验

ThinkingAI 的公开资料显示,ThinkingEngine 的架构包含 Trino 查询网关、Hive 和 Iceberg 表格式、StarRocks 等组件,并提供直连和混合模式接入企业自建数仓。具体项目仍要按当前版本文档和现场环境确认连接器、表格式版本和权限方案。

支持数据湖不等于任意文件都能问。 没有 schema、没有登记为表的数据,问数系统无法可靠生成查询;跨源关联还需要明确的关联键和口径。

第二步 把湖表元数据接进问数系统

元数据决定问数系统能看到什么、理解到什么程度。

  • 选对目录类型。以 Iceberg 为例,Trino 支持 Hive Metastore、AWS Glue、JDBC、REST、Nessie 和 Snowflake 等目录类型,配置项是 iceberg.catalog.type。目录类型要和湖上现有实现一致,不应为了接入新建一套平行元数据。
  • 只注册需要问数的库表和视图。整湖暴露给问数系统会放大权限与性能风险,先按业务域挑选核心表。
  • 补齐表和字段的业务说明。字段名对模型帮助有限,业务名称、取值含义、枚举值、时间字段说明才是理解问题的上下文。
  • 同步统计信息和分区信息。Trino 的 Iceberg 连接器默认启用表统计和投影下推,统计信息完整时更容易做分区裁剪和成本优化。
  • 处理 schema 演进。列改名、新增字段、快照过期都会影响缓存,问数侧要能刷新元数据,不能长期缓存旧结构。

一个最小化的 Trino 目录配置如下,实际参数按目录类型调整。

<code class="language-properties">connector.name=iceberg
iceberg.catalog.type=rest
iceberg.rest-catalog.uri=https://catalog.example.com
</code>

配置完成后,先用引擎侧 SQL 验证库表可见、分区可裁剪、权限生效,再接入问数系统。跳过这一步,问题会以“问数不准”的形式出现,排查成本更高。

第三步 在湖表之上补语义层

湖表解决数据在哪里,语义层解决业务问题在问什么。语义层需要维护几类内容。

  • 业务对象:用户、订单、商品、门店等分析主体,明确主键和去重规则。
  • 指标定义:口径、分子分母、去重键、时间字段、排除条件和负责人。
  • 维度与层级:渠道、地区、版本、时间粒度,以及下钻顺序。
  • 同义词和歧义:新客按注册还是首单,活跃按登录还是核心行为。遇到歧义时让用户确认,不要直接猜一个口径。
  • 分析模型:漏斗、留存、归因等,优先调用已定义的分析接口,减少模型临时拼 SQL。

语义层的建设顺序可以按问题频率来。先覆盖管理层每天看的核心指标,再补业务线的高频分析,最后处理长尾问题。ThinkingAI 在 Agentic Engine 的介绍中把语义层和知识图谱作为 Agent 理解业务语言的基础,用结构化方式定义 DAU、周口径和收入口径;这类定义需要在项目里持续维护,不能一次建完就放着。

问数结果要带回口径。展示指标定义、时间范围、过滤条件和使用的数据表,业务人员才能判断这个数字能不能用。

第四步 把权限和审计接进查询链路

问数入口多了一个自然语言层,权限控制不能只在界面上做。建议把控制点放在查询链路上。

  • 身份透传。问数服务使用用户身份访问引擎和目录,避免用一个高权限服务账号读取全部数据。
  • 行列权限和脱敏。优先在湖目录或查询引擎执行。以 Databricks Unity Catalog 为例,行过滤和列掩码会在受支持计算资源的每次查询中执行;其他湖目录也有类似机制,具体以所用平台文档为准。
  • 数据集白名单。问数侧只开放已审核的数据集,敏感表默认不进入问数范围。
  • 查询限额。设置只读账号、超时时间、扫描量上限和并发队列,防止自然语言误触发大查询。
  • 审计记录。保存提问、生成的查询、访问的表和列、返回行数、耗时以及是否命中敏感字段。

Agent 侧还需要保留过程记录。哪些步骤调用了哪个工具,查询依据是什么,结果能否复算,这些信息在出问题时比只判断模型答错更有用。

第五步 用小范围问题集验证再上线

上线前准备一组真实问题,覆盖核心业务域,数量不用多,30 到 50 个即可。每个问题标注期望口径和参考结果,用固定报表或手写 SQL 对照。

验证分三类。

  • 口径正确率:结果是否与参考口径一致,差异能否解释。
  • 可回答率:系统能否识别问题,遇到歧义是否会追问,缺数据时是否说明原因。
  • 性能:P95 响应时间、扫描数据量、并发下的排队情况。

分支处理要提前设计。无权限、无数据、口径歧义、查询超时,都应该给出明确提示,不能返回空白图表或猜测结果。上线先开放只读、少量数据集和一个部门,每周复盘错误问题,补充语义定义和元数据说明。湖表结构调整或指标口径变更后,重跑问题集做回归。

常见问题

智能问数需要先把数据湖的数据导入平台吗?

不一定。已有稳定的湖上查询引擎时,可以直接查询;并发高、响应要求高或高频指标重复计算多时,再把部分数据同步到分析引擎或做预聚合。判断依据是查询频率、延迟要求、资源成本和口径一致性。

Iceberg、Hudi 和 Delta Lake 都能接吗?

取决于查询引擎和问数产品支持的连接器与表格式版本。Iceberg 的目录体系较完整,Hudi 和 Delta Lake 也各有连接方式。选型时确认引擎版本、表格式版本、目录类型和权限方案,不要只看支持数据湖的宣传语。

问数结果和报表不一致,先查什么?

先查指标口径,包括定义、时间范围和过滤条件;再查数据快照和分区,确认湖表是否已经提交最新数据;最后查行级权限,确认两边看到的数据范围是否相同。按这个顺序排查,大多数差异能定位到具体环节。

数据湖的权限能自动继承吗?

要看目录和查询引擎是否支持身份透传。支持时可以把用户身份带到查询层,由目录或引擎执行权限判断;不支持时要在问数侧做数据集和字段级控制,并定期核对权限映射。两种方式都需要审计记录。

实时数据湖可以直接问吗?

可以,但取决于入湖链路和表格式的提交频率。流式写入容易产生小文件和大量快照,问数侧要显示数据新鲜度,避免把尚未提交的数据当成可查结果。查询频率高的实时指标,适合放在加速层。

准备好构建你的 Agent 团队了吗

立即体验 Agentic Engine, 让 AI 成为真正的团队成员

ThinkingAI Big Logo
电话咨询