Phase 0 · In development

LAT TAG Phase 0

Acoustic Event Grounding

给定一段不超过 60 秒的混合音频,以及对目标声音事件的自然语言描述,输出唯一的起止时间区间。

Candidate annotation explorer · protocol and gold under review
MIX / 00:60.000 GROUNDING
EVENT QUERY

“背景音乐从温馨转为悬疑,并伴随一声清脆的叮音效。”

00:0000:3001:00
ACOUSTIC CANDIDATE{"start": 54.00, "end": 55.00}
1.00s
757Phase 0 候选样本
2语言
3粗粒度事件类型
≤60s混合音频长度
20精选试听样例

Development scope

声学事件时间定位

目标只保留无需理解词义即可直接听见的声音:音乐与乐器、非语言人声、环境与机械声、冲击与信号,以及边界明确的复合声学事件。

对白内容、剧情和叙事推断交给 TS-ASR。本阶段以 LAT 时间戳为来源,先做声学投影与非破坏性回检;所有模型结果都是候选,不自动覆盖 gold。

Draft protocol

输入、输出与候选指标

当前协议用于数据构建和人工回检,正式版本仍在校准。

01

INPUT

Mixed audio + query

audio.wav≤ 60 seconds
“Locate the first audible gunshot followed by a body falling.”
02

OUTPUT

One temporal interval

{
  "start": 36.57,
  "end": 39.57
}

秒为单位,满足 0 ≤ start < end ≤ duration。

03

PROPOSED EVALUATION

Draft temporal metrics

Macro Temporal-F1区间交并覆盖质量
Boundary-Hit@1s双边界均在 ±1 秒

Data manufacturing

从 LAT caption 到
可审核的声学时间边界

先判断“能否只靠听觉定位”,再根据事件的时间形态选择独立证据。Gemini 负责理解 caption 与固定窗回检,不单独决定 gold。

INPUT20LAT Demo captions
KEEP12directly audible targets
DROP8lexical / narrative
WRITE GOLD0candidate-only pipeline
01 INGEST Mix audio + LAT caption

保留 60 秒音频、原始 query 与 LAT 时间戳作为来源记录。

02 ACOUSTIC GATE 排除词义与剧情

只有脱离对白词义后仍能直接听见的目标进入声学 benchmark。

03 SPECIFICATION 重写纯声学 query

记录声源、时间形态、起止规则与 occurrence 约束。

04 VERIFY 固定 5 秒窗回检

Gemini 只选择窗口 ID,时间由程序映射,避免自由报秒偏移。

按时间形态分流 固定窗只确认“在哪里”

精确边界由与事件形态匹配的独立声学证据提供。

SUSTAINED / REPEATED持续 · 间歇

5 条 · 固定窗 + Gemini 粗边界 + CLAP 滑窗覆盖

SHORT / CHANGE瞬态 · 转折 · 复合

7 条 · 固定窗 + Gemini 粗边界 + onset / acoustic change

05 · DECISION QUEUE 输出候选与证据,不修改 gold

一致样本可保留;边界移动、新声学投影与证据冲突样本进入人工听测。

正在加载实际样本轨迹…

Interactive gold set

戴上耳机,检查时间边界

普通模式展示当前 gold;声学审核模式展示纯声学 query、固定窗、独立证据与最终候选。

语言
事件
难度
审核状态

0 / 20 条已记录听测结论

20 个精选样例

当前 gold LAT 原始 声学候选 Gemini 固定窗 CLAP 诊断

正在加载音频样例…

Reading notes

如何理解当前 Demo

01

只审核直接可听见的事件

对白词义、剧情和人物关系不进入本任务;非语言人声、乐器、BGM、环境声、冲击与复合声音可以进入。

02

证据随时间形态变化

CLAP 主要服务持续与间歇声音;瞬态、转折和复合事件依赖固定窗与低层 onset / acoustic change。

03

原始时间戳始终可追溯

模型输出只生成候选。审核结论保存在浏览器并导出 JSONL,网页不会覆盖 LAT 或人工复核 manifest。