SA-ASR Multi-Speaker Evaluation

多说话人 ASR 模型服务评估报告(已清洗)

本次评估覆盖 AMI(英文会议,599 段)、AliMeeting(中文会议,689 段)与 AISHELL-4(中文远场会议,804 段)三个数据集。 已剔除 418 个音频-参考时间戳对齐异常样本,所有指标基于清洗后数据重新计算。run name: full_20260720_v1

核心指标概览(清洗后)

AMI WER
20.2%
DER@0.25 48.7%
AliMeeting CER
19.6%
DER@0.25 44.9%
AISHELL-4 CER
15.8%
DER@0.25 38.0%
总样本数
1,674
ami {len(clean_per_sample['ami'])} / alimeeting {len(clean_per_sample['alimeeting'])} / aishell4 {len(clean_per_sample['aishell4'])}

执行摘要

三个数据集上,模型的文本错误率(WER/CER)在 15.8%–20.2% 之间,但考虑说话人分配后的 cpWER/cpCER 明显更高, 说明说话人区分与切分是主要瓶颈。DER@0.25 介于 38.0%–48.7%%,且绝大多数错误来自说话人漏检(undercount)和时间戳漂移。

Flat vs. 说话人联合文本错误率

数据集Flat 错误率cpWER / cpCERGap清洗后样本数
AMI20.2% (WER)34.3%+10.56pp403
AliMeeting19.6% (CER)42.9%+19.03pp526
AISHELL-415.8% (CER)25.0%+8.30pp745

注:cpWER/cpCER 在 flat 错误率基础上进一步惩罚说话人分配错误;Gap 反映“时间-说话人”组织对最终文本的影响。 由于清洗前后 flat 错误率变化很小,cp 指标沿用全量计算值作为近似参考。

聚合统计(清洗后)

基于 1,674 条清洗后的 per-sample 分析结果计算。

文本错误率分布

分位数AMIAliMeetingAISHELL-4
最小值0.000.010.00
P250.1080.0650.070
中位数0.1740.1250.130
P750.2580.2860.216
P900.3790.4350.302
P950.4310.5320.349
P990.5840.9630.592
最大值3.01.01.0

极端错误占比

阈值AMIAliMeetingAISHELL-4
TER > 0.52.0%6.5%1.2%
TER > 0.80.5%1.5%0.9%
TER > 1.00.5%0.0%0.0%
边界 MAE > 5s3.5%6.3%11.5%
边界 MAE > 10s0.5%2.7%1.3%
结尾误差 > 10s9.2%20.2%34.9%

高 DER 的伴随条件

定义 DER@0.25 > 0.6 为“高 DER”,统计其中同时满足某条件的比例。

AMI
严重说话人塌缩
46.3%
结尾误差 > 10s
7.4%
边界 MAE > 5s
1.9%
AliMeeting
严重说话人塌缩
43.1%
结尾误差 > 10s
41.4%
边界 MAE > 5s
12.9%
AISHELL-4
结尾误差 > 10s
46.8%
严重说话人塌缩
43.5%
边界 MAE > 5s
29.0%

说话人数差异分布

说话人数差 (hyp − ref)样本数占比
-320.5%
-214235.2%
-115338.0%
010626.3%
说话人数差 (hyp − ref)样本数占比
-430.6%
-340.8%
-28816.7%
-114327.2%
028854.8%
说话人数差 (hyp − ref)样本数占比
-530.4%
-4141.9%
-3375.0%
-28911.9%
-115520.8%
044760.0%

按参考说话人数分组

参考说话人数样本数平均 WER平均 DER@0.25平均人数差
14413.8%29.5%+0.00
26213.4%44.3%-0.31
311220.7%50.6%-0.97
4+18523.7%53.7%-1.70
参考说话人数样本数平均 CER平均 DER@0.25平均人数差
100.0%0.0%+0.00
22708.5%37.5%-0.03
39219.7%47.2%-0.89
4+16437.9%55.8%-1.54
参考说话人数样本数平均 CER平均 DER@0.25平均人数差
12657.7%30.6%+0.00
219515.6%37.4%-0.16
313420.7%43.3%-0.98
4+15126.1%47.2%-2.33

AMI 深度分析 (英文,清洗后 403 段)

指标数值说明
WER (平均)20.2%文本错误率均值
WER (中位数)17.4%文本错误率中位数
DER@0.2548.7%带 0.25s 容错的说话人二值化误差
DER@053.1%严格时间对齐下的 DER
说话人计数精确匹配26.3%模型输出说话人数 = 参考人数
说话人计数欠估计73.7%输出人数少于参考
严重说话人塌缩率27.3%输出严重少于参考
平均参考说话人数3.09每段样本真实说话人数
平均假设说话人数1.99模型识别说话人数
边界 MAE 均值1.68s时间边界平均绝对误差
边界命中@500ms33.7%边界误差 < 500ms 占比
结尾时间误差均值5.32s最后一段结束时间误差
删除率均值12.0%参考文本被漏掉的比例
插入率均值3.2%模型额外添加文本比例
重复问题率38.7%出现重复 token 的样本占比
长度过短率10.2%输出明显短于参考

关键发现

  • 文本:平均 WER 20.2%,删除率(12.0%)远高于插入率(3.2%)。
  • 说话人:精确匹配仅 26.3%,欠估计 73.7%;严重塌缩率 27.3%。
  • 时间戳:边界 MAE 1.68s,500ms 命中率 33.7%;结尾误差均值 5.32s。
  • 切分:undersegmentation 39.2%,oversegmentation 24.1%。
  • 重复:重复问题样本占比 38.7%。

说话人数差异分布

2142153106−3−2−10

AliMeeting 深度分析 (中文,清洗后 526 段)

指标数值说明
CER (平均)19.6%文本错误率均值
CER (中位数)12.5%文本错误率中位数
DER@0.2544.9%带 0.25s 容错的说话人二值化误差
DER@051.6%严格时间对齐下的 DER
说话人计数精确匹配54.8%模型输出说话人数 = 参考人数
说话人计数欠估计45.2%输出人数少于参考
严重说话人塌缩率5.7%输出严重少于参考
平均参考说话人数2.80每段样本真实说话人数
平均假设说话人数2.15模型识别说话人数
边界 MAE 均值12.07s时间边界平均绝对误差
边界命中@500ms25.9%边界误差 < 500ms 占比
结尾时间误差均值7.14s最后一段结束时间误差
删除率均值13.6%参考文本被漏掉的比例
插入率均值1.2%模型额外添加文本比例
重复问题率58.2%出现重复 token 的样本占比
长度过短率22.1%输出明显短于参考

关键发现

  • 文本:平均 CER 19.6%,删除率(13.6%)远高于插入率(1.2%)。
  • 说话人:精确匹配仅 54.8%,欠估计 45.2%;严重塌缩率 5.7%。
  • 时间戳:边界 MAE 12.07s,500ms 命中率 25.9%;结尾误差均值 7.14s。
  • 切分:undersegmentation 95.8%,oversegmentation 0.4%。
  • 重复:重复问题样本占比 58.2%。

说话人数差异分布

3488143288−4−3−2−10

AISHELL-4 深度分析 (中文,清洗后 745 段)

指标数值说明
CER (平均)15.8%文本错误率均值
CER (中位数)13.0%文本错误率中位数
DER@0.2538.0%带 0.25s 容错的说话人二值化误差
DER@042.2%严格时间对齐下的 DER
说话人计数精确匹配60.0%模型输出说话人数 = 参考人数
说话人计数欠估计40.0%输出人数少于参考
严重说话人塌缩率18.1%输出严重少于参考
平均参考说话人数2.33每段样本真实说话人数
平均假设说话人数1.64模型识别说话人数
边界 MAE 均值12.17s时间边界平均绝对误差
边界命中@500ms23.1%边界误差 < 500ms 占比
结尾时间误差均值9.36s最后一段结束时间误差
删除率均值7.7%参考文本被漏掉的比例
插入率均值2.1%模型额外添加文本比例
重复问题率49.0%出现重复 token 的样本占比
长度过短率2.6%输出明显短于参考

关键发现

  • 文本:平均 CER 15.8%,删除率(7.7%)远高于插入率(2.1%)。
  • 说话人:精确匹配仅 60.0%,欠估计 40.0%;严重塌缩率 18.1%。
  • 时间戳:边界 MAE 12.17s,500ms 命中率 23.1%;结尾误差均值 9.36s。
  • 切分:undersegmentation 64.8%,oversegmentation 6.8%。
  • 重复:重复问题样本占比 49.0%。

说话人数差异分布

3143789155447−5−4−3−2−10

跨数据集对比(清洗后)

从英文 vs 中文、近讲 vs 远场、会议密度三个维度总结差异。

维度AMIAliMeetingAISHELL-4
语言 / 场景英文,近讲会议中文,远场会议中文,远场多说话人会议
Flat 文本错误率20.2% (WER)19.6% (CER)15.8% (CER)
DER@0.2548.7%44.9%38.0%
平均参考说话人数3.092.802.33
严重说话人塌缩率27.3%5.7%18.1%
边界 MAE 均值1.68s12.07s12.17s
结尾误差均值5.32s7.14s9.36s
重复问题率38.7%58.2%49.0%

关键差异

典型失败案例(已剔除对齐异常样本)

每数据集精选 5 例,共 15 例,覆盖说话人塌缩、大量删除/幻觉、时间戳漂移、重复/插入四类主要失败模式。每个案例均附带音频播放器、参考/模型文本,以及 GT/Pred 说话人与时间戳对比表。

AMI (英文)

1. ES2004c_chunk_00000_00006
AMI · 说话人塌缩 幻觉/插入
WER130.4%
DER@0.25314.8%
说话人3→1
边界MAE6.22s
结尾误差10.84s

说话人严重塌缩:参考 3 人,模型只输出 1 人;出现幻觉/插入内容:插入率达 34.8%,输出明显长于参考。DER@0.25 高达 314.8%,说话人归属与切分同时失效,导致对话结构难以恢复。

参考文本 (answer)

0 good grief kay okay 0 put it on in that way thanks oops i will wait until you are all hooked up

模型输出 (hyp_text)

i will wait until you are all in the picket fence 0 get creative okay okay and she put in he has got a 0 okay put her in that way

说话人与时间戳对比

类型说话人开始 (s)结束 (s)文本
GTB0.0002.806I'll wait until you're all um hooked up.
GTD17.37919.197Oh good grief.
GTD22.68923.295'Kay.
GTB29.61130.520Okay.
GTD49.82750.685Oh.
GTB52.11354.976Put it on in that way. Thanks.
GTA53.98054.502Oops.
Predspeaker10.0002.120I'll wait until you're all in the picket fence.
Predspeaker114.44016.440Oh, get creative.
Predspeaker118.44018.840Okay.
Predspeaker124.44024.840Okay.
Predspeaker144.44046.440And she put in, he's got a... Oh.
Predspeaker147.44048.440Okay, put her in that way.
查看原始模型输出 (prediction_raw)
{"segments":[{"index":1,"start":0.00,"end":2.12,"speaker":"speaker1","text":"I'll wait until you're all in the picket fence."},{"index":2,"start":14.44,"end":16.44,"speaker":"speaker1","text":"Oh, get creative."},{"index":3,"start":18.44,"end":18.84,"speaker":"speaker1","text":"Okay."},{"index":4,"start":24.44,"end":24.84,"speaker":"speaker1","text":"Okay."},{"index":5,"start":44.44,"end":46.44,"speaker":"speaker1","text":"And she put in, he's got a... Oh."},{"index":6,"start":47.44,"end":48.44,"speaker":"speaker1","text":"Okay, put her in that way."}]}
音频路径:/cpfs/user/jingpeng/workspace/nfs/data/test/sa_asr/test_sa_asr/audio/60s/ami_ES2004c_chunk_0000.wav
2. TS3003a_chunk_00105_00113
AMI · 时间戳漂移
WER27.5%
DER@0.25116.7%
说话人3→2
边界MAE6.13s
结尾误差24.68s

时间戳漂移严重:边界 MAE 6.1s,结尾误差 24.7s。DER@0.25 高达 116.7%,说话人归属与切分同时失效,导致对话结构难以恢复。

参考文本 (answer)

yeah they are brilliant animal animals and that is just a little me thingy so guess i will pass the pen to our user interface designer okay i am just going to draw its head but nice let us see

模型输出 (hyp_text)

yeah they are brilliant animal animals and that is just a little me thing so guess i will pass the pen to her it is user interface design i am just going to draw its head

说话人与时间戳对比

类型说话人开始 (s)结束 (s)文本
GTA0.0001.072Yeah.
GTD17.88821.712They're brilliant animal animals. And that's just a little me thingy.
GTD22.89623.312So.
GTD26.99230.976Guess I'll pass the pen to our User Interface Designer.
GTB28.04834.416Okay. Um I'm just gonna draw its uh head, but mm
GTA28.09528.720Nice.
GTB36.28836.912Let's see.
GTB41.50441.744Mm.
GTB53.60054.080Uh.
Predspeaker10.0000.720Yeah.
Predspeaker116.44020.440They're brilliant animal animals, and that's just a little me thing.
Predspeaker121.47026.440So, guess I'll pass the pen to her. It's user interface design.
Predspeaker226.77029.400I'm just gonna draw its head.
查看原始模型输出 (prediction_raw)
{"segments":[{"index":1,"start":0.00,"end":0.72,"speaker":"speaker1","text":"Yeah."},{"index":2,"start":16.44,"end":20.44,"speaker":"speaker1","text":"They're brilliant animal animals, and that's just a little me thing."},{"index":3,"start":21.47,"end":26.44,"speaker":"speaker1","text":"So, guess I'll pass the pen to her. It's user interface design."},{"index":4,"start":26.77,"end":29.40,"speaker":"speaker2","text":"I'm just gonna draw its head."}]}
音频路径:/cpfs/user/jingpeng/workspace/nfs/data/test/sa_asr/test_sa_asr/audio/60s/ami_TS3003a_chunk_0017.wav
3. ES2004b_chunk_00000_00004
AMI · 重复/卡顿
WER75.0%
DER@0.25231.0%
说话人2→2
边界MAE4.80s
结尾误差11.61s

存在重复/卡顿现象:重复 token 占比 17.4%。DER@0.25 高达 231.0%,说话人归属与切分同时失效,导致对话结构难以恢复。

参考文本 (answer)

it is up there that screen is black alright okay okay that is fine 0 god are we done help

模型输出 (hyp_text)

help maybe it is up there that screen is black just there not not really to all right okay okay that is fine

说话人与时间戳对比

类型说话人开始 (s)结束 (s)文本
GTB0.0005.143Help.
GTB8.16411.017It's up there? That screen's black.
GTB36.74140.164Alright, okay. Okay, that's fine.
GTD47.68549.284Oh God.
GTB55.33656.573Are we done?
Predspeaker10.4801.440Help.
Predspeaker12.4003.120Maybe.
Predspeaker17.44010.160It's up there. That screen's black.
Predspeaker112.40012.880Just there.
Predspeaker224.40025.760Not not really to.
Predspeaker134.40036.800All right, okay. Okay, that's fine.
查看原始模型输出 (prediction_raw)
{"segments":[{"index":1,"start":0.48,"end":1.44,"speaker":"speaker1","text":"Help."},{"index":2,"start":2.40,"end":3.12,"speaker":"speaker1","text":"Maybe."},{"index":3,"start":7.44,"end":10.16,"speaker":"speaker1","text":"It's up there. That screen's black."},{"index":4,"start":12.40,"end":12.88,"speaker":"speaker1","text":"Just there."},{"index":5,"start":24.40,"end":25.76,"speaker":"speaker2","text":"Not not really to."},{"index":6,"start":34.40,"end":36.80,"speaker":"speaker1","text":"All right, okay. Okay, that's fine."}]}
音频路径:/cpfs/user/jingpeng/workspace/nfs/data/test/sa_asr/test_sa_asr/audio/60s/ami_ES2004b_chunk_0000.wav
4. ES2004c_chunk_00497_00497
AMI · 幻觉/插入
WER300.0%
DER@0.2551.7%
说话人1→1
边界MAE0.00s
结尾误差0.31s

出现幻觉/插入内容:插入率达 300.0%,输出明显长于参考。DER@0.25 高达 51.7%,说话人归属与切分同时失效,导致对话结构难以恢复。

参考文本 (answer)

okay

模型输出 (hyp_text)

this is good okay

说话人与时间戳对比

类型说话人开始 (s)结束 (s)文本
GTB0.0003.152Okay.
Predspeaker20.0001.130This is good.
Predspeaker22.4402.840Okay.
查看原始模型输出 (prediction_raw)
{"segments":[{"index":1,"start":0.00,"end":1.13,"speaker":"speaker2","text":"This is good."},{"index":2,"start":2.44,"end":2.84,"speaker":"speaker2","text":"Okay."}]}
音频路径:/cpfs/user/jingpeng/workspace/nfs/data/test/sa_asr/test_sa_asr/audio/60s/ami_ES2004c_chunk_0043.wav
5. EN2002d_chunk_00009_00024
AMI · 说话人塌缩
WER58.4%
DER@0.2587.7%
说话人4→2
边界MAE1.89s
结尾误差7.22s

说话人严重塌缩:参考 4 人,模型只输出 2 人。DER@0.25 高达 87.7%,说话人归属与切分同时失效,导致对话结构难以恢复。

参考文本 (answer)

okay keep an eye if i am dropping this because just seem ah as i said it does not seem very s perhaps sweater or maybe if i set it here on the this brand thing are they on yeah on ooh there you go does not want to stay yeah mine does not stick today either yeah seems slippery yeah okay what day is it okay who wants to write summary summary what was that a answer well okay i was just about to no no just the summary no that was just summary no no okay 0 i will do it no it will not 0 write the sum …

模型输出 (hyp_text)

okay keep an eye if i am dropping this because it seems . as i said it does not seem very yeah mine does not slip today either it seems slippery perhaps i do not know maybe if i set it here on this round thing are they on yeah on yeah okay what day is it tuesday okay who wants to buy summary summary what was that an answer no that is just summary no i will do it what okay who is doing the summary 0 write the summary okay

说话人与时间戳对比

类型说话人开始 (s)结束 (s)文本
GTA0.00020.662Okay. Keep an eye if I'm dropping this 'cause just seem ah, as I said, it doesn't seem very s Perhaps sweater, or maybe if I set it here on the this brand thing. Are they on, yeah. On.
GTC4.6098.294Ooh, there you go. Doesn't wanna stay.
GTB7.0008.771Yeah, mine doesn't stick today either.
GTD8.85810.049Yeah, seems slippery.
GTC20.12920.686Yeah.
GTA22.87025.236Okay.
GTD25.45726.609What day is it?
GTD41.72942.203Okay.
GTB42.27344.241Who wants to write summary?
GTD45.50146.209Summary.
GTA47.39357.427What? Was that a answer?. Well Okay. I was just about to
GTD47.51554.117Um no. No, just the summary. No, that was just summary. No. Um no um okay.
GTB52.19152.415Oh.
GTB52.96753.624I'll do it.
GTC53.32055.772No it won't.
GTD57.21758.690Oh, write the sum okay, right.
Predspeaker10.2403.440Okay. Keep an eye if I'm dropping this, because it seems...
Predspeaker14.3706.400As I said, it doesn't seem very... Yeah, mine doesn't slip today either.
Predspeaker26.7707.640It seems slippery.
Predspeaker18.27012.470Perhaps, I don't know. Maybe if I set it here on this round thing.
Predspeaker114.47015.470Are they on, yeah? On?
Predspeaker216.47016.770Yeah.
Predspeaker220.47022.770Okay. What day is it? Tuesday.
Predspeaker232.77033.170Okay.
Predspeaker134.47035.670Who wants to buy summary?
Predspeaker237.47038.170Summary.
Predspeaker139.47040.670What? Was that an answer?
Predspeaker241.47043.470No, that's just summary. No.
查看原始模型输出 (prediction_raw)
{"segments":[{"index":1,"start":0.24,"end":3.44,"speaker":"speaker1","text":"Okay. Keep an eye if I'm dropping this, because it seems..."}, {"index":2,"start":4.37,"end":6.40,"speaker":"speaker1","text":"As I said, it doesn't seem very... Yeah, mine doesn't slip today either."}, {"index":3,"start":6.77,"end":7.64,"speaker":"speaker2","text":"It seems slippery."}, {"index":4,"start":8.27,"end":12.47,"speaker":"speaker1","text":"Perhaps, I don't know. Maybe if I set it here on this round thing."}, {"index":5,"start":14.47,"end":15.47,"speaker":"speaker1","text":"Are they on, yeah? On?"}, {"index":6,"start":16.47,"end":16.77,"speaker":"speaker2","text":"Yeah."}, {"index":7,"start":20.47,"end":22.77,"speaker":"speaker2","text":"Okay. What day is it? Tuesday."}, {"index":8,"start":32.77,"end":3…
音频路径:/cpfs/user/jingpeng/workspace/nfs/data/test/sa_asr/test_sa_asr/audio/60s/ami_EN2002d_chunk_0001.wav

AliMeeting (中文)

6. R8002_M8002_chunk_00819_00850
AliMeeting · 大量删除 说话人塌缩 重复/卡顿 时间戳漂移
CER96.7%
DER@0.25102.9%
说话人4→1
边界MAE25.03s
结尾误差2.57s

说话人严重塌缩:参考 4 人,模型只输出 1 人;大量文本被删除:删除率达 96.7%,输出长度比仅 0.03;时间戳漂移严重:边界 MAE 25.0s,结尾误差 2.6s;存在重复/卡顿现象:重复 token 占比 50.0%。DER@0.25 高达 102.9%,说话人归属与切分同时失效,导致对话结构难以恢复。

参考文本 (answer)

不你你这样你你你后面因为你要是那个阳光普照奖你一轮儿抽10个一轮儿抽10个有个整数136刚才说的是136对吗哦刚才说的是136是吧不你嗯到这个可以到时候再说因为不能保证来多少人嘛就是咱50个人可能来48个嗯啊嗯啊对对对对有可能确实有事来不了的嗯嗯嗯那然后对呃就是吃的话咱们是那个就是就是就是就是在那边儿就直接在那边儿吃吧就不用自己带了是吧对就是涮肉就行了对然后自己带着一些酒水这个是提前反正是就采购这奖品就是这个采购这个物品之一嗯嗯嗯酒水是自己自己采提前采购嗯你得提前问好老板喝什么酒就行了嗯嗯嗯对哦这些反正都是在10万里面肯定是够的嗯对这个这个没问这用不了多少嗯行那咱们就是还是年安排在年后酒水有1万块钱就打住了哈嗯还是安排在年后因为咱们反正因为咱们反正也是跟那些商超合作可如可以跟他们那那个就是采购嘛对嗯嗯那那那就那就先这么定吧

模型输出 (hyp_text)

嗯那那那就那就先这么定吧

说话人与时间戳对比

类型说话人开始 (s)结束 (s)文本
GTN_SPK80060.0006.150不你你这样,你你你后面,因为你要是那个阳光普照奖,你一轮儿抽十个一轮儿抽十个,有个整数。
GTN_SPK80083.3505.430一三六刚才说的是一三六对吗。
GTN_SPK80077.0207.290哦。
GTN_SPK80087.0308.240刚才说的是一三六是吧。
GTN_SPK80058.11014.220不你,嗯到,这个可以到时候再说,因为不能保证来多少人嘛?就是咱五十个人可能来四十八个,嗯。
GTN_SPK800810.14010.440啊。
GTN_SPK800711.68012.280嗯。
GTN_SPK800811.76012.480啊对。
GTN_SPK800813.81017.380对对对,有可能确实有事来不了的,嗯。
GTN_SPK800714.09015.530嗯,嗯,那然后。
GTN_SPK800516.20016.390对。
GTN_SPK800716.59024.490呃,就是吃的话咱们是那个,就是就是就是就是在那边儿就直接在那边儿吃吧,就不用自己带了,是吧?
GTN_SPK800523.83025.160对就是涮肉就行了。
GTN_SPK800625.06033.570对然后自己带着一些酒水,这个是提前反正是就采购这奖品就是这个采购这个物品之一。
GTN_SPK800825.17025.530嗯。
GTN_SPK800725.39025.670嗯。
GTN_SPK800827.02030.270嗯酒水是自己,自己采,提前采购。
GTN_SPK800833.59033.890嗯。
GTN_SPK800533.96035.750你得提前问好老板喝什么酒就行了。
GTN_SPK800635.92036.370嗯。
GTN_SPK800736.00036.400嗯。
GTN_SPK800836.27037.330嗯,对。
GTN_SPK800737.95040.680哦,这些反正都是在十万里面肯定是够的,嗯。
GTN_SPK800540.09040.380对。
GTN_SPK800640.59042.320这个这个没问,这用不了多少。
GTN_SPK800742.56045.120嗯,行那咱们就是还是年安排在年后。
GTN_SPK800844.42045.990酒水有一万块钱就打住了哈。
GTN_SPK800746.22046.540嗯。
GTN_SPK800747.56053.700还是安排在年后,因为咱们反正因为咱们反正也是跟那些商超合作,可如可以跟他们那那个就是采购嘛。
GTN_SPK800849.79050.050对。
GTN_SPK800851.82052.140嗯。
GTN_SPK800755.37058.010嗯,那那那就那就先这么定吧。
Predspeaker153.44055.440嗯,那那那就那就先这么定吧。
查看原始模型输出 (prediction_raw)
{"segments":[{"index":1,"start":0.16,"end":5.44,"speaker":"speaker1","text":"不,你你这样,你你你后面,因为你要是那阳光普照奖,你一摞成十个,一摞成十个,有个整数。","index":2,"start":6.40,"end":7.68,"speaker":"speaker2","text":"刚才说的是一三六是吗?","index":3,"start":7.76,"end":11.44,"speaker":"speaker1","text":"你你到这个可以到时候再关,因为你不能保证来多少人嘛。","index":4,"start":11.76,"end":14.40,"speaker":"speaker1","text":"咱五十个人可能来四十八个。","index":5,"start":14.64,"end":16.40,"speaker":"speaker2","text":"对对对,有可能确实有事来不了嘛。","index":6,"start":16.64,"end":23.44,"speaker":"speaker1","text":"对,嗯,就是吃的话,咱们是那个就是就是就是就是在那边就直接在那边吃吧,就不用自己带了。","index":7,"start":23.60,"end":24.72,"speaker":"speaker2","text":"就是涮肉就行了。","index":8,"start":24.80,"end":32.64,"speaker":"speaker1","text":"对,然后自己带着一些酒水,这个是提前反正就是采购奖品,就这也采购这个物品之一。","index":9,"start":33.20,"end":35.44,"speaker":"speaker2"…
音频路径:/cpfs/user/jingpeng/workspace/nfs/data/test/sa_asr/test_sa_asr/audio/60s/alimeeting_R8002_M8002_chunk_0035.wav
7. R8002_M8002_chunk_00151_00171
AliMeeting · 大量删除 说话人塌缩 时间戳漂移
CER100.0%
DER@0.25100.0%
说话人4→0
边界MAE999.00s
结尾误差58.02s

说话人严重塌缩:参考 4 人,模型只输出 0 人;大量文本被删除:删除率达 100.0%,输出长度比仅 0.00;时间戳漂移严重:边界 MAE 999.0s,结尾误差 58.0s。DER@0.25 高达 100.0%,说话人归属与切分同时失效,导致对话结构难以恢复。

参考文本 (answer)

而且就是有很多公司都是在1月份开是为啥因为怕有的员工就是在春节前我开始请假我就走然后呢这会儿一般是在春节前或者过完春节马上回来的工作日来开就是让员工调整工作状态嗯嗯嗯嗯嗯你先开个年会放松一下然后就去放春节放假了嗯对这这个18号跟您说的年后这个您说是年后就行因为把之前这1年所有的工作都总结一下还有就是奖励那个年前你要年前举行的话哦那对这个是一些奖励没法儿到位比如说这个全勤奖啊这个啊对对对啊绩效都没有体现出来对对对嗯那还是咱们还是定在那个年后嗯嗯就是还得结算呀什么的是吧对很多绩绩效很多还没有对没算出来那个呃那数字不准确呀嗯对对年后就当让大家有个期待是吧嗯奖品还有这个奖励什么的都都可以充分的发发到每一个员工手上嗯那要年后的话咱们什么时候开始筹划比较合适啊

模型输出 (hyp_text)

(空)

说话人与时间戳对比

类型说话人开始 (s)结束 (s)文本
GTN_SPK80050.00014.160而且就是有很多公司都是在一月份开是为啥?因为怕有的员工就是在春节前我开始请假,我就走,然后呢?这会儿一般是在春节前或者过完春节马上回来的工作日来开,就是让员工调整工作状态。
GTN_SPK80060.7501.190嗯。
GTN_SPK80077.1507.550嗯。
GTN_SPK80087.5507.970嗯。
GTN_SPK80079.6309.970嗯。
GTN_SPK800711.82012.110嗯。
GTN_SPK800514.16017.700你先开个年会放松一下,然后就去放春节放假了。
GTN_SPK800817.79032.600嗯对,这,这个十八号跟您说的年后,这个您说是年后就行,因为把之前这一年所有的工作都总结一下,还有就是奖励,那个年前你要年前举行的话。
GTN_SPK800718.72019.290哦,那。
GTN_SPK800624.88025.300对。
GTN_SPK800626.54027.460这个是。
GTN_SPK800832.60046.460一些奖励没法儿到位,比如说这个全勤奖啊,这个,啊,对对对,啊绩效都没有体现出来,对对对嗯,那还是,咱们还是定在那个年后,嗯。
GTN_SPK800735.71039.040嗯,就是还得结算呀什么的,是吧?
GTN_SPK800636.34040.150对很多绩绩效很多还没有对,没算出来。
GTN_SPK800536.84038.080那个,呃。
GTN_SPK800539.47041.710那数字不准确呀,嗯。
GTN_SPK800641.21041.560对。
GTN_SPK800645.73046.030对。
GTN_SPK800746.15049.280年后就当让大家有个期待,是吧,嗯。
GTN_SPK800848.10054.280奖品还有这个奖励什么的都,都可以充分的发发到每一个员工手上。
GTN_SPK800754.80058.020嗯,那要年后的话,咱们什么时候开始筹划比较合适啊?
查看原始模型输出 (prediction_raw)
{"segments":[{"index":1,"start":0.00,"end":8.44,"speaker":"speaker1","text":"而且就是有很多公司都是在一月份开始,为啥?因为怕有的员工就是在春节前,我先开始请假,我就走。然后呢,这会儿一般是在春节前或者过完春节马上回来的工作日来开。"}, {"index":2,"start":8.44,"end":14.44,"speaker":"speaker1","text":"就是让员工调整工作状态,你先开个年会放松一下,然后就去放春节假期了。"}, {"index":3,"start":15.67,"end":20.44,"speaker":"speaker2","text":"对,这这个十八号跟您说的年后,这个您说是年后也行,因为把之前这一年所有的工作都总结一下。"}, {"index":4,"start":20.44,"end":27.67,"speaker":"speaker2","text":"还有就是奖励,那个年前你要年前举行的话,一些奖励没法到位,比如说这个全勤奖啊,这个绩效啊,对对对。"}, {"index":5,"start":27.67,"end":31.44,"speaker":"speaker1","text":"有的绩效啊,它还没有完,它得结束呀,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,它得,…
音频路径:/cpfs/user/jingpeng/workspace/nfs/data/test/sa_asr/test_sa_asr/audio/60s/alimeeting_R8002_M8002_chunk_0007.wav
8. R8009_M8026_chunk_00327_00351
AliMeeting · 时间戳漂移 重复/卡顿
CER29.1%
DER@0.2584.0%
说话人2→2
边界MAE22.03s
结尾误差44.82s

时间戳漂移严重:边界 MAE 22.0s,结尾误差 44.8s;存在重复/卡顿现象:重复 token 占比 6.2%。DER@0.25 高达 84.0%,说话人归属与切分同时失效,导致对话结构难以恢复。

参考文本 (answer)

我们内部人员自己做嘛就自己编排让客服自己编排唉这个想法还是比较不错对对然后你看还有哈其他的话主要是我们这边还有那个停车的问题哈嗯停车这边的话原来我们是一共是目前这个小区我们小区的话地下停车场加的话现在一共是有3000个小区的车位3000个小车车位嘛嗯然后现在的入住率已经上来了这3000个明显可能会后期不够使用你看这边就关于停车这个问题你这边有没有什么具体的想法停车问题他现在有那些嗯嗯业主自己买的车位还有租的车位啊嗯嗯主要一个问题就是相当于业主哈嗯他有些业主他是一个人买了3辆车他只有2个车位

模型输出 (hyp_text)

我们内部人员自己做嘛就自己编排让客户自己编排对这个想法还是比较不错然后你看还有哈其他的话主要是我们这边还有那个停车的问题哈停车这边的话原来我们是一共是目前这个小区我们小区的话地下停车场加的话现在一共是有3000个小区的车3000个小车车位嘛嗯然后现在的入住率已经上来了这3000个明显可能会后期不够使用你看这边就关于停车这个问题你这边有没有什么具体的想法

说话人与时间戳对比

类型说话人开始 (s)结束 (s)文本
GTN_SPK80810.0002.270我们内部人员自己做嘛。
GTN_SPK80802.1606.650就自己编排,让客服自己编排,唉,这个想法还是比较不错。
GTN_SPK80813.0303.620对。
GTN_SPK80814.2604.850对。
GTN_SPK80806.9608.930然后你看还有哈其他的话。
GTN_SPK80809.24010.960主要是我们这边还有。
GTN_SPK808010.96012.870那个停车的问题哈。
GTN_SPK808112.78013.670嗯。
GTN_SPK808012.87018.010停车这边的话,原来我们是一共是目前这个小区,我们小区的话。
GTN_SPK808018.01019.700地下停车场加。
GTN_SPK808019.70024.320的话现在一共是有三千个小区的车位,三千个小车车位嘛。
GTN_SPK808124.18024.830嗯。
GTN_SPK808024.78029.520然后现在的入住率已经上来了,这三千个明显可能会。
GTN_SPK808029.52030.920后期不够使用。
GTN_SPK808031.23035.140你看这边就关于停车这个问题,你这边有没有。
GTN_SPK808035.64036.950什么具体的想法。
GTN_SPK808137.74040.700停车问题,他现在有那些。
GTN_SPK808040.83041.480嗯。
GTN_SPK808141.16043.140嗯,业主自己买的车位。
GTN_SPK808143.14044.420还有租的车位啊。
GTN_SPK808044.52045.170嗯。
GTN_SPK808145.36046.420嗯。
GTN_SPK808146.42049.760主要一个问题就是相当于业主哈。
GTN_SPK808151.10054.790嗯,他有些业主,他是一个人买了三辆车。
GTN_SPK808154.79056.260他只有两个车位。
Predspeaker20.1601.740我们内部人员自己做嘛。
Predspeaker11.8704.440就自己编排,让客户自己编排。对,这个想法还是比较不错。
Predspeaker14.87011.440然后你看还有哈,其他的话,主要是我们这边还有那个停车的问题哈。停车这边的话,原来我们是一共是目前这个小区,我们小区的话,地下停车场加的话,现在一共是有三千个小区的车,三千个小车车位嘛。嗯。然后现在的入住率已经上来了,这三千个明显可能会后期不够使用。你看这边就关于停车这个问题,你这边有没有什么具体的想法?
查看原始模型输出 (prediction_raw)
{"segments":[{"index":1,"start":0.16,"end":1.74,"speaker":"speaker2","text":"我们内部人员自己做嘛。"},{"index":2,"start":1.87,"end":4.44,"speaker":"speaker1","text":"就自己编排,让客户自己编排。对,这个想法还是比较不错。"},{"index":3,"start":4.87,"end":11.44,"speaker":"speaker1","text":"然后你看还有哈,其他的话,主要是我们这边还有那个停车的问题哈。停车这边的话,原来我们是一共是目前这个小区,我们小区的话,地下停车场加的话,现在一共是有三千个小区的车,三千个小车车位嘛。嗯。然后现在的入住率已经上来了,这三千个明显可能会后期不够使用。你看这边就关于停车这个问题,你这边有没有什么具体的想法?"}]}
音频路径:/cpfs/user/jingpeng/workspace/nfs/data/test/sa_asr/test_sa_asr/audio/60s/alimeeting_R8009_M8026_chunk_0014.wav
9. R8004_M8006_chunk_00212_00247
AliMeeting · 说话人塌缩 重复/卡顿 时间戳漂移
CER52.5%
DER@0.2582.7%
说话人4→2
边界MAE15.56s
结尾误差37.51s

说话人严重塌缩:参考 4 人,模型只输出 2 人;时间戳漂移严重:边界 MAE 15.6s,结尾误差 37.5s;存在重复/卡顿现象:重复 token 占比 5.3%。DER@0.25 高达 82.7%,说话人归属与切分同时失效,导致对话结构难以恢复。

参考文本 (answer)

你就会它操作啊对智能施法比如摁一个键连贯施法对吧对我们这种手残党啊挺好挺好挺有帮助对防不住对用有一些智能施法之类的对孩子是吗啊真的是嗯是是就是降低新手的入门嗯哇这可以加上比如说一些有的人不想用手机玩他不习惯可以加上手柄啊什么的手柄就索尼的都打得更舒服一点对对对啊又加了一个销售点对对还对亏我哎这不是相对的也可以对所以这一下就可以嗯对来个腕儿表什么对但手柄可能就是额外需要买一些外设可能就是对啊但是这样可能我们的成本会提高或者我们可能跟别的公司去对接这些有一些具体的很多一些事情啊就有点儿不好了对吧对对对对就会有些人可能就会望而却步了嗯是是是确实没错对对对是嗯我觉得还是这个还可以去玩想想再我们可以再想些别的对吧比如手游手柄可能这些对我们就可以降低成本减少我们中途的这些流程啊让我们可以对吧毕竟我们是盈利嘛嗯对对对降低成本对对对对就是手机的和手机的玩手柄和手柄的玩对手机手柄也能玩啊对对对可以可以是还有手手柄手柄的玩儿对对对哎这样可能也好点儿对吧毕竟要不你不能你拿个手柄你虐我这手机丢掉我有点儿不开心了对对对这样有点儿不太好了对对对对所以你又觉得感觉不太公平或者说人家操作的简难易程度就不太一样了是是对…

模型输出 (hyp_text)

你为了它就用一些智能式吧师承师法比如摁一个按键连贯是吧对吧跟我们那种手残党对吧对吧这就能降低新手的入门嘛我这可以加上比如说一些有的人不想用手机玩他不习惯可以加个手柄啊什么的手柄是索尼打的更舒服一点对对对而且加上也是一个特点但手柄可能就是额外需要买一些外设对呀但是这样可能说我们成本会提高或者说我们要跟游戏公司去对接这有些东西可能就会忘了确实确实没错就有点不好了是吧我觉得还是这个还可以去玩一下再我们可以再想些别的对吧比如说手柄手柄可能可以对我们去降低成本减少我们中途的这些流程啊然后可以对吧就是毕竟我们是盈利的手机的和手机的玩手柄和手柄的玩啊哎这样也可以要不你不能你拿个手柄捏我的手机就有点然后你就觉得感觉不太公平对对操作的简难易程度就不太一样了

说话人与时间戳对比

类型说话人开始 (s)结束 (s)文本
GTN_SPK80330.00011.320你就会它操作啊,对智能施法,比如摁一个键连贯施法对吧,对我们这种手残党啊挺好挺好,挺有帮助对,防不住。
GTN_SPK80340.4302.450对,用有一些智能施法之类的。
GTN_SPK80320.9804.080对孩子是吗?啊,真的是。
GTN_SPK80313.2503.700嗯。
GTN_SPK80325.6806.050是。
GTN_SPK80317.8708.260是。
GTN_SPK80348.1309.890就是降低新手的入门。
GTN_SPK80319.0509.380嗯。
GTN_SPK803210.31019.440哇这可以加上,比如说一些有的人不想用手机玩,他不习惯可以加上手柄啊什么的,手柄就索尼的都打得更舒服一点,对对对,啊又加了一个销售点。
GTN_SPK803110.63011.440对对。
GTN_SPK803313.34019.370还,对亏我,哎,这不是相对的,也可以对,所以这一下就可以。
GTN_SPK803115.10015.510嗯。
GTN_SPK803117.18020.190对,来个腕儿表什么,对。
GTN_SPK803420.57024.300但手柄可能就是,额外需要买一些外设,可能就是。
GTN_SPK803323.31032.070对啊,但是这样可能我们的成本会提高,或者我们可能跟别的公司去对接这些有一些具体的很多一些事情啊,就有点儿不好了。对吧。
GTN_SPK803224.35024.630对。
GTN_SPK803425.96026.810对对对就。
GTN_SPK803427.81029.690会有些人可能就会望而却步了。
GTN_SPK803128.35028.830嗯。
GTN_SPK803229.26032.010是是是,确实没错,对对对。
GTN_SPK803131.39031.910是。
GTN_SPK803431.42031.890嗯。
GTN_SPK803332.68045.310我觉得还是这个还可以去玩,想想再我们可以再想些别的,对吧比如手游手柄,可能这些对我们就可以降低成本。减少我们中途的这些流程啊,让我们可以对吧,毕竟我们是盈利嘛。
GTN_SPK803136.71037.070嗯。
GTN_SPK803436.79037.190对。
GTN_SPK803237.14037.400对。
GTN_SPK803240.05041.750对降低成本,对。
GTN_SPK803442.57049.060对对对,就是手机的和手机的玩手柄和手柄的玩,对。
GTN_SPK803246.09050.620手机手柄也能玩啊,对对对可以可以,是。
GTN_SPK803146.67049.490还有手手柄手柄的玩儿对对。
GTN_SPK803347.22055.910对,哎,这样可能也好点儿,对吧,毕竟要不你不能你拿个手柄,你虐我这手机丢掉,我有点儿不开心了。对对对这样有点儿不太好了。
GTN_SPK803452.39053.110对对对对。
GTN_SPK803252.40056.950所以你又觉得感觉不太公平,或者说人家操作的简难易程度就不太一样了。
GTN_SPK803152.62054.250是是。
GTN_SPK803454.62055.270对对对。
GTN_SPK803156.54056.880对。
Predspeaker10.0008.440你为了它就用一些智能式吧,师承师法,比如摁一个按键连贯是吧,对吧?跟我们那种手残党,对吧?对吧?这就能降低新手的入门嘛。
Predspeaker28.44015.440我这可以加上,比如说一些有的人不想用手机玩,他不习惯,可以加个手柄啊什么的。手柄是索尼打的更舒服一点,对对对。而且加上也是一个特点。
Predspeaker216.47019.440但手柄可能就是额外需要买一些外设。对呀,但是这样可能说我们成本会提高,或者说我们要跟游戏公司去对接,这有些东西可能就会忘了,确实确实没错,就有点不好了,是吧?我觉得还是这个还可以去玩一下,再我们可以再想些别的,对吧?比如说手柄手柄,可能可以对我们去降低成本,减少我们中途的这些流程啊,然后可以,对吧?就是毕竟我们是盈利的。手机的和手机的玩,手柄和手柄的玩啊。哎,这样也可以,要不你不能你拿个手柄捏我的手机就有点,然后你就觉得感觉不太公平,对对,操作的简难易程度就不太一样了。
查看原始模型输出 (prediction_raw)
{"segments":[{"index":1,"start":0.00,"end":8.44,"speaker":"speaker1","text":"你为了它就用一些智能式吧,师承师法,比如摁一个按键连贯是吧,对吧?跟我们那种手残党,对吧?对吧?这就能降低新手的入门嘛。"},{"index":2,"start":8.44,"end":15.44,"speaker":"speaker2","text":"我这可以加上,比如说一些有的人不想用手机玩,他不习惯,可以加个手柄啊什么的。手柄是索尼打的更舒服一点,对对对。而且加上也是一个特点。"},{"index":3,"start":16.47,"end":19.44,"speaker":"speaker2","text":"但手柄可能就是额外需要买一些外设。对呀,但是这样可能说我们成本会提高,或者说我们要跟游戏公司去对接,这有些东西可能就会忘了,确实确实没错,就有点不好了,是吧?我觉得还是这个还可以去玩一下,再我们可以再想些别的,对吧?比如说手柄手柄,可能可以对我们去降低成本,减少我们中途的这些流程啊,然后可以,对吧?就是毕竟我们是盈利的。手机的和手机的玩,手柄和手柄的玩啊。哎,这样也可以,要不你不能你拿个手柄捏我的手机就有点,然后你就觉得感觉不太公平,对对,操作的简难易程度就不太一样了。"}]}
音频路径:/cpfs/user/jingpeng/workspace/nfs/data/test/sa_asr/test_sa_asr/audio/60s/alimeeting_R8004_M8006_chunk_0006.wav
10. R8002_M8002_chunk_00305_00326
AliMeeting · 大量删除 说话人塌缩 时间戳漂移
CER100.0%
DER@0.25100.0%
说话人4→0
边界MAE999.00s
结尾误差58.73s

说话人严重塌缩:参考 4 人,模型只输出 0 人;大量文本被删除:删除率达 100.0%,输出长度比仅 0.00;时间戳漂移严重:边界 MAE 999.0s,结尾误差 58.7s。DER@0.25 高达 100.0%,说话人归属与切分同时失效,导致对话结构难以恢复。

参考文本 (answer)

有有有有有舞台有舞台有有你一看你就几个人表演你两3个人表演肯定够了不不是不能肯肯定不能是剧院的那么大小啊对就是大一点儿的会有是吧不它它的舞台大不大你光是光那两3个人的节目不行啊咱们一个部门就没有多少人嘛你得你得有不是可以多部多部门联合表演一个节目啊不他问题他要跳个舞就得要个台子呀就得有个场地对你跳个舞不用不用其实就是轰趴馆一般1层都是吃饭的嘛剩下一半就是就前面儿大屏幕唱歌儿的然后呢那个会有表演的区域就是装下7~8个人7~8个人没问题嗯它那个表演区域没有没不是我没去过表演的它表演的区域不是一个高台上面吗没现在没有高台儿现在就是一个你知道你知道ktv吗就跟ktv前面一个房间不不不不是没有就你说他没有那个舞台的效果嗯那多没意思啊那没意思啊那咱们可以是不是可以搭一下啊是吧不是你弄一高台儿就没人愿意表演了现在的表演全都是就是比较接地气儿了就是在啊大家一个房间然后他在前面表演啊你说你你说让你去那太麻烦现搭太麻烦就像街舞似的啊就像街舞大家围1块儿似的啊你说让你去一个高台儿上一个剧院表演谁愿意去啊就是没人报名了就然后就还有就是不是不是特高

模型输出 (hyp_text)

(空)

说话人与时间戳对比

类型说话人开始 (s)结束 (s)文本
GTN_SPK80050.00012.580有,有有有,有舞台,有舞台,有有,你一看,你就几个人表演你两三个人表演肯定够了,不不是不能肯,肯定不能是剧院的那么大小啊,对。
GTN_SPK80072.3903.800就是大一点儿的会有,是吧?
GTN_SPK80082.4804.000不它它的舞台大不大。
GTN_SPK80087.65010.050你光是,光那两三个人的节目不行啊。
GTN_SPK800710.84012.480咱们一个部门就没有多少人嘛。
GTN_SPK800811.08015.430你得,你得有,不是,可以多部多部门联合表演一个节目啊。
GTN_SPK800614.48018.730不,他问题他要跳个舞,就得要个台子呀,就得有个场地。
GTN_SPK800817.61018.460对,你跳个舞。
GTN_SPK800518.06029.710不用不用,其实就是,轰趴馆一般一层都是吃饭的嘛,剩下一半就是就,前面儿大屏幕唱歌儿的,然后呢?那个会有表演的区域,就是装下七八个人,七八个人没问题嗯。
GTN_SPK800826.56028.400它那个表演区域没有,没。
GTN_SPK800829.50033.600不是我没去过,表演的,它表演的区域不是一个高台上面吗?
GTN_SPK800533.86041.280没现在没有高台儿,现在就是一个,你知道,你知道KTV吗?就跟KTV前面一个房间,不不不。
GTN_SPK800634.20038.140不是没有,就你说他没有那个舞台的效果。
GTN_SPK800737.78038.170嗯。
GTN_SPK800838.16040.950那多没意思啊,那没意思啊。
GTN_SPK800740.02042.700那咱们可以是不是可以搭一下啊,是吧?
GTN_SPK800542.37052.910不是你弄一高台儿就没人愿意表演了,现在的表演全都是就是比较接地气儿了,就是在啊,大家一个房间然后他在前面表演啊你说,你你说让你去。
GTN_SPK800843.27044.860那太麻烦,现搭太麻烦。
GTN_SPK800850.59054.190就像街舞似的啊,就像街舞大家围一块儿似的啊?
GTN_SPK800553.82058.710你说让你去一个高台儿上,一个剧院表演,谁愿意去啊?就是没人报名了就。
GTN_SPK800657.34058.690然后就还有就是。
GTN_SPK800857.68058.730不是,不是特高。
查看原始模型输出 (prediction_raw)
{"segments":[{"index":1,"start":0.00,"end":1.44,"speaker":"speaker2","text":"不大是吧?跟那玩。"}, {"index":2,"start":1.44,"end":2.56,"speaker":"speaker1","text":"有有有有舞台。"}, {"index":3,"start":2.84,"end":4.24,"speaker":"speaker2","text":"它这舞台大不大?"}, {"index":4,"start":4.44,"end":7.44,"speaker":"speaker1","text":"你你就几个人表演,你两三个人表演肯定够了。"}, {"index":5,"start":7.64,"end":10.24,"speaker":"speaker2","text":"你光光那两三个人的节目不行啊。"}, {"index":6,"start":10.24,"end":13.44,"speaker":"speaker1","text":"肯定不能是剧院,完全那么大,那没有多少人呢。"}, {"index":7,"start":13.44,"end":16.44,"speaker":"speaker2","text":"你得有,可以多部门多部门联合表演的节目。"}, {"index":8,"start":16.44,"end":19.12,"speaker":"speaker1","text":"那问题他要跳个舞就得要个台子呀。"}, {"index":9,"start":19.12,"end":28.44,"speaker":"speaker1","text":"其实就是轰趴馆一般一层都是吃饭的嘛,剩下一半就是这种前面大屏幕唱歌的,然后呢那个会有表演的区域,就是装的…
音频路径:/cpfs/user/jingpeng/workspace/nfs/data/test/sa_asr/test_sa_asr/audio/60s/alimeeting_R8002_M8002_chunk_0014.wav

AISHELL-4 (中文)

11. L_R003S01C02_chunk_00424_00436
AISHELL-4 · 说话人塌缩 重复/卡顿 时间戳漂移
CER64.7%
DER@0.2563.3%
说话人5→2
边界MAE8.20s
结尾误差28.15s

说话人严重塌缩:参考 5 人,模型只输出 2 人;时间戳漂移严重:边界 MAE 8.2s,结尾误差 28.2s;存在重复/卡顿现象:重复 token 占比 21.2%。DER@0.25 高达 63.3%,说话人归属与切分同时失效,导致对话结构难以恢复。

参考文本 (answer)

物业的安全有没有再这个请放心是吧是刚才说的这几点儿呗呃像早起像早起的天还没没亮呢这这个来回的摸东西这个嗯呃是不是咱咱保安需要走动走动驱赶驱赶有的是咱本小区的这避免不了有些外小区的过来对这个偷摸儿的这些咱也不知道人家翻啥呢可能也是呃收破烂的对收破烂的收破烂的呃有也有可能说是小偷小摸的着急看悄悄看人家有没有人儿趁谁不注意呃去人家盗点儿财物等还有就是

模型输出 (hyp_text)

你这个对它物业的安全你没有点那个请放心是吧对就是刚才说的那几点呗那个像早起像早起这天还没没亮呢那来回的摸东西那个是不是咱咱保安要走动走动驱赶驱赶有的是咱本小区的这避免不了

说话人与时间戳对比

类型说话人开始 (s)结束 (s)文本
GT006-M0.0005.680物业的安全有没有再这个
GT004-M3.0224.645请放心是吧
GT007-M5.93014.580是刚才说的这几点儿呗呃像早起像早起的天还没没亮呢这
GT007-M14.61516.917这个来回的摸东西这个。
GT002-F16.91717.332
GT007-M17.33220.008呃是不是咱咱保安,
GT007-M20.44827.890需要走动走动驱赶驱赶,有的是咱本小区的这避免不了有些外小区的过来
GT002-F25.89126.189
GT007-M27.94634.731这个偷摸儿的这些咱也不知道人家翻啥呢可能也是呃收破烂的
GT002-F28.27628.627
GT002-F34.72135.574收破烂的
GT003-F35.51136.251收破烂的
GT007-M36.47649.590呃有也有可能说是小偷小摸的着急看悄悄看人家有没有人儿趁谁不注意呃去人家盗点儿财物等还有就是
Predspeaker10.3203.440你这个对它物业的安全,你没有点那个,请放心是吧?对。
Predspeaker25.72016.840就是刚才说的那几点呗,那个像早起,像早起这天还没没亮呢,那来回的摸东西那个。
Predspeaker217.47021.440是不是咱咱保安要走动走动驱赶驱赶?有的是咱本小区的,这避免不了。
查看原始模型输出 (prediction_raw)
{"segments":[{"index":1,"start":0.32,"end":3.44,"speaker":"speaker1","text":"你这个对它物业的安全,你没有点那个,请放心是吧?对。"},{"index":2,"start":5.72,"end":16.84,"speaker":"speaker2","text":"就是刚才说的那几点呗,那个像早起,像早起这天还没没亮呢,那来回的摸东西那个。"},{"index":3,"start":17.47,"end":21.44,"speaker":"speaker2","text":"是不是咱咱保安要走动走动驱赶驱赶?有的是咱本小区的,这避免不了。"}]}
音频路径:/cpfs/user/jingpeng/workspace/nfs/data/test/sa_asr/test_sa_asr/audio/60s/aishell4_L_R003S01C02_chunk_0033.wav
12. S_R003S01C01_chunk_00441_00481
AISHELL-4 · 大量删除 说话人塌缩 时间戳漂移
CER100.0%
DER@0.25100.0%
说话人5→0
边界MAE999.00s
结尾误差58.38s

说话人严重塌缩:参考 5 人,模型只输出 0 人;大量文本被删除:删除率达 100.0%,输出长度比仅 0.00;时间戳漂移严重:边界 MAE 999.0s,结尾误差 58.4s。DER@0.25 高达 100.0%,说话人归属与切分同时失效,导致对话结构难以恢复。

参考文本 (answer)

嗯进行处理对对两三种菜对两到现在对咱们就应该是两三种菜绿叶菜啦豆制品啦是吧对这个品种多放到1块儿把它对这样对包到1块儿包到1块儿比如说2个香菇啦1把儿油麦啦那就在一个袋子里面对也也让他们再放一些金针菇啦就就跟套餐一样包在一个包装里边儿啊¥51袋儿啊¥6~6¥61袋儿就是品种比较多对也可以贴一个标签儿哎对对对对量种类多一点儿反而好卖一些嗯啊啊是对所以看你有的你弄一大袋子他会他1顿他吃不完他有的时候他回去想吃两种菜对对对是那个量量就不能太多了是吧你是就吃就吃1次然后你要两三种菜放到1块儿对那量就小一些种类多一些量少一些嗯这也是这也好比东北那个大拌菜什么都有类似这种的咱把这个对对对是是是啊嗯是是就两三种菜嗯呃把这种不新鲜的就是赶紧及时的处理嗯包括能放的咱及时就是嗯放到冷库第2天进行售卖嗯嗯包括就是家电这1块儿啊也是呃呃

模型输出 (hyp_text)

(空)

说话人与时间戳对比

类型说话人开始 (s)结束 (s)文本
GT001-M0.0001.459嗯进行处理,
GT004-F1.3362.886对对两三种菜,
GT001-M2.8993.268
GT004-F3.2225.902两到现在对咱们就应该是两三种菜
GT004-F5.9977.988绿叶菜啦,豆制品啦是吧
GT001-M7.8628.734对这个
GT005-M8.4579.343品种多
GT003-M8.74010.114放到一块儿把它
GT005-M9.65210.390对这样
GT002-F9.88010.939对包到一块儿
GT001-M10.81011.675包到一块儿
GT002-F11.35513.700比如说两个香菇啦,一把儿油麦啦
GT003-M13.73915.443那就在一个袋子里面
GT002-F14.84617.393对。也也让他们再放一些金针菇啦
GT005-M16.51519.377就就跟套餐一样,包在一个,包装里边儿
GT002-F17.83223.170啊五元一袋儿啊,六六元六元一袋儿就是品种比较多
GT001-M18.02520.519对也可以贴一个标签儿
GT005-M20.06221.414哎,对对对对
GT005-M21.90622.410
GT005-M22.81924.681种类多一点儿,反而好卖一些嗯
GT002-F23.59223.902
GT003-M23.87324.616啊是
GT001-M24.50524.777
GT001-M24.90930.539所以看你有的你弄一大袋子,他会他,一顿他吃不完,他有的时候,他回去想吃两种菜
GT005-M30.55032.167对对对是,
GT003-M31.69334.204那个量量就不能太多了是吧
GT002-F31.93937.084你是就吃,就吃一次,然后你要两三种菜放到一块儿
GT005-M33.62535.174对那量就小一些,
GT005-M35.47937.165种类多一些,量少一些嗯
GT001-M37.43344.505这也是这也好比,东北那个大拌菜,什么都有,类似这种的,咱把这个
GT005-M41.28642.749对对对,是是是
GT002-F41.80142.053
GT002-F42.98243.491
GT005-M43.11843.767是是
GT002-F43.73244.777就两三种菜
GT005-M44.85645.351
GT001-M44.92048.163呃把这种不新鲜的就是赶紧及时的处理,
GT003-M48.36948.822
GT001-M48.53952.501包括能放的,咱及时就是嗯放到冷库,第二天进行售卖
GT003-M53.07753.551
GT001-M53.69258.381嗯包括就是家电这一块儿啊,也是呃呃
查看原始模型输出 (prediction_raw)
{"segments":[{"index":1,"start":0.24,"end":1.44,"speaker":"speaker1","text":"呃进行处理。"},{"index":2,"start":1.77,"end":2.77,"speaker":"speaker2","text":"对对,两三种菜。"},{"index":3,"start":2.92,"end":5.77,"speaker":"speaker2","text":"对,两个现在对,咱们就应该是两三种菜。"},{"index":4,"start":6.17,"end":8.41,"speaker":"speaker2","text":"就一个菜啦,豆制品啦,是吧?"}, {"index":5,"start":8.41,"end":9.20,"speaker":"speaker1","text":"对,这个就就。"}, {"index":6,"start":9.44,"end":11.20,"speaker":"speaker2","text":"品种多到一块儿嘛,咱。"}, {"index":7,"start":11.20,"end":12.41,"speaker":"speaker1","text":"对,包到一块儿,包到一块儿。"}, {"index":8,"start":12.77,"end":15.44,"speaker":"speaker2","text":"比如说两个香菇啦,一把油麦啦。"}, {"index":9,"start":15.84,"end":17.12,"speaker":"speaker1","那就在一个袋子里面。"}, {"index":10,"start":17.12,"end":20.44,"speaker":"speaker2","text":"对,一比如说还…
音频路径:/cpfs/user/jingpeng/workspace/nfs/data/test/sa_asr/test_sa_asr/audio/60s/aishell4_S_R003S01C01_chunk_0029.wav
13. L_R003S04C02_chunk_00108_00115
AISHELL-4 · 时间戳漂移 重复/卡顿
CER31.9%
DER@0.2557.6%
说话人1→1
边界MAE4.18s
结尾误差19.19s

时间戳漂移严重:边界 MAE 4.2s,结尾误差 19.2s;存在重复/卡顿现象:重复 token 占比 19.7%。DER@0.25 高达 57.6%,说话人归属与切分同时失效,导致对话结构难以恢复。

参考文本 (answer)

你说这这这这孩子上学交学费老婆呃要买衣服嗯家庭要用度你说你说这这这这呃俗话儿说阎王还不差饿鬼呐是吧怎么都这这喂饱了吧这这这这个这个当然啦领导也有领导的难处哈我先表个态啊那个咱这个条件有限还希望您能跟这个上边儿再交涉交涉好歹好歹这这这得把这个底下的这个员工得喂饱啊对吧你你你光说呃干这干那嘞

模型输出 (hyp_text)

你说这这这这孩子上学交学费老婆要买衣服家庭要用度你说你说这这这这工作这肚子你说150000多你那旺财不成了恶鬼呢是吧怎么着就是先得把肚皮喂饱了嘛这这这个这个当然啦领导也有领导的难处哈我先表个态啊那个咱这个条件有限还希望您能跟这个上面再交涉交涉好歹好歹你把这个底下的这个员工给喂饱啊对吧你光是说干这干那么累

说话人与时间戳对比

类型说话人开始 (s)结束 (s)文本
GT005-M0.0002.665你说这这这这
GT005-M2.97018.585孩子上学交学费老婆呃要买衣服嗯家庭要用度你说你说这这这这呃俗话儿说阎王还不差饿鬼呐是吧
GT005-M18.66522.025怎么都这这喂饱了吧
GT005-M24.22026.770这这这这个这个
GT005-M26.91030.630当然啦领导也有领导的难处哈
GT005-M34.73539.005我先表个态啊那个
GT005-M41.26553.035咱这个条件有限还希望您能跟这个上边儿再交涉交涉好歹好歹这这这得把这个底下的这个员工
GT005-M53.28558.625得喂饱啊对吧你你你光说呃干这干那嘞
Predspeaker10.2408.440你说这这这这孩子上学交学费,老婆要买衣服,家庭要用度,你说,你说这这这这工作这肚子,你说十五万多,你那旺财不成了恶鬼呢?是吧?
Predspeaker18.97012.470怎么着就是先得把肚皮喂饱了嘛。
Predspeaker114.41019.440这这这个这个当然啦,领导也有领导的难处哈。
Predspeaker122.67031.440我先表个态啊,那个咱这个条件有限,还希望您能跟这个上面再交涉交涉。
Predspeaker131.87036.440好歹好歹,你把这个底下的这个员工给喂饱啊,对吧?
Predspeaker136.97039.440你光是说干这干那么累。
查看原始模型输出 (prediction_raw)
{"segments":[{"index":1,"start":0.24,"end":8.44,"speaker":"speaker1","text":"你说这这这这孩子上学交学费,老婆要买衣服,家庭要用度,你说,你说这这这这工作这肚子,你说十五万多,你那旺财不成了恶鬼呢?是吧?"},{"index":2,"start":8.97,"end":12.47,"speaker":"speaker1","text":"怎么着就是先得把肚皮喂饱了嘛。"}, {"index":3,"start":14.41,"end":19.44,"speaker":"speaker1","text":"这这这个这个当然啦,领导也有领导的难处哈。"}, {"index":4,"start":22.67,"end":31.44,"speaker":"speaker1","text":"我先表个态啊,那个咱这个条件有限,还希望您能跟这个上面再交涉交涉。"}, {"index":5,"start":31.87,"end":36.44,"speaker":"speaker1","text":"好歹好歹,你把这个底下的这个员工给喂饱啊,对吧?"}, {"index":6,"start":36.97,"end":39.44,"speaker":"speaker1","text":"你光是说干这干那么累。"}]}
音频路径:/cpfs/user/jingpeng/workspace/nfs/data/test/sa_asr/test_sa_asr/audio/60s/aishell4_L_R003S04C02_chunk_0009.wav
14. M_R003S04C01_chunk_00250_00279
AISHELL-4 · 说话人塌缩 重复/卡顿
CER45.0%
DER@0.2577.0%
说话人5→2
边界MAE2.23s
结尾误差6.43s

说话人严重塌缩:参考 5 人,模型只输出 2 人;存在重复/卡顿现象:重复 token 占比 12.8%。DER@0.25 高达 77.0%,说话人归属与切分同时失效,导致对话结构难以恢复。

参考文本 (answer)

嗯咱要说跑唠叫那专业会说资深老嘞那个销售经验高嘞那你们也也不算是新的啊我们是是是嗯销售那怕不是那啥哦我要是找的一些老售销售都在那儿在那儿他得呃那俺给你拉过来那拉过他也让我主管我去给你介绍啊啊拉过来那个你就是就是他他向那他以后就是你找尽量留住他叫他买了吧万一俺说着说不着不是咱要是是你留住你怎么留住啊你怎么个留住法啊啊就是跟人介绍这个房子啊啊户型方正南北通透对咱要把他房子这个所有这个好的这一方面给客户都介绍到嗯然后设计的非常合理对那个楼间距咱们这个这这这个这个楼盘楼间距特别的大绿化绿化面积那个挺挺大然后可以提供参考嗯然后咱咱不是咱在这个这个咱在这小区还嗯

模型输出 (hyp_text)

咱要说不好了叫那专业会说自身老了那个销售经验高了给他跟人家搞了跟那咱也也不算是新的啊销售再怕我要是找那一些老的销售那咱那咱得那哪给你拉过来拉过来你就你不是就是他他上那啥以后就你只要尽量留住他咱买了吧万一他说了说不到呢这你留住你怎么留住啊你怎么个留住法呀找那个咱现在说这个房子户型方正南北通套对咱要把咱房子这个所有的然后设计的咱房子和那个客户的介绍道对那个楼间距咱们这个是是这个这个楼盘楼间距特别的大绿化绿化面积可以做参考可以这样看然后咱咱不是咱在这个这个咱在这小区还嗯

说话人与时间戳对比

类型说话人开始 (s)结束 (s)文本
GT003-F0.0003.950嗯咱要说跑唠叫那专业会说资深
GT004-F4.2757.069老嘞那个销售经验高嘞。
GT001-M6.9819.811那你们也也不算是新的啊
GT004-F9.70311.500我们是是是嗯
GT001-M10.10710.680销售
GT004-F11.60813.325那怕不是那啥
GT001-M12.09116.362哦我要是找的一些老售销售都在那儿,在那儿他得呃
GT004-F16.00717.713那俺给你拉过来
GT001-M17.76121.442那拉过他也,让我主管我去给你介绍啊啊
GT004-F20.04927.860拉过来那个你就是,就是他他向那他以后就是你找尽量留住他叫他买了吧,万一俺说着说不着
GT005-F21.83722.820不是咱要是
GT001-M27.97131.148是你,留住,你怎么留住啊,你怎么个留住法啊啊
GT006-F31.30833.194就是跟人介绍这个房子
GT001-M31.67432.049
GT001-M33.48234.168
GT006-F33.54135.704户型方正南北通透
GT005-F35.70340.346对咱要把他房子这个所有这个好的这一方面,给客户都介绍到
GT006-F36.54737.113
GT006-F37.18339.392然后设计的非常合理
GT004-F40.37640.771
GT005-F40.65641.300那个
GT006-F40.97341.989楼间距
GT006-F42.36248.500咱们这个这这这个,这个楼盘楼间距特别的大,绿化绿化面积
GT005-F45.46846.546那个
GT006-F49.65450.752挺,挺大
GT006-F50.83351.630然后,
GT003-F50.87752.174可以提供参考
GT006-F52.22752.544
GT006-F52.75556.163然后,咱,咱不是咱在这个这个
GT006-F56.28958.834咱在这小区还,嗯
Predspeaker10.3207.840咱要说不好了,叫那专业会说,自身老了那个销售经验高了,给他跟人家搞了跟。
Predspeaker27.84011.440那咱也也不算是新的啊,销售。再怕。我要是找那一些老的销售,那咱那咱得。
Predspeaker114.44023.760那哪给你拉过来?拉过来你就你不是就是他他上那啥以后,就你只要尽量留住他,咱买了吧,万一他说了说不到呢?
Predspeaker223.76026.880这你留住你怎么留住啊?你怎么个留住法呀?找那个。
Predspeaker127.44031.440咱现在说这个房子,户型方正,南北通套。对,咱要把咱房子这个所有的。
Predspeaker231.44035.440然后设计的,咱房子和那个客户的介绍道,对,那个。
Predspeaker136.24042.400楼间距,咱们这个是是这个这个楼盘楼间距特别的大,绿化,绿化面积。
Predspeaker244.40046.400可以做参考,可以这样看。
Predspeaker146.40052.400然后咱咱不是咱在这个这个,咱在这小区还嗯。
查看原始模型输出 (prediction_raw)
{"segments":[{"index":1,"start":0.32,"end":7.84,"speaker":"speaker1","text":"咱要说不好了,叫那专业会说,自身老了那个销售经验高了,给他跟人家搞了跟。"},{"index":2,"start":7.84,"end":11.44,"speaker":"speaker2","text":"那咱也也不算是新的啊,销售。再怕。我要是找那一些老的销售,那咱那咱得。"},{"index":3,"start":14.44,"end":23.76,"speaker":"speaker1","text":"那哪给你拉过来?拉过来你就你不是就是他他上那啥以后,就你只要尽量留住他,咱买了吧,万一他说了说不到呢?"},{"index":4,"start":23.76,"end":26.88,"speaker":"speaker2","text":"这你留住你怎么留住啊?你怎么个留住法呀?找那个。"},{"index":5,"start":27.44,"end":31.44,"speaker":"speaker1","text":"咱现在说这个房子,户型方正,南北通套。对,咱要把咱房子这个所有的。"},{"index":6,"start":31.44,"end":35.44,"speaker":"speaker2","text":"然后设计的,咱房子和那个客户的介绍道,对,那个。"},{"index":7,"start":36.24,"end":42.40,"speaker":"speaker1","text":"楼间距,咱们这个是是这个这个楼盘楼间距特别的大,绿化,绿化面积。"}, {"index":8,"start":44.40,"end":46.40,"speaker":"speaker2","text":"可以做参考…
音频路径:/cpfs/user/jingpeng/workspace/nfs/data/test/sa_asr/test_sa_asr/audio/60s/aishell4_M_R003S04C01_chunk_0012.wav
15. L_R004S02C01_chunk_00176_00194
AISHELL-4 · 其他
CER28.8%
DER@0.2559.8%
说话人3→2
边界MAE0.77s
结尾误差4.99s

综合错误较高:CER=28.8%,DER@0.25=59.8%。DER@0.25 高达 59.8%,说话人归属与切分同时失效,导致对话结构难以恢复。

参考文本 (answer)

但是我已经反映过很多次我已经找过很多次了只是你们没有去那好我们我们马上去清理好吗现在立刻马上对那声控灯呢声控灯这个需要联系消防部门儿去清理的因为这个是我们物业部是没有办法去维修那个东西的因为它是消防功能的它是需要消防部那边儿连接的咱们可以去到时候需要联系一下消防部门儿去维修水管儿我不需要洗澡吗你水管儿是你水管儿是在内部的东西的水管儿啊不是哪个部分的水管儿啊哪部分的水管儿是保保暖水管儿呢还是洗澡水管儿呢还是洗菜水管儿呢洗澡的洗澡的是咱们进热水器坏了呢还是里边儿的进水口儿坏了呢那咱们是不是可以联系一下那个热水器的商家去维修一下热水器

模型输出 (hyp_text)

但是我已经反应过很多次而且我已经找过很多次我们只是你们没有去我们马上去清理好吗现在立刻马上对那声控灯呢声控灯这个需要联系消防部门去清理的因为那个是我们物业部是没有办法去维修那个东西的因为它是消防声控灯它是需要消防部那边连接的咱们可以去到时候需要联系一下消防部门去维修但我就想问问那个水管为什么还没有2天了那个我不需要洗澡不是你水管是你水管是咱们家庭内部的东西哪部分的水管但我我联系过的哪个部分的水管哪部分的水管是保保暖水管呢还是洗澡水管呢还是洗菜水管呢洗澡的洗澡的是咱们热水器坏了呢还是里边的进水口坏了呢一个热水2天没水就洗2天没水那咱们是不是可以联系一下那个热水器的商家去维修一下热水器呢

说话人与时间戳对比

类型说话人开始 (s)结束 (s)文本
GT007-M0.0004.734但是我已经反映过很多次,我已经找过很多次了只是你们没有去
GT002-M0.9921.694那好,
GT002-M2.5723.275我们
GT002-M4.9756.965我们马上去清理好吗。
GT007-M7.1768.300现在立刻马上
GT002-M8.3009.050
GT007-M9.37910.609那声控灯呢
GT002-M10.60015.070声控灯这个需要联系消防部门儿去清理的。因为这个是我们。
GT002-M15.32122.247物业部是没有办法去维修那个东西的,因为它是消防功能的,它是需要消防部那边儿连接的
GT002-M22.34525.735咱们可以去,到时候需要联系一下消防部门儿去维修
GT007-M25.74930.644水管儿,我不需要洗澡吗
GT002-M30.66032.426你水管儿是你
GT001-M32.43436.546水管儿是在内部的东西,的水管儿啊
GT001-M36.90138.909不是哪个部分的水管儿啊
GT002-M38.81241.033哪部分的水管儿
GT002-M41.06744.457是保保暖水管儿呢还是洗澡水管儿呢还是洗菜水管儿呢
GT007-M44.36745.343洗澡的
GT002-M46.03149.957洗澡的是咱们进热水器坏了呢还是里边儿的进水口儿坏了呢
GT002-M50.29857.849那咱们是不是可以联系一下那个热水器的商家去维修一下热水器
Predspeaker20.0003.440但是我已经反应过很多次,而且我已经找过很多次。
Predspeaker13.4405.440我们只是你们没有去,我们马上去清理好吗?
Predspeaker26.4107.270现在立刻马上。
Predspeaker17.4107.550对。
Predspeaker28.4709.160那声控灯呢?
Predspeaker19.40018.660声控灯这个需要联系消防部门去清理的,因为那个是我们物业部是没有办法去维修那个东西的,因为它是消防声控灯,它是需要消防部那边连接的。
Predspeaker119.17022.410咱们可以去到时候需要联系一下消防部门去维修。
Predspeaker222.60026.420但我就想问问,那个水管为什么还没有?两天了,那个我不需要洗澡。
Predspeaker127.17029.660不是你水管是你,水管是咱们家庭内部的东西。
Predspeaker230.67031.600哪部分的水管?
Predspeaker232.27033.220但我我联系过的。
Predspeaker133.61035.410哪个部分的水管?哪部分的水管?
查看原始模型输出 (prediction_raw)
{"segments":[{"index":1,"start":0.00,"end":3.44,"speaker":"speaker2","text":"但是我已经反应过很多次,而且我已经找过很多次。"}, {"index":2,"start":3.44,"end":5.44,"speaker":"speaker1","text":"我们只是你们没有去,我们马上去清理好吗?"}, {"index":3,"start":6.41,"end":7.27,"speaker":"speaker2","text":"现在立刻马上。"}, {"index":4,"start":7.41,"end":7.55,"speaker":"speaker1","text":"对。"}, {"index":5,"start":8.47,"end":9.16,"speaker":"speaker2","text":"那声控灯呢?"}, {"index":6,"start":9.40,"end":18.66,"speaker":"speaker1","text":"声控灯这个需要联系消防部门去清理的,因为那个是我们物业部是没有办法去维修那个东西的,因为它是消防声控灯,它是需要消防部那边连接的。"}, {"index":7,"start":19.17,"end":22.41,"speaker":"speaker1","text":"咱们可以去到时候需要联系一下消防部门去维修。"}, {"index":8,"start":22.60,"end":26.42,"speaker":"speaker2","text":"但我就想问问,那个水管为什么还没有?两天了,那个我不需要洗澡。"}, {"index":9,"start":27.17,"end":29.66,"speaker":"speaker1","tex…
音频路径:/cpfs/user/jingpeng/workspace/nfs/data/test/sa_asr/test_sa_asr/audio/60s/aishell4_L_R004S02C01_chunk_0015.wav

数据质量检查与清洗

已识别并剔除音频-参考时间戳对齐异常样本。这些样本的参考标注结束时间超出实际音频长度,主要由 AMI 预处理脚本在重叠语音场景下错误使用 chunk 内最后一个 utterance 的结束时间作为 chunk 结束时间导致。

数据集原始样本数异常样本数清洗后样本数异常率最严重样本音频时长参考最大结束时间超出时长
AMI59919640332.72%IS1009c_chunk_00195_0019643.792s128.400s+84.608s
AliMeeting68916352623.66%R8008_M8015_chunk_00417_0042745.030s58.840s+13.810s
AISHELL-4804597457.34%L_R003S02C02_chunk_00220_0023151.372s57.180s+5.808s

典型案例:IS1009c_chunk_00195_00196

该音频文件实际时长仅 43.792 秒,但参考标注中最大结束时间为 128.400 秒,超出 84.608 秒。 这说明参考标注的时间戳基于一个更长的原始会话,而不是当前音频片段。此类样本的 WER、DER、边界误差等指标不具可比性,已整体剔除。

根因分析 1:切分脚本错误地取最后一个 utterance 的 end 作为 chunk_end

三个切分脚本都有同样的实现:

原代码:

c_end = safe_float(chunk_utts[-1].get("end"), None)

该实现假设 chunk 内最后一个 utterance(按 start 排序)的结束时间即为 chunk 的结束时间。但在会议场景中,重叠语音非常常见:一个长 utterance 还没结束,另一个短 utterance 已经开始。按 start 排序后,后加入的短 utterance 可能排在后面,但它的 end 却早于前面那个长 utterance。脚本把这个较短的 end 当作 chunk_end 去截断音频,却保留了完整长 utterance 的参考文本,造成音频被截断、参考标注“悬空”。

已修复:c_end 改为 chunk 内所有 utterance end 的最大值:

c_end = max((safe_float(u.get("end"), None) for u in chunk_utts), default=None)

并在切分后增加校验:如果参考最大结束时间超过实际音频时长 0.5s 以上,打印警告。

根因分析 2:分析代码把 start=0.0 的句子错误排到最后

/cpfs/user/jingpeng/workspace/dots_post_train/evaluation/evaluate_sa_asr_meeteval.py 原第 79 行:

rows.sort(key=lambda x: (safe_float(x.get("start")) or 1e18, safe_float(x.get("end")) or 1e18))

当 utterance 的 start=0.0 时,safe_float 返回 0.0,而 0.0 or 1e18 会把 0.0 当 falsy 处理,导致这些句子被排到末尾。于是 build_reference_segments 把第二个句子的开始时间误当作 chunk_start,让包含首句的 chunk 产生负时间戳(例如 ES2004c_chunk_00000_00006 中首句相对时间变成 -17.379s)。这个 bug 只影响可视化与检测,并不会让音频被截断。

已修复:新增 _sort_key0.0 视为合法开始时间;同时 chunk_start 显式取选中 utterance 的最早 start

当前报告的处理方式

本报告中的 15 个 bad case 的参考时间戳已用修复后的 build_reference_segments 重新计算,因此不再出现负值。聚合指标(WER/CER、DER 等)仍基于原始评估输出的 per_sample_analysis.jsonl,但这些指标在剔除 418 个异常样本后,用于演示和对比已足够可靠。后续用修复后的切分脚本重新生成数据并重新评估,即可得到完全一致的指标。

其他潜在问题

结论与建议

已识别的关键问题

可落地的优化建议