我们是如何测试人工智能的（五）案例介绍：ASR 效果测试介绍

yihan · 2024 年4 月 2 日 02:10

我们是如何测试人工智能的（五）案例介绍：ASR 效果测试介绍

山治

什么是 ASR

ASR 是自动语音识别（Automatic Speech Recognition）的缩写，是一种将人的语音转换为文本的技术。这项技术涉及声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等多个学科。ASR 系统的性能受到识别词汇表的大小和语音的复杂性、语音信号的质量、单个说话人或多个说话人以及硬件等因素的影响。

数据收集

经过之前的介绍我们知道在评估模型的效果时，最重要的是收集到符合场景的测试数据。ASR 系统通常可以分为特定人和非特定人识别，以及小词汇量、中词汇量和大词汇量系统。根据语音的输入方式，可以分为孤立词、连接词和连续语音系统等。此外，还可以根据输入语音的发音方式（如朗读式和口语式）、方言背景（如普通话、方言背景普通话和方言语音识别系统）以及情感状态（如中性语音和情感语音识别系统）进行分类。所以其实大家可以看出来，要收集这么多类别的语音素材，也是非常麻烦的。我们之前这里有个兄弟，为了收集到足够的数据，专门申请下来一笔经费在平台上发布悬赏 – 给定特定的文本，悬赏不同年龄，性别，方言等条件下的人来朗读这些文本，把语音文件发送给这位兄弟来换取钱财。所以高质量数据的成本是不低的，记得我们前两个月有个项目，项目上准备了 20W 的预算来采买数据。这种数据比较难有取巧的方式，要不怎么说高质量数据是国内外模型最大的差距呢。

效果流程

数据收集
标注音频数据
将音频输入 ASR 算法模块得到输出结果（一个文本）
计算模型评估指标

评测数据集构建

这个我们上面说过，我们需要收集各种类别的数据，这部分工作十分重。不同的项目有不同的要求，比如我这里列一个可以从网络上下载到的数据的样例：

新闻类数据：覆盖 40 个综合新闻以及 31 个省市的 44 个主要综合类新闻数据，每一类节目挑选一个视频，每个视频时长大约为 30-60 分钟。
融媒体类数据：覆盖日报和电视台类输出的 app35 个，其中主要包含了下载超百万的 app，包含有（人民日报，大众日报，北京日报，湖北日报，广州日报，河北日报，工人日报，河南日报，光明日报，中国青年报，南方都市报，新华社，南方周末，新民，羊城派，，荔枝新闻），这一类 app 每个挑选 100 个视频素材，其余低下载量的选择 20 个素材（主要依据下载量的比例来确定挑选的测试数据比例）
体育类，综艺类，影视剧类等等。。。。要搞数据太难了，好在我们团队有专门的数据组。

数据标注规范

主要需要标注的内容有：文本转写，标点符号转写，说话人区间分离，无效数据区间标注。这里还是只给一些规范上的样例：

转写内容与实际发音内容一致，转写的字正确率要达到 99%；但是，对于因为口音或者个人习惯导致的音变，仍按照原内容转写。（比如把 “银行”，读成了 ying 2 hang2，按照 “银行” 转写；另外，对于多音字或实际生活中易混淆的字，按照原内容转写：比如办公室的 “室”，有的人读 shi3 ，有的人读 shi4 ，请按照正确的字 “办公室” 转写即可）
转写内容的完整性要与实际发音一致，不得删减；（如发音为：我是北北京人；“北” 字有重复现象，那转写的时候要写成：我是北，北京人。）
转写遇到人名时，按照常用字词表示即可，没有特定的字词规定。如:李珊、李山、李姗等；
遇到数字，按照数字的汉字写法 “一二三” 形式，而不是 “123” 阿拉伯数字形式；（如果有电报读法，如幺幺零等，按照电报读法进行转写；）
遇到网络用语时，如实际发音是 “灰常”“孩纸”“童鞋”，也应该写成 “灰常”“孩纸”“童鞋”，不能写成 “非常”“孩子”“同学”。
儿化音：
- 原音频有儿化音，则转写中应带有 “儿”，以 “哪儿” 为例，如果读出了儿化，则转写为 “哪儿”；
- 原音频无儿化音，则转写中不应带有 “儿” -仍然以 “哪儿” 为例，如果发音人没读出儿化音，则转写为 “哪”；
语气词: 音频中说话人清楚地讲出的语气词，如 “呃啊嗯哦唉” 等，要按照正确发音进行转写。
英文：
- 对于拼读格式（包括拼出的字母，首字母缩写词或者一些缩写），每一个被拼出的字母都应大写加空格。例如：M A R Y 而不是 mary 或者 MARY
- 商标、品牌、注册名等都应以其原有、专有的格式出现，例如： Hotmail dot com 而不是 hot mail dot com
个别字词不确定的，在有意义的情况下，尽量用同音字代替。实在无法转写的，这句话切出无效。 -多人说话重叠部分，若能写出主说话人的内容，在这部分前后标记出/multi 标签。若无法转写主说话人的内容，这整句切出来无效标/unk 标签

因为规范比较多，我就列一些规范上的样例，所以大家也看到了，数据标注的工作量也很高，还好可以申请标注组的人力。

模型评估指标的计算

WER 字错率

WER（Word Error Rate）指的是机器翻译或者语音识别系统中，系统输出的单词与原始单词之间错误的比例。这个指标通常用于评估机器翻译或语音识别系统的性能。WER 的计算方式是将系统错误翻译的单词数除以总的单词数。

计算公式： WER 字错率=识别文本相对标注文本的编辑距离/标注文本总字数

代码示例：

import Levenshtein

text1 = "我是谁，我是一种测试人员啊"
text2 = "我是谁，我是一个研发人员啊"
distance = Levenshtein.distance(text1, text2)
print(f"The Levenshtein distance between '{text1}' and '{text2}' is {distance}.")
wer = distance/len(text1)
print(f"The wer is {wer}.")

字正确率

字正确率=识别正确的字数/标注文本总字数

插入/删除/替换率

插入率 = 插入操作的次数/标注文本总字数
删除率 = 删除操作的次数/标注文本总字数
替换率 = 替换操作的次数/标注文本总字数

代码示例：

import Levenshtein

def calculate_error_rates(ref, hyp):
    # 计算Levenshtein距离和编辑操作
    editops = Levenshtein.editops(ref, hyp)

    # 计算插入率、删除率和替换率
    insertions = 0
    deletions = 0
    substitutions = 0

    for op in editops:
        if op[0] == 'insert':
            insertions += 1
        elif op[0] == 'delete':
            deletions += 1
        elif op[0] == 'replace':
            substitutions += 1

    # 计算总字符数
    total_chars = len(ref) + len(hyp)

    # 计算插入率、删除率和替换率
    insertion_rate = insertions / total_chars
    deletion_rate = deletions / total_chars
    substitution_rate = substitutions / total_chars

    return insertion_rate, deletion_rate, substitution_rate

# 示例
ref = "我喜欢吃苹果"
hyp = "我欢吃橙子啊"

insertion_rate, deletion_rate, substitution_rate = calculate_error_rates(ref, hyp)

print(f"Insertion rate: {insertion_rate:.2%}")
print(f"Deletion rate: {deletion_rate:.2%}")
print(f"Substitution rate: {substitution_rate:.2%}")

总结

可以看到通过 Levenshtein 库我们可以比较容易的把效果的评测自动化起来，当然前提是数据和标注都准备好~。所以还是那句话，在人工智能领域中工作的人，大部分时间都是花在数据上。