入门调优与自动调优
本文介绍如何开始使用自动调优的功能。阅读本文后,你将了解:
- 为什么要使用自动调优功能
- 如何使用自动调优功能
- 如何理解自动调优的结果
#
1.自动调优和效果测试- 自动调优:聆思智能自主研发的阈值寻优工具,将自动为固件中命令词寻找阈值,并在调优完成后,提供包括效果对比、当前阈值说明、音频试听质检等多个功能。
- 效果测试:快速测试当前固件的阈值效果,支持快速调节门限,提高固件效果。
#
2.自动调优功能的目标工具支持:一键点击完成自动调优,工具便利支持用户进行效果的优化。
快速落地:压缩调优周期,使产品落地更加迅速。
保障效果:调优后效果有极大改善,可直接输出demo,或微调后即可输出。
#
3.自动调优功能的优势- 阈值寻优算法:LStudio内置聆思智能自主研发的阈值寻优算法,可自动推算出效果最佳的阈值参数。阈值寻优结果最高可达到90分的效果。
- 效果前后对比:LStudio主动对比当前固件阈值和自动调优后阈值的效果,通过可视化页面直观地表现对比结果,方便用户迅速做出决策,并一键完成阈值效果的替换。完成替换后,请自行打包固件。
- 试听音频质检:LStudio支持用户试听所怀疑的音频,如音频属于问题音频,可删除本地音频,并对问题音频进行上报。既保证了下次效果测试不受问题音频的干扰,又保证了聆思智能提供音频的高质量。
- 阈值自助调节:LStudio提供阈值调节的可视化页面,供用户对命令词和唤醒词进行阈值调节。如果自动调优的阈值结果无法满足客户需求,用户可根据效果测试的结果对阈值进行修改,修改完成后请保存阈值,打包固件后再进行效果测试。重复这个步骤,直到效果达到预期。
#
4.效果调优指南#
4.1 调优前准备- 打包工程固件,LStudio生成唤醒词和每个命令词的初始阈值和模型文件。
- 在LSCloud提工单,获取高保真人声音频。
- 进行实验室录音回放任务,获得录音回放音频。
tip
满足以上条件,即可进行LStudio阈值自动调优和效果测试。
#
4.2 自动调优操作指南#
配置录音回放音频通过外部导入回放音频或者实验室录音回放任务得到录音回放音频。
#
导入录音回放音频#
外部导入录音回放音频文件名 | 作用 | 备注 | 示例### |
---|---|---|---|
录音回放音频 | 用于效果测试 | 命名格式: xxx.pcm | 36-打开空调- ctm00010203@ hu17331a632f00212902- 测试设备.pcm |
target.txt | 录音回放音频标注文件 | 内容格式: 录音回放音频名称, 标注结果 文件格式: gbk2312 | 36-打开空调- ctm00010203@ hu17331a632f00212902- 测试设备,打开空调 |
record_format | 录音回放音频格式说明 | 支持16k16bit3ch/16k16bit6ch/16k32bit6ch | 16k16bit3ch |
采用外部导入录音回放音频,需要按照以下步骤
- 将录音回放音频导入optimize/audio_record目录
- 将target.txt导入optimize/audio_record目录
- 将record_format文件导入optimize/audio_record目录
#
实验室录音回放任务导入采用实验室录音回访任务导入, 实验室录音回放任务结束之后,会将录音回放音频自动导入对应目录,用户无需手动导入。
#
开始自动调优点击自动调优后,开始自动调优。
自动调优过程将在终端输出显示,执行完所有步骤后,完成自动调优。
#
自动调优完成自动调优完成后,调优阈值、调优结果、效果测试报告会自动生成在test_report目录下。
文件名 | 作用 | 备注 | |
---|---|---|---|
cmd_optimize.txt | 调优后的命令词阈值 | 用户可参考调优后的阈值,来替换config/thresholds/cmd_finaly.txt文件 | |
main_optimize.txt | 调优后的唤醒词阈值 | 用户可参考调优后的阈值,来替换config/thresholds/main_finaly.txt文件 | |
optimum_advice.csk | 调优报告 | 调优报告会展示自动调优前的效果测试结果和自动调优后的测试结果,以及每个词的效果提升情况 | |
optimize_report.csk | 效果测试报告 | 效果测试报告会展示每个词的测试情况,包含: 识别率、未识别率、串扰率等 查看详情: 会展示同个词条中每条音频的识别结果 |
调优报告(optimum_advice.csk)
- 如对自动调优后的效果满意,点击使用推荐阈值完成固件阈值的替换。
- 完成替换后,请打包固件,使替换的推荐阈值生效。
效果测试报告 (optimize_report.csk)
- 达到最低输出标准
- 未达到最低输出标准
#
开始效果测试如测试结果未达到可输出最低标准,或未达到预期效果,在手动调节阈值,打包固件成功后,点击效果测试。