近年来,人工智能话题越来越热,受到了更多人的关注。我也是大概在 18 年末开始接触到百度 AI 社区,通过使用文字识别、图像识别等百度 AI 技术,逐步感受到了 AI 技术的强大,同时也感觉到了百度 AI 技术的进步:AI 技术领域范围越来越广泛,识别速度越来越快,识别准确度越来越高。这次,有幸收到百度远场语音开发套件的测评邀请,作为一个非测试专业人员,这里我就自己的百度远场语音开发套件使用过程及在使用过程中遇到的问题和大家分享一下,如有错误,请多多指教。

一、开箱

整个包装很简洁,就是一个白色的长方形盒子,正上方印着“百度大脑”标识。

打开盒子后,首先映入眼球的是一份“百度语音远场开发套件说明书”,里面介绍了硬件购成、开发资料等信息。

拿出说明书,看到的是一个长方形的盒子,里面放着电源适配器、USB 线。

拿出盒子后,便看到了百度远场语音开发板主体了,被白色泡沫保护的很好。

接下来,一起具体看看远场开发板的一些细节:

最后,看看百度远场语音开发套件全家福:

百度大脑远场语音开发套件,基于 RK3308 开发平台打造,提供的麦克风选型适用于智能音箱、智能 家电、车载设备场景,整个开发套件包含麦克风阵列板、开发板、喇叭以及符合声学要求的腔体, 支持声源定位、噪声消除等信号处理算法,5 米内有效拾音,支持远场唤醒、远场识别、语音合成能 力,使语音开发评估更简便、更高效。

RK3308 开发平台,采用 64 位 4 核 ARMCortex-A35 处理器 RK3308 系列,整合了高性能 CODEC(8 通 道 ADC + 2 通道 DAC),直接支持最大 8 通道数字 MIC 阵列+回采,实现高精度声音采集及分析,是 一款集多种功能为一体针对音频类应用的 AI+IoT 开发平台。 丰富的操作系统 / 服务支持,助力方便快速进行 AIOT 开发和产品应用。

关于百度远场语音开发套件的更多介绍,可以到百度 AI 市场了解详情,我在这里就不在做赘述。

二、开发测试

本次测试环境为 Ubuntu 16.04 64ibt 虚拟机,开发平台是 RK3308。

登陆开发板后,可以进入 /oem 目录,里面有开发相关说明以及一些测试示例。

(一)连接设备

1、安置在 adb 环境:sudo apt install adb

snow@snow-machine:～$ sudo apt install adb

正在读取软件包列表 ... 完成

正在分析软件包的依赖关系树

正在读取状态信息 ... 完成

下列软件包是自动安装的并且现在不需要了:

snapd-login-service xdg-desktop-portal xdg-desktop-portal-gtk

使用'sudo apt autoremove'来卸载它(它们)。

将会同时安装下列软件:

android-libadb android-libbase android-libcutils android-liblog

下列【新】软件包将被安装:

adb android-libadb android-libbase android-libcutils android-liblog

升级了 0 个软件包,新安装了 5 个软件包,要卸载 0 个软件包,有 6 个软件包未被升级。

需要下载 141 kB 的归档。

解压缩后会消耗 428 kB 的额外空间。

您希望继续执行吗? [Y/n] y

获取:1 http://cn.archive.ubuntu.com/ubuntu xenial/universe amd64 android-liblog amd64 1:6.0.1+r16-3 [16.6 kB]

获取:2 http://cn.archive.ubuntu.com/ubuntu xenial/universe amd64 android-libbase amd64 1:6.0.1+r16-3 [9,014 B]

获取:3 http://cn.archive.ubuntu.com/ubuntu xenial/universe amd64 android-libcutils amd64 1:6.0.1+r16-3 [18.7 kB]

获取:4 http://cn.archive.ubuntu.com/ubuntu xenial/universe amd64 android-libadb amd64 1:6.0.1+r16-3 [53.2 kB]

获取:5 http://cn.archive.ubuntu.com/ubuntu xenial/universe amd64 adb amd64 1:6.0.1+r16-3 [44.0 kB]

已下载 141 kB,耗时 2 秒 (48.3 kB/s)

正在选中未选择的软件包 android-liblog。

(正在读取数据库 ... 系统当前共安装有 215288 个文件和目录。)

正准备解包 .../android-liblog_1%3a6.0.1+r16-3_amd64.deb ...

正在解包 android-liblog (1:6.0.1+r16-3) ...

正在选中未选择的软件包 android-libbase。

正准备解包 .../android-libbase_1%3a6.0.1+r16-3_amd64.deb ...

正在解包 android-libbase (1:6.0.1+r16-3) ...

正在选中未选择的软件包 android-libcutils。

正准备解包 .../android-libcutils_1%3a6.0.1+r16-3_amd64.deb ...

正在解包 android-libcutils (1:6.0.1+r16-3) ...

正在选中未选择的软件包 android-libadb。

正准备解包 .../android-libadb_1%3a6.0.1+r16-3_amd64.deb ...

正在解包 android-libadb (1:6.0.1+r16-3) ...

正在选中未选择的软件包 adb。

正准备解包 .../adb_1%3a6.0.1+r16-3_amd64.deb ...

正在解包 adb (1:6.0.1+r16-3) ...

正在处理用于 libc-bin (2.23-0ubuntu11) 的触发器 ...

正在处理用于 man-db (2.7.5-1) 的触发器 ...

正在设置 android-liblog (1:6.0.1+r16-3) ...

正在设置 android-libbase (1:6.0.1+r16-3) ...

正在设置 android-libcutils (1:6.0.1+r16-3) ...

正在设置 android-libadb (1:6.0.1+r16-3) ...

正在设置 adb (1:6.0.1+r16-3) ...

正在处理用于 libc-bin (2.23-0ubuntu11) 的触发器 ...

2、查看安装结果:adb version

3、查看硬件是否连接:adb devices

4、连接硬件:adb shell

(二)WIFI 连接

1、进入 /data/cfg 进行 wifi 配置:cd /data/cfg

使用 vi 编辑 wpa_supplicant.conf:vi wpa_supplicant.conf

在设置好 wpa_supplicant.conf 后,可以通过如下命令来重新联网:

注意:第一次操作,调用 wpa_cli reconfigure 命令出错:

切换联网命令:wpa_supplicant -B -i wlan0 -c

虽然显示操作成功,但是查看网络连接,发现还是未成功连接(可以看到 wlan0 并未显示 IP 地址):

重启系统(如果一次不行,可以进行多次重启),最后成功了(可以看到 wlan0 显示了分配的 IP 地址 -192.168.1.110):

(三)运行语音识别示例

进入 /oem 目录,查看语音能力相关文件: cd oem

查看文档说明:cat readme.txt

根据文档,相关文件应该在 data 目录下,但是实际操作发现,相关文件在 oem 目录下,故进入 oem 目录,执行操作:

主要是运行以下四个命令(该命令是修改权限,启动 alsa_audio_main_service 服务,根据说明书,使用语音识别功能需要先启动 alsa 服务):

执行上述命令后,可使用 ps 命令检测 alsa 服务是否正确启动:ps –A|grep alsa

根据说明书,BDSpeechSDK 目录下的 sample 目录中包含语音识别示例,由于语音识别运行时依赖 lib、resources、extern 目录中的库及资源文件,所以我们需要在启动时共享库。

进入目录,运行语音识别示例:

喊“小度小度,今天天气怎么样”的识别结果:

可以发现,本开发套件采用了流式识别,附带中间结果!

(四)语音识别效果测试

通过距离远近,语速快慢,中间是否有隔离物(隔离物为电脑桌,显示屏)等方式,对本开发套件进行了一次粗略的测试:

一米处:

有隔离:“一米一次唤醒测试”

有隔离,语速较快:“一米二次唤醒测试”

有隔离,语速较快:“今天天气怎么样”

无隔离,正常语速:“一米三次唤醒测试”

无隔离,语速较快:“今天天气怎么样”

2 米处:(无隔离,正常语速)

“两米一次唤醒测试"

“两米二次唤醒测试”

“天天气比较凉爽”

3 米处:(无隔离,正常语速)

“三米一次唤醒测试”

“三米二次唤醒测试”

“听说明天有台风”

5 米处:(无隔离,正常语速)

“五米一次唤醒”

“五米二次唤醒”

“台风来了怎么办”

6 米处:(无隔离,正常语速)

注:首先需要较大声唤醒小度,唤醒后,可识别正常音量的声音:

“六米一次唤醒”

“六米二次唤醒”

“今天天气好晴朗”

测试结果:

经过上述的语音识别测试,可以发现,本套件在 5 米内可以达到比较良好的唤醒、识别效果,超过 5 米后,唤醒、识别效果下降比较明显。

另外,对于一般性的用语,识别相当准确(即使达到 6 米,也能比较准确的识别),但是对于读音相近的词语(“一米”-“玉米”,“两米”-“杨幂”等),识别准确性就有点差了(也可能跟发音有关)。

发音源跟套件之间是否有隔离物(非完全隔离),对识别的影响不是很大(没有读音的影响大)。

语速不是很快的情况下,一般也能正常识别。

总体而言,对识别结果影响较大的,除了距离外,就是读音相近的词语(发音)了。

(五)蓝牙连接

输入命令 :bt_realtek_start 即可启动蓝牙:

打开电脑的蓝牙,可以发现名为 realtek_bt 的蓝牙设备,尝试进行配对:

配对成功:

配对成功后,就可以用蓝牙进行音乐播放等操作了。断开蓝牙连接:

测试发现的问题:

1、初次打开蓝牙播放音频时,声音过大,调整声音后,又发现最大声音音量有的小了。

2、虽然本套件蓝牙可以一次性连接多个蓝牙(我尝试了连接两个蓝牙设备),但是,两个连接成功后,当用一个蓝牙设备播放音乐,然后停止,再用另一个蓝牙设备播放音乐时,发现播放失败,只能用之前的那个蓝牙设备播放音乐。

(六)录音、播放音频测试

查看 tmp 目录内容:cd tmp

进行录音:arecord -D hw:2,0 -c 8 -r 16000 -f S16_LE /tmp/test.wav

结束录音后,查看目录文件信息:

使用 aplay 命令就可以播放录音文件:aplay test.wav

录音效果还是不错的。

(七)语音合成测试

示例程序会将文本“456hello 你好今天天气不错”传送给服务器,由服务器生成对应的语音,保存为 pcm 文件,用户可以进行播放体验。进入语音合成示例目录:cd /oem/BDSpeechSDK/sample/tts

执行语音合成操作:LD_LIBRARY_PATH=/oem ./online-test:

运行结束后,会在当前目录下生成一个 xxx.pcm,其中 xxx 是一个测试时的时间戳 . 在终端执行如下命令体验语音合成效果:aplay -t raw -c 1 -f S16_LE -r 16000 xxx.pcm

(八)交叉编译

1、下载 SDK

将 rk3308 板子内的 oem 内的 BDSpeechSDK 目录复制到虚拟机内。可以进行 adb pull /oem/BDSpeechSDK 指令 download 下来,随后将 sdk 放到虚拟机。

我这里就直接将整个 /oem 目录下载放到了“下载”目录。

2、交叉工具链:

rk3308 的编译在标准 linux 上是编不出来的。我们这里需要用到交叉编译工具链,这是一个特殊的编译器,可以认为是在 A 平台编译出 B 平台才能运行的工具包。

我这里将交叉编译链复制到虚拟机的桌面上了。

3、按要求构建项目工程目录结构

创建如下的目录结构:

编写(copy) sample 代码

目录 sample/wakeup/src 中的 e2e_wp_asr_test.cpp 中有相应的 demo 代码,这里我就直接将 wakeup/src 中的 sample 代码拷贝到这里替换 main.cpp

这里先不做任何改动,就照搬就行。目前的第一目的是尽快正确交叉编译并成功在板子上跑起来。

编写(copy) Makefile 代码

makefile 可以帮助工程快速连接编译,它能省掉很多功夫。由于本人不是纯正的 c++开发工程师,所以这里 copy 了 sample/wakeup/ 中的 Makefile 代码:

尝试编译:

配置完成后,需要在 Makefile 所在的目录执行:

上述语句中的 /home/snow/ 桌面 1/rk3308_arm_tool_chain 代表着工具链 rk3308_arm_tool_chain 的根目录 /bin,如果路径填写错误,会出现如下错误:

make: arm-rockchip-linux-gnueabihf-g++:命令未找到

可以进入 rk3308_arm_tool_chain 目录 ,使用 pwd 命令获取 rk3308_arm_tool_chain 的路径:

使用正确的路径,重新编译:

如果出现上述错误,说明缺少 alsa 的 so 库,我们可以从 oem 目录中 pull 一个文件下来。他在 /oem 目录下,名为 libbd_alsa_audio_client.so。将它复制到 BDSpeechSDK/lib 下,这个目录专门放外部依赖的库文件,这个也放这里吧。

然后再次尝试编译,没有任何错误提示了,编译通过。

编译成功,发现工程目录下多了一个 main 文件,这就是我们编译好的可执行程序了。

将 main 可执行程序复制到 /tmp 目录(tmp 目录在断电后会清空)下:adb push ./main /tmp

运行程序:

LD_LIBRARY_PATH=/oem:/oem/BDSpeechSDK/lib:/oem/BDSpeechSDK/extern/lib ./main

出现错误:

error:5, domain:38, desc:Wakeup: dat file invalid., sn:

这里意思是没成功载入 dat 文件。我们看一下代码。在 wakeup_config 函数中,可以看到它配置 dat 文件的路径,是 ../../resources/asr_resource/esis_resource.pkg 只要把这个层级改成绝对路径,或者把路径改短 ./esis_resource.pkg,并把 pkg 文件拷贝过来即可。

然后重新编译,adb push 到 tmp 下,

还是这个错误,那是因为虽然改了文件路径,但是我们还没有把 esis_resource.pkg 也 push 到 tmp 文件夹里,进入 /home/snow/ 下载 /oem/BDSpeechSDK/resources/asr_resource 文件夹,执行 adb push ./esis_resource.pkg /tmp:

再次执行,出现错误:error:-1, domain:10, desc:alsa_audio_client_open failed, sn: ,

因为我们的 main 也依赖于 alsa 的服务,所以需要开启 alsa 服务:

或者可以将上述语句写入 /oem/Rklunch.sh 文件,这个文件是 rk3308 板子开机后会跑的一个执行文件,我们可以把所有需要在开机时启动的东西,都写在这个文件里,这样板子下次就会帮我们自动启动 alsa 了。

执行成功后,再次运行 main 程序:

cd /tmpLD_LIBRARY_PATH=/oem:/oem/BDSpeechSDK/lib:/oem/BDSpeechSDK/extern/lib ./main

执行成功。

(九)交叉编译 - 语音合成

按照上面的方法,我们可以编译一下语音合成示例(可以把合成的文字改为自己喜欢的,我这里就改成了“Hello World,今天时七夕情人节,中国的传统节日!”,有条件的,可以尝试输入文本,再合成语音)。

编译程序:

上述警告可以忽略。把编译完成的可执行文件下载到开发板并运行:

出现错误,仔细查看源代码,发现 main 函数中需要引用配置文件 speech_sdk_log.conf,但路径为 ../../resources/speech_sdk_log.conf:

并将 speech_sdk_log.conf 文件 push 到 /tmp 路径下:

重新执行:

LD_LIBRARY_PATH=/oem:/oem/BDSpeechSDK/lib:/oem/BDSpeechSDK/extern/lib ./main

执行成功,可以看到 /tmp 目录多了一个 6832.pcm 文件,运行命令 aplay -t raw -c 1 -f S16_LE -r 16000 6832.pcm,执行后,就能播放女生版的语音内容了。

三、产品建议

经过一个星期的测试,发现百度远场语音开发套件在语音唤醒、语音识别方面比较出色,识别率整体上准确很高,如果在发音相似的词语方面多加训练,效果会更好。此外根据个人的使用感受在产品的功能上提一些建议:

1、 提升音质,语音多样化

未来提供更多不同风格的发音人,并可以让用户自主选择,分别在进行购物、查询信息、播放音频资源等不同场景下有更多的音色供选择适配。让“小度”逐渐人性化、个性化。

2、 完善语音交互功能

提供更高质量的语音交互功能,加强对话理解和对话管理技术以及只是建设能力。通过不断的练习,让音箱能够更加“理解”用户的话语意思, 给用户提供更加准确的结果,轻松定制专业、可控、稳定的完整语音交互能力。

3、 音色识别

在语音交互中,通过声纹识别不同用户音色,根据音色判断交互内容并理解,可以将此功能利用在声纹解锁以及语音交互理解中,包括多人说话时执行命令的优先级。

语音交互未来可发挥的空间很大,但是现在的语音交互功能还不那么广泛的,不过相信只要坚持发展,保持数据收集、场景优化,未来一定会在各个领域有更深度的拓展。