flask与js交互的示例代码_基于EAIDK310和SoundAIAzero的语音交互系统

一、概述

语音交互技术的发展&＃xff0c;给我们的生活带来了很大的改变&＃xff0c;智能音箱就是其典型的应用产品&＃xff0c;比如现在常见的小爱、小度、天猫精灵等智能音箱。我们通过与智能音箱对话&＃xff0c;就可以实现听歌、听书、听新闻等等功能。

今天&＃xff0c;我们就介绍下以EAIDK-310开发套件为核心&＃xff0c;“制作”一款智能音箱&＃xff0c;通过语音交互&＃xff0c;让它给我们唱歌、读书、讲段子。

二、产品介绍

EAIDK(Embedded Artificial Intelligence Development Kit)- 嵌入式人工智能开发套件,是全球首个采用Arm架构的人工智能开发平台&＃xff0c;是OPEN AI LAB专为 AI 开发者精心打造&＃xff0c;面向边缘计算的人工智能开发套件。硬件平台具备语音、视觉等传感器数据采集能力&＃xff0c;及适用于多场景的运动控制接口&＃xff1b;智能软件平台支持视觉处理与分析、语音识别、语义分析、SLAM等应用的基础平台和主流开源算法&＃xff0c;满足端侧AI教育、算法应用开发、产品原型开发验证等需求。

EAIDK-310作为EAIDK产品系列中的一款套件&＃xff0c;该套件硬件平台使用的是含有4核A53 CPU的高性能Arm SoC(瑞芯微rk3228H)&＃xff0c;通过搭载OPEN AI LAB开发的嵌入式深度学习框架Tengine&＃xff0c;为AI应用提供简洁、高效、统一的API接口&＃xff0c;加速终端AI产品的场景化应用落地实现。同时&＃xff0c;使用自建的源服务器&＃xff0c;便于用户快速上手使用。

EAIDK平台&＃xff0c;配置专有更新源文档内容服务&＃xff0c;该源服务器支持Tengine/Blade CV以及其他标准第三方软件安装和更新。

实现本案例除了需要一块EAIDK-310核心板&＃xff0c;我们还需要一个usb麦克风阵列和一个usb音箱 。麦克风阵列用于音频采集&＃xff0c;usb音箱用于音频播放。

本案例中我们使用的是4mic麦克风线型阵列SoundPi linear麦克风模组&＃xff0c;购买链接(https://dwz.cn/67hqlbFD)。

三、操作步骤

首先我们从下面链接中下载源码包Azero_SDK_for_Linux.tar.gz
ftp://ftp.eaidk.net/EAIDK310_Source/SoundAI/

把下载好的源码包拷贝到U盘&＃xff0c;把U盘插入EAIDK310设备usb口&＃xff0c;将源码包拷贝到板子目录下

cp /run/media/openailab/Azero_SDK_for_Linux.tar.gz ~

解压源码包Azero_SDK_for_Linux.tar.gz&＃xff0c;然后进入Azero_SDK_for_Linux目录

tar -xzvf Azero_SDK_for_Linux.tar.gz
cd Azero_SDK_for_Linux/

可以看到&＃xff0c;SDK工程结构如下

|-- sai_config : 配置文件、唤醒模型目录
|-- include : Azero SDK的.h文件
|-- link-libs : 编译示例代码所需的依赖库&＃xff0c;目录中分版本放置。
    |-- lib : Azero SDK库
    |-- libvlc : SDK依赖的播放器库&＃xff0c;默认支持的播放器为VLC
    |-- 其它 &＃xff1a;其它类型的播放器&＃xff0c;视版本而定
|-- src : 示例代码
    |-- main.cpp
|-- toolchain-cmake &＃xff1a;cmake交叉编译配置文件

下载源码后&＃xff0c;我们需要根据我们设备实际情况修改某些文件参数&＃xff0c;如麦克风节点、比特率等。

首先将麦克风通过USB接口连接到EAIDK-310开发套件

此时可以在开发套件上用命令可查询到麦克风线性阵列的设备节点&＃xff0c;结果如下&＃xff1a;

arecord -l

从上图可知&＃xff0c;card2就是我们的usb麦克风阵列&＃xff0c;设备节点为2,0

修改代码Azero_SDK_for_Linux/src/main.cpp的麦克风数量mic_num和实际节点号*hw&＃xff0c;此麦克风比特率默认16000。

void* load_plugin_basex() {  
   void *handle;  
   int mic_num &＃61; 4;  
   int board_num &＃61; 8;  
   int frame &＃61; 16*16;  
   const char *hw &＃61; "hw:2,0";  
   char chmap[16] &＃61; "0,1,2,3,4,5,6,7";  
   handle &＃61; SaiMicBaseX_Init(board_num, mic_num, frame, hw);  
 
   SaiMicBaseX_SetBit(handle,16);  
   SaiMicBaseX_SetSampleRate(handle,16000);  
   SaiMicBaseX_SetMicShiftBits(handle,16);  
   SaiMicBaseX_SetRefShiftBits(handle,16);  
   SaiMicBaseX_SetPeroidSize(handle,512);  
   SaiMicBaseX_SetBufferSize(handle,2048);  

注&＃xff1a;在修改上述参数之前&＃xff0c;我们可以先使用arecord进行录音测试&＃xff0c;看是否能够正常获取音频数据&＃xff0c;以此为依据来确认我们mic的具体参数

arecord -Dhw:2,0 -d 10 -f S16_LE -r 16000 -c 8 -t wav test.wav

参数解析
-D 指定了录音设备&＃xff0c;2,0 是card 2 device 0的意思
-d 指定录音的时长&＃xff0c;单位时秒
-f 指定录音格式
-r 指定了采样率&＃xff0c;单位时Hz
-c 指定channel 个数
-t 指定生成的文件格式

拷贝资源及配置文件到/data目录

sudo mkdir -p /data
sudo chmod 777 /data
sudo cp sai_config/arm/* /data -rf

设置环境变量&＃xff0c;指定动态链接库路径

export LD_LIBRARY_PATH&＃61;./link-libs/aarch64-linux-gnu/lib/

根据麦克风实际情况修改完上述参数后&＃xff0c;即可执行编译

./run.sh aarch64-gnu

编译成功的话会显示如下

执行如下命令来启动软件

./sai_client

启动软件之后&＃xff0c;在联网的情况下&＃xff0c;通过喊 “小艺小艺”来唤醒设备&＃xff0c;然后即可进行语音交互。将 usb音箱接到EAIDK-310开发套件上&＃xff0c;即可听到小艺的回应。

到这里&＃xff0c;我们就可以与小艺进行对话了。除常见的聊天、新闻、广播、天气、音乐等功能外&＃xff0c;还可以查百科、查路况、听相声、做算术等&＃xff0c;有几十项实用、好玩的技能&＃xff0c;内容还是比较丰富的&＃xff0c;可以满足简单的娱乐需求。

main.cpp软件初始化时有三个重要参数&＃xff1a;clientId、productId以及device_SN(Device Serial Number)。其中&＃xff0c;clientId、productId用以标识产品类别&＃xff0c;device_SN用以标识个体设备。

//config customer info    
const char *client_ID &＃61; "xxxxxxxx"; //set to your own client    
const char *product_ID &＃61; "xxxxxxxx"; //set your owner product ID    
const char *device_SN &＃61; "xxxxxxxx"; //set the unique device SN.
azero_set_customer_info(client_ID,product_ID,device_SN);

此处软件已经配置了默认的ID &＃xff0c;所以上面我们跳过了这个步骤&＃xff1b;如需使用自己创建的技能&＃xff0c;可以参考https://github.com/sai-azero/Azero_SDK_for_Linux的《示例运行》&＃xff0c;注册、填写自己的clientId、productId以及device_SN等参数&＃xff0c;重新编译运行即可。

关于麦克风阵列&＃xff0c;此处使用的是声智科技的4mic线型阵列&＃xff0c;另外也可以使用声智科技的6mic环型阵列&＃xff0c;如下图

此案例可以帮助大家在EAIDK-310开发套件上完成SoundAI Azero语音交互系统示例的部署和运行。

通过此案例&＃xff0c;EAIDK-310摇身一变&＃xff0c;成为了我们所熟知的智能音箱。智能语音助手是存在于智能音箱中的虚拟形象&＃xff0c;当你无聊的时候&＃xff0c;或者需要提神醒脑的时候&＃xff0c;可以试着问它一些“有趣的问题”&＃xff0c;或许能够得到一些“有趣的回答 ”。

如有疑问或想要了解更多关于EAIDK开发平台方面的内容&＃xff0c;欢迎加入EAIDK开发者大本营&＃xff0c;QQ群&＃xff1a;625546458。