基于语音识别和图像识别的老人服药助手

俗话说，树欲静而风不止，子欲养而亲不待。随着我国社会快速发展，空巢老人的数量也急速增加。且现在老年人大多患病，吃的药不管是种类还是数量都很多。但是他们会经常忘记吃药或者是吃错药、把药搞混。且在外乡的子女可能因为疏忽而忘了对家里老人的关心，为了想到并服务于居家的空巢老人，辅助他们吃药，给予他们帮助，尽到不在家的子女的一份力，结合现在的AI技术为老人开发一款贴心的辅助吃药工具刻不容缓！所以我们在本研究中设计了一款集提醒老人吃药、把药放回原位，好放好找、自动给子女发短信提醒老人吃药等功能集一体的人工智能设备。用了它，相信老人忘吃药或者是吃错药、把药搞混的现象会减少，且老人能在子女提醒吃药的电话短信中心中有所温暖。

本研究主要设计并制作了一款可以帮助老人吃药的工具，我们将其称为老人服药助手。它能在每次老人在其吃药时告诉老人手里拿的是什么药，每次的剂量，饭前或是饭后吃；运用语音识别和语音合成技术帮助老年人识别出不同颜色的药品种类，解决老年人看不清楚字、不识字的困扰；该工具同时加入了IOT物联网模块，能在老人服药后一段时间内给绑定的子女设备发送信息，告诉子女老人在什么时间服用了什么药，并让其提醒老人按时吃药。

1.智能识别药物

首先，老人服药助手配备了具有标签识别系统的二哈摄像头，按下开关后摄像头能够自动对屏幕中的标签进行识别，如果该标签已在数据库内，则进行下一步操作，开始剩余程序，如果没有，则会对该标签自动学习，在进行剩下操作。将已识别的标签贴在相应的药盒上，便完成了对药品的识别。

2.语音合成

老人服药助手配备了Gravity中英文语音合成模块，该模块能够自动将已识别的药品通过程序，放出该药品每次剂量、每日吃的次数、饭前吃还是饭后吃的语音，让视力不好、记性不好的老人能够准确知道自己手上拿的是什么药以及该怎么吃。

3.语音识别

本研究中，该工具利用Gravity:I2C语音识别模块，能够帮助老人在有其他原因而没有使用标签识别功能时，通过说出药品的颜色特征“关键词”从而了解该药品的基本信息、怎么服用该药品。

4.IOT物联网功能

老人服药助手也配备了一块IOT物联网模块，能在老人服药后一段时间内，由系统控制该模块对已绑定的子女的设备发送信息，告诉子女老人在什么时候服用了什么药、让子女询问老人是否吃药并提醒老人吃药。

电路连接实物图

电路连接硬件清单实物

利用激光切割配套软件建模

首先根据实际器材的尺寸和我们的设计需要，在专业的激光切割配套软件LaserCAD中进行外壳设计。考虑到激光切割是一种平面设计类型，最后我们采用了经典的六面体结构，将其拼装。

激光切割机切割KT板材料并装配

利用学校科创实验室的激光切割设备，将在LaserCAD软件中建好的平面模型导入到激光切割机中，实现外壳的快速切割成型。然后利用热熔胶对外壳进胶接。

外壳切割

KT板外壳胶接组装

元件组装和程序试运行

把激光切割成型后的外壳与电子元件组装到一起之前，首先需要对程序的运行效果进行测试，在保证程序运行无误后，再将各类电子元件装配到激光切割后的KT板中。

程序调试试运行

装配前修复受损元件

由于在程序调试和硬件组装过程中，很多元件会被损坏，为了确保组装后不需要重新拆解外壳，所以需要将各个元件加固，将受损的元件利用热熔胶枪、电烙铁等设备进行修复。

用热熔胶进行修复

装配组装外壳和元件

确定程序无误且各种电子元件没有损坏，并且各元件在掌控板和Micro：bit&掌控扩展板的接口准确后，将激光切割成型的外壳与电子元件组装成型。

外壳组装完成

药物识别

1.建立二哈标签识别库

二哈（HuskyLens）识图的功能很多，其中功能之一便是标签识别，可以识别特定的标签。有了这个功能，某种程度上可以替代条码/二维码扫描模块。在本研究中，我们采用标签识别是为了方便对药盒的识别，使其识别结果更精确。

2.标签识别

建立好标签识别库后：

（1）调至标签识别；

（2）识别改标签是否已学习；

（3）如果标签已学习，则进行下一步骤。

药物识别标签实例

代码实现

药物识别代码实现

物联网远程提醒子女

1.信息发送

本研究中利用OBLOQ-IOT物联网模块，能在老人服用药品后，自动判定老人此时服用了该药品，装置就会通过物联网模块给所绑定的子女设备发送信息，让他们知晓老人服用了该药物。

2.物联网接收

在EASY IOT网页上，绑定不同子女设备后，程序自动给设备发送消息，提醒子女关于老人是否服药的信息。

物联网远程发送消息

代码实现

远程提醒子女代码实现

5.3语音交互

1.语音识别与播报

在本研究中，利用Gravity:I2C语音识别模块和Gravity中英文语音合成模块，帮助老人让其在不想使用标签识别的时候，或者不识字的情况下，说出该药品的颜色特征“关键词”，设备识别后进行智能回答，让老人知晓这个药是什么种类以及功能主治。

2.根据颜色关键词提取信息

在本研究中，语音识别和播报主要涉及了红色、棕色、绿色三种类型，解决老人不识字和找不到说明书等窘境。

颜色识别药品实例

代码实现

语音识别代码实现

1.可以一定程度上缓解老年人忘吃药或吃错药的情况；

2.二哈标签识别功能强大，在现阶段完全够我们使用开发；

3．语音合成模块的使用很大程度地便利了一些认不清字的老人，使他们能够听清楚自己手上的药该怎么吃；

4.语音识别模块能有效帮助因一些原因而没有使用或不能使用标签识别功能的老人，给他们提供便利；

5.IOT物联网模块的增加，给子女设备发送消息，可以更有效地提醒老人吃药。

1.首先，二哈的标签识别系统只能识别其自带的标签，数量有限且还要保证该标签不贴错药盒，偏于麻烦；

2.其次，本项目制作的老人服药助手是家庭版，局限性较大，只包括了一些常见药品，如果要做大众版的，需要将全部药品进行录入，过程会十分麻烦。

3.掌控板散热能力不强，在长时间工作后主板发热现象严重。后续可以考虑安装一些散热部件好或者拆成几个部分进行程序。

4.物联网模块所能发送的信息只能在网页中进行查看，如果能够做成一款APP，便利性会大大提高。

[1]宁洪帅.社会工作助力城市空巢老人社区养老的研究[D].西南大学,2020.

[2]郭歆语.城市空巢老人就医行为及其影响因素研究[D].重庆工商大学,2020.

[3]庄桃李.重庆市农村空巢老人的养老问题研究[D].重庆理工大学,2014.

[4]基于Arduino的智能环境监控系统设计[J].渠淼,牛国锋,冒张霄,孙丹丹.微型机与应用.2014(20).

[5]李主国,陈铮.基于开源硬件的多传感器综合创意系统设计[J].软件导刊,2020,19(07):136-139.