基于机器视觉的智能冰箱模块及 APP 设计论文

 

SCI论文（www.lunwensci.com）：

　　摘要：针对冰箱内部的智能化食材监测和管理问题，本文提出了一个涵盖机器视觉、深度学习、图像采集和通信系统的智能冰箱模块与APP设计方案。该模块和APP能够让冰箱具备食物新鲜度监控、膳食结构分析、健康饮食建议等功能，让冰箱向人工智能时代的“食材管家”迈进。系统利用摄像头对冰箱内部食材存储情况进行图像采集，通过机器学习对冰箱内食物进行新鲜度检测与分析评价，并结合大数据推荐相应的营养食谱，而后将分析结果发送到服务器并同步到客户端APP，让用户可随时随地监测冰箱内部食品情况，关注自身的饮食健康。该产品实现了对家庭冰箱食品的远程监控和食品健康的关注，适用于都市独居的工作群体及对冰箱食品监控有需求的家庭用户。

　　关键词：机器视觉；智能冰箱；图像采集；数据分析
 

Intelligent refrigerator module and APP design based on machine vision

Dai Zebin, Guan Xubin, Yin Shan, Ding Ao, Li Hongyu
(School of Opto-electronic Engineering, Guilin University of Electronic Technology, Guilin Guangxi,541004)   

　　Abstract: Aiming at the intelligent food monitoring and management problem inside the refrigerator, this paper proposes a smart refrigerator module and APP design scheme based on machine vision, deep learning, image acquisition and communication system, which can enable the refrigerator to have functions such as food freshness monitoring, dietary structure analysis, and healthy diet suggestions, so that the refrigerator can move towards the "food steward" in the era of artificial intelligence. The system uses the camera to collect images of the storage of ingredients inside the refrigerator, detects and analyzes the freshness of the food in the refrigerator through machine learning, and recommends the corresponding nutritional recipes in combination with big data analysis, and then sends the analysis results to the server and synchronizes them to the client APP, so that users can monitor the food situation inside the refrigerator anytime and anywhere, and pay attention to their own dietary health in time. The product realizes the remote monitoring of home refrigerator food and food health attention, which is suitable for urban work groups living alone and home users who have needs for refrigerator food monitoring.      
  
　　Key words: machine vision;smart refrigerator;image acquisition;the data analysis

　　一、引言

　　近年来，在冰箱内储存食物成了人们储存粮食不可或缺的方式。对存储食物的类别及其新鲜程度的判断成为现阶段冰箱制造领域需要研究的问题。此外，在日益繁忙的都市生活中，上班族容易遗忘已购食材，导致冰箱里面的食物过期、变质。这不仅仅是对食物的浪费，而且有可能会对人体的健康造成一定程度的危害[1]。而且，由于缺乏食材管理和膳食分析，人们往往会出现营养失衡的情况。因此，本文设计了一个基于机器视觉的智能冰箱模块，其包含食物新鲜度监控、膳食结构分析、健康饮食建议等功能，同时配有APP以方便用户随时随地掌握冰箱内食材信息，让智能冰箱向人工智能时代的“食材管家”迈进。

　　二、系统结构

　　整个系统结构分为三大块：摄像头传输识别模块、服务器后台数据处理模块、APP及小程序前端与页面构建模块。系统通过摄像头对用户存放在冰箱内的食品进行实时监控，同时将获得的图像信息上传到后台服务器进行数据分析处理，并通过无线网络将获得的数据信息发送到APP和小程序前端，方便用户实时观察冰箱内部情况。系统能够为用户提供冰箱内的食物情况分析，实时监控冰箱食物新鲜程度，统计冰箱内食物种类与数量，使用户仅用移动端即可掌握家庭冰箱中食物的健康安全情况。系统还能记录和分析用户近段时间的膳食结构，并利用APP智能推送饮食建议，助力用户获得优质健康生活体验。

　　(一)摄像头传输识别模块

　　摄像头采用基于Sipeed公司的MAIXDockII开发板，其主控芯片来自全志科技的边缘智能计算芯片V831，同时MAIXDockII还搭配了OV5640摄像头模块。系统通过该摄像头模块，可以将采集到的图像数据传送到开发板进行神经网络的运算，这极大地提高了运算速度和系统的稳定性。

　　(二)服务器后台数据处理模块

　　系统使用树莓派4B作为主要的整体框架，同时部署了用于MQTT协议[2-3]收发数据的开源管理框架——EMQX。搭载此框架的树莓派被当做一个小型的服务器设备，用来接收来自摄像头模块的数据，并对该数据进行MQTT解析和保存。当APP需要调用其数据的时候，可以通过该服务器返还所需值。

　　(三)APP及小程序前端与页面构建模块

　　笔者基于JAVA语言构建APP。APP主要负责显示冰箱内部监测情况，并把这些数据发送到服务器进行保存。同时，APP还会根据服务器内部数据，结合大数据分析，自动推测用户当前的健康状况，给予用户各种健康小提示，帮助用户关注自身的饮食健康。

　　三、技术实现设计

　　(一)摄像头传输识别部分(机器视觉)

　　食物新鲜度的检测是本智能冰箱模块中最为重要的一个功能。为实现该目标，本文采用了机器学习的方法，具体为基于PyTorch的YOLO算法[4]，主要思路是使用支持Python3的开发板采集图像，用基于PyTorch的YOLO算法训练得到的模型并对采集到的图像数据进行匹配，从而实现冰箱内部食物识别、食材新鲜度检测、食物储存图片实时记录等功能。

　　笔者在Linux系统下成功搭建了基于PyTorch框架的神经网络，对采集到的摄像头图像信息进行训练。训练出来的模型成功部署到开发板上面，效果如图1所示。目前系统可以成功识别5类水果(香蕉、芒果、苹果、番石榴、橙子)的三种新鲜程度 (新鲜、中等和腐烂)，实现效果如图2所示，识别准确度为94.6%。系统识别种类数量可以通过增加训练集进行进一步的增加。
 

图1　(左)神经网络训练结果即(右)摄像头实物图

　　通过YOLO算法和神经网络的训练，该开发板可以快速识别冰箱内部食物的种类及新鲜程度，然后通过WIFI模块将采集到的数据传至服务器，从而进行下一步操作。
 

图2　摄像头识别效果图

　　(二)服务器后台数据处理部分

　　冰箱内部食物的种类及新鲜程度的识别信息能通过WIFI模块传输至服务器。同时，摄像头采集到的视频流会被转换成多帧图像信息，然后服务器后台会进行数据处理。服务器处理完毕后，会将图片发送到APP端进行显示。

　　(三)APP前端与页面构建部分

　　APP端接收到的数据有JSON和BASE64两种类型。APP端接收到来自服务器的一帧数据后，开始对数据进行反解析和重组，将BASE64重组为需要显示的视频流，再将JSON数据提取出来显示在APP端的食物新鲜程度一栏。此外，APP还会对每种食物使用One-Hot编码，将其类别特征转为数值特征。系统基于FM算法，以嵌入方式将高维稀疏特征转换为低维连续特征，通过提高特征交叉来增强类别特征的表达能力，而后提前设定营养结构，并通过分析用户最近食谱信息，从数据库中获取相应的营养菜品进行食谱推荐。最终，系统能够通过识别冰箱里面食物与各种食物的营养成分，以圆形饼状图显示食物营养情况分布，统计出用户最近三天的整体摄入百分比，再通过评估后台数据，为用户饮食营养健康情况做出评价与建议，具体实现功能如下。

　　第一，“登录界面”展示。新用户需要进行账号注册。用户使用的账号和硬件设备在用户注册账号后进行绑定，用户的账号和密码会存储在服务器中。登录界面如图3(左)所示。

　　第二，APP首页展示。首页会显示一定时间内统计的用户健康状况，以及冰箱内部食物的大致新鲜程度检测数据。同时，首页底部有“冰箱”“健康”“推荐”选项。在该界面，用户可以通过“播放”和“关闭”切换动态显示实时图像信息。APP首页如图3(右)所示。

　　第三，“冰箱”界面展示。该界面会显示目前冰箱内部所有食物的新鲜状态程度。当冰箱内部的食物外包装上标注有保质期时，还会显示该食物的保质期及购买日期。APP“冰箱”界面如图4(左)所示。

　　第四“健康”界面展示。该界面会显示系统根据近段时间冰箱内部食物的变化情况而生成冰箱内食物营养分析与建议，主要有脂肪占比、蛋白质占比、糖分占比、维生素占比四大类，以扇形图进行展示。此外，该界面还有系统根据目前的营养分析而得出的饮食建议，以帮助用户均衡饮食。“健康”界面如图4(右)所示。
 

图3　(左)APP设置账号密码登录界面，(右)APP首页展示
 

 

图4　(左)“冰箱”界面展示；(右)“健康”界面展示

　　第五，“推荐”界面展示。该界面主要显示系统根据冰箱内部食物的情况而推荐的食谱。若用户不想使用推荐的食谱，也可以在上方搜索栏进行手动搜索，找到自己适合的食谱。“推荐”界面如图5所示。
 

图5　“推荐”界面展示

　　四、结语

　　智能冰箱模块通过摄像头模块能对内部储存物进行图像采集和预处理，即通过构设器件视觉识别实现对食物新鲜度分析和营养成分分类，然后通过WIFI模块将数据发送至服务器后端，接着在服务器中进行大数据分析后，向用户的移动端推送信息，实现远程监控冰箱内部情况。用户也可通过APP了解当前冰箱内部食物情况，同时通过推荐食谱关注自身饮食健康。整个系统装置简单，使用方便，能为用户提供良好的优质健康生活体验。

　　【参考文献】

　　[1]马冠生.关于“食物变质”，你应该知道这些[J].生命与灾害，2020(08).

　　[2]陈明，花桥建，顾小红，许敏，钱陈虎，彭斌，张辉.基于MQTT的水务数据传输系统设计开发[J].工业控制计算机，2022(05).

　　[3]崔金涛，佟瑞栋.基于ESP32及MQTT协议的视觉追踪机器人设计[J].辽宁师专学报(自然科学版)，2021(04).

　　[4]何斌，张亦博，龚健林，付国，赵昱权，吴若丁.基于改进YOLOv5的夜间温室番茄果实快速识别[J].农业机械学报，2022(05).