SCI论文（www.lunwensci.com）:
摘要：针对当前识字教学未能凸显汉字特点、忽视汉文化传承，音形义脱离等问题，本研究开发了一款基于AR的小学语文识字教学辅助APP。本研究首先分析了现有识字教学及辅助软件的研究现状；然后，从理论基础、模块设计等方面进行了软件设计；再次，利用Unity3D对识字教学辅助APP进行了开发；最后，对APP开发的关键技术和应用优势做了分析。
关键词：增强现实技术；汉字教学；辅助教学APP
本文引用格式：高晓晓，等.AR识字教学辅助APP的设计与开发研究[J].教育现代化,2020,7(35):9-13.
一背景
汉字是中华文化最显著的载体之一，蕴含着民族文化的特有魅力。通过识字教学让学生学会认字、写字，不仅能让学生掌握交流的工具，更是了解传统文化的必然途径。利用和凸显汉字特点是汉字教学的应有之道。然而，已有研究发现，在小学语文的识字课堂采用的听说读写式的教学方式，内容单调，枯燥，使学生在识字学习中脱离生活经验，缺乏兴趣和积极性[1]，导致大部分处于一、二年级的小学生往往只能够认识生字的字形，同时也可以脱口而出字的字音，但对于汉字含义的理解，以及对该汉字所在的其他词汇的认读和运用方面，还存在不足。
2017年9月，全国小学推行了教育部统编的新版语文教材，教材中将拼音的学习置后，把教材的第一章改成了无拼音学汉字的内容。这意味着，小学识字教学从教材内容上强调了对汉字的教学要将“音”、“形”、“义”相统一，遵循汉字构形的原理，以形析义。然而，在一般的课堂上，学生面对教材中的文字和图片等言语符号时，仍需要具备较强的迁移学习能力，才能将抽象的符号信息与现实经验联系起来。因此，传统识字教学方式很难让学生达到音形义统一的水平。
近几年，增强现实（Augmented Reality，AR）技术逐渐走近人们的生活。增强现实技术是把图像、视频、音频等数字信息并入到现实空间中，旨在将现实与虚拟环境相混合，使用户可以与物理实体或数字对象进行交互[2]。随着简便易携的智能终端的普及，AR应用的系统也逐渐小型化，大大提高了AR应用的使用深度和广度[3]。因此，将AR技术与教育相融合，有望为教育教学的发展创造更多的可能，提高学习者动手能力和促进学习动机。笔者认为，可以将AR技术运用到情境化的汉字教学中，AR环境的汉字教学与传统的汉字教学环境相比，在学习方式方面，AR技术可以为学生创设虚拟的环境，引导学生自主探索汉字的字形起源，建构知识的意义；在学习内容方面，AR应用可以丰富课堂中的交互，扩大了教师在一节课中教学的信息量，提高汉字学习的效率；在学习空间方面，轻便简易的移动设备可实现运用AR应用进行汉字的泛在学习[4,5]。
二 相关研究
通过网络在中国知网中以“识字教学”、“辅助识字”、“教育游戏”等为主题词进行检索。研究发现，大部分研究是基于理论层面对课堂进行情境化的设计。如，杨帆依据课程标准，教师在识字课堂上需要努力创设真实、生动的识字环境，充分关注儿童的心理发展特点，尊重和保护儿童的天性，设计了“小蝌蚪找妈妈”、“拾落叶”、“芝麻开门”等游戏化的汉字学习场景[6]。孙宗乐等人通过对小学语文识字教育现状的研究，提出了在课堂中开展识字游戏的想法，如编顺口溜、猜字谜等，类似游戏可以促进学生主动发挥学习的积极性，使学生提高识字能力，丰富汉字积累[7]。还有部分进行了简单的实践探索，主要借助简单的教学媒体工具进行辅助识字教学。如，任建慧利用PowerPoint和Excel设计的基于资[8]源呈现型的课件来辅助小学语文识字教学。
对于使用AR技术辅助小学识字教学的研究，国内也有学者尝试开发了AR互动软件作为教学辅助工具，尝试改变传统的学习方式。比如，2017年，武汉大学国际教育学院的曾丹、吉晖开发了一款基于AR的混合式汉语听说教学软件，可以在课堂上为学生提供AR汉语学习资源[9]。同年4月，浙江工业大学教育科学与技术学院的蔡健对AR技术支持的汉字教学软件做了研究，在AR教育软件中，模拟了汉字对应的模型，直观、立体地显示教学内容[10]。这些工具在教育教学中已经发挥了重要的作用。
综上所述，可以发现：从内容上看，大部分还是基于理论层面对课堂情境和课件的设计，关于识字教学辅助软件的开发较少；从方式上看，对于新兴技术的应用较少，设计与研究还是基于传统的授课形式以及课件制作方式。因此，我们尝试利用新型的且已发展较为成熟的AR技术，结合学科融合的理念，进行小学语文识字辅助教学APP的设计与开发。
三 软件设计
（一）理论基础
有关研究表明，在做的经验、观察的经验和抽象经验上，AR教学媒体都明显优于平面教学媒体，甚至在观察的经验和抽象的经验上AR教学媒体略胜于实物模型教学媒体[11]。传统的教学中多用二维的图片或者视频作为教学的主要辅助工具，不利于探究式学习的开展，大部分教学过程中不能主动经历，对于学习者的认知活动有着一定的阻碍作用，尤其不利于低年级学生的学习，相比于传统的平面教学媒体的呈现方式，以三维方式呈现的AR教学媒体在表现立体化事物上有着得天独厚的优势，它与现实生活很贴近的，这样就方便了学习者的理解与学习。
从象形字的自身特征来看，象形是以现实事物的实体为依据，用线条描绘出其轮廓和特征，因此，象形字看起来就像一幅幅简笔画，形象且生动。根据皮亚杰的儿童认知发展阶段论，低年级儿童正处于前运算阶段向具体运算阶段转变，这一阶段的儿童认知活动具有相对具体性，虽然可以进行简单的抽象思维，但思维运算必须有具体的事物支撑。这一时期的学生对形象的图和具体模型的感知优于对抽象文字的感知，所以，对于文字的象形识记效果要优于拼音识记效果。
（二）模块设计
通过对小学生的兴趣、认知特点以及识字教学目标进行简单分析后，我们分别设计了卡片涂色、模型展示、读音教学、笔顺教学四个模块。
1.卡片涂色
根据象形文字的结构特点，设计了象形字所象征的“形”的简笔画，以黑白的虚线条勾勒出轮廓，作为识别卡片，如下图1，以“山”字为例。利用小学生对色彩和绘画兴趣有较高兴趣的特点，让小学生用彩色笔，对识别卡片上的简笔画进行创意涂色，充分调动学生在课堂上的积极性。
2.模型展示
针对部分象形文字，设计了对应的立体模型，如下图2，以“山”字为例。在学生涂好识别卡后，借助移动智能终端设备，动手扫描自己涂色好的简笔画，简笔画上方将出现涂好色的模型，模型的贴图由学生涂色的卡片提供，如下图3，以“山”字为例。
3.读音教学
对每一个呈现的汉字，在软件里内置了标准普通话的读音。在模型呈现的同时，与模型相对应的汉字将呈现在界面的底侧，学生通过点击“读音”按钮，会播放汉字的读音。充分利用了视觉和听觉的双重感官刺激，多感官地进行识字教学，提高识字效率。
4.笔顺教学
同时，针对每一个汉字的笔画顺序，设计了相应的笔顺教学视频，学生在点击“笔顺”按钮后，原本呈现汉字的区域将会呈现动态的笔顺教学视频，通过视频，帮助学生在认识汉字的基础上，能够按正确的笔画顺序书写汉字。
四 软件开发
由于本项目需要丰富的三维模型，所以首先使用专业的Autodesk Maya三维动画软件进行模型的创建。同时，使用Unity3D专业游戏引擎进行项目开发，并借助Vuforia SDK实现图像追踪定位。Vuforia SDK是高通子公司高通联网体验推出的针对移动设备AR应用的软件开发工具包,以其性能优异、开源免费使用的优点，受到了开发者的青睐。
（一）前期准备
首先，在Maya中精心设计了一系列象形文字对应的实物模型。基于摄像机视角创建UV贴图，将摄像机调整为一个合适的方向，执行展开UV贴图的操作。之后导出对应的FBX格式模型和PNG格式UV展开图，UV展开图后期经过Photoshop处理后制成识别图。
其次，进入Vuforia开发者门户，在License Manager下申请一个免费的LicenseKey，用于输入到ARCamera的参数中，以调用Vuforia进行识别。下一步，点击Add Database进入Database Create，进而在Database中点击Add Target，上传制作好的识别图图片，然后将识别图数据包下载。最后要下载Vuforia SDK，这是Vuforia提供给Unity3D的第三方SDK。由于本项目是针对Android移动设备开发的，需要下载安装Java JDK和Android SDK。
（二）项目创建
项目创建的第一步，配置开发环境。启动Unity3D软件，新建项目，在Edit菜单中选择Preferences。在面板中，点击External Tools。设置Android开发环境，选择上面的Android SDK和Java JDK的路径。第二步，转换开发平台。在菜单栏中选择File中Build Settings，选择Platform的Android，单击Switch Platform，切换开发平台为Android平台。第三步，将所需要的三维模型及相关资源导入Unity 3D。接着是导入之前从Vuforia开发者门户下载好的Vuforia SDK包和识别图数据包。设置ARCamera和ImageTarget的参数。
（三）程序设计
目前，Unity3D支持的脚本编辑语言包括C#和Java Script，我们以C#作为主要脚本开发语言。
首选，新建Shader着色器，赋给模型的材质球，作为材质渲染器的着色方式。接着是新建C Sharp脚本，用来将识别图上信息赋给模型。第一步，确定扫描框的屏幕坐标，如图6。确定识别图的世界坐标并将其转化成屏幕坐标。第二步，当识别图非完全处于扫描框范围内时，扫描框显示红色，否则，扫描框显示绿色并出现“识别成功”标志。第三步，将识别图四角的世界坐标传送给着色器Shader，并获得截图时GPU的投影矩阵数据，以及世界坐标到相机的矩阵数据，计算并储存两个矩阵的乘积，将乘积传递给着色器。最后，将截图作为贴图赋值给模型的材质球，渲染出涂上颜色的模型。
（四）测试与优化
Unity3D支持多平台发布，我们使用Android平台发布成apk格式的应用程序，进行多次测试并对学生使用反馈结果进行评定，做出以下改进和优化。
1.优化涂色信息
调整识别图的角度和边线。识别图上模型外形与正常视角一致，符合正常的观察习惯，画面表现力更好。过重的线条会对颜色采集与渲染造成影响，虚线的设计可以在不破坏识别图形状的前提下，降低对呈现效果的影响。
延迟模型出现，消除模型对涂色信息的遮挡。模型如果在截图之前被激活，会导致模型对涂色信息的遮挡，我们延迟模型激活，消除模型对涂色信息的影响。
2.设计场景
设计了与象形文字对应模型的场景图，不仅使三维模型与场景相融合，更为学习者识字提供了形象的认知情境。同时，场景的UI设计将Vuforia的水印遮挡，优化了视觉效果。
3.添加扫描框
扫描框的范围限定方式，能够确保识别图信息的完整。由于只要摄像头检测到识别图，就会激活程序呈现出模型，所以可能会出现取到的识别图不完整的情况，那么模型上的贴图也会不完整。而添加扫描框的作用，就是使识别图信息只有完整落在指定区域识别才会被激活，这样确保能采集到完整的信息并渲染到模型上。扫描提示信息给对焦留出充足时间。扫描框的提示作用，出现一个短暂的时间差，给摄像头对焦留出了时间。
五 关键技术
本项目开发过程中涉及的关键主要有建模技术，显示技术和三维注册技术。
（一）建模技术
AR技术是将真实世界信息和虚拟世界信息“无缝”集成的一种技术，它把虚拟世界信息叠加到真实世界中，从而实现超越现实的感官体验[12]。虚拟模型是AR呈现的重点内容。目前，虚拟模型生成主要采用三维建模技术，其可以全方位地展示虚拟模型。本项目主要采用Maya作为建模工具，设计一系列象形文字对应的三维模型。
（二）显示技术
目前，AR系统实现虚实融合显示的主要设备一般分为：头戴显示式、手持显示式以及投影显示式等[13]。本研究是基于移动终端的AR技术开发，通过手持式显示设备呈现信息。充分发挥了手持式显示设备较高的便携性的优势，方便泛在学习，灵活交互。
（三）三维注册技术
三维注册技术是实现移动AR识别功能的基础技术，其主要任务是实时检测摄像头相对于真实场景的位置状态，为所需叠加的虚拟信息定位，并将这些虚拟信息实时显示在屏幕中的合适位置，以完成三维注册[14]。目前基于移动终端的移动AR系统的研究中主要采用三种注册方式：基于计算机视觉、基于硬件传感器的以及混合注册方法。
本项目采用的是高通的Vuforia，利用基于计算机视觉识别标记或自然特征的注册方法。该引擎通过计算机或移动设备的视觉系统检测真实场景中的信息，对其进行图像处理，从而来识别和跟踪定位，识别成功后，自动计算虚拟物体所需叠加的位置。核心步骤：摄像机标定、标记检测、标记识别、3D注册。见图7。
（四）人机交互技术
AR人机交互技术是指将使用者的交互操作信息输入到计算机或移动设备后，经过系统的处理将交互的结果通过显示设备输出的过程。目前AR系统中的交互方式主要有三大类：外接设备、特定标志以及徒手交互。
本项目采用的是针对移动终端设备的点触交互方式，实现缩放、旋转、移动、动作触发等多种增强交互功能。手机、平板、掌上电脑等触屏移动设备都可运行本项目的应用，并通过触屏手势实现对模型缩放、移动和旋转的控制。
六 应用优势
移动增强现实技术能够呈现丰富的仿真模型和虚实结合的场景，为课内外汉字学习活动的开展提供丰富的内容，更加激发学生的学习热情。
（一）设计理念体现学科融合理念
借助AR技术，将语文识字与美术绘图有机融合。本APP针对低年级学习者天性偏爱图画的学习心理，激发学生的积极性，让学生自己完成简单的绘图创作，并能以立体的模型呈现，让学生获得成就感和自信心。同时，立体模型与汉字对应出现，形象直观，让学生感受汉字的形体美。
（二）设计风格符合低年级学生认知习惯
目前，对于识字的AR项目研究有很多，有学者提出了可识别汉字的AR系统。大部分聚焦于技术实现及优化，忽视了结合教育实际的教学应用研究。本APP设计过程中充分考虑到低年级学习者的认知习惯，保持风格的统一的同时富有变化。模型更形象，色彩更丰富，音效更活泼。
（三）设计内容更聚焦象形文字
本APP对字库的选择，定位在最富形体美和文化意蕴的象形文字上。低年级学生对象形字部分的认识与学习，使学生对中国汉字发展、构成和文化形成正确认识起着十分重要的引导作用。“AR识字”采取形象直观的方式帮助学生建立象形字形与义之间的联系,激发学生汉字学习的浓厚兴趣,从而把握记忆和书写汉字的窍门,深入领会汉字的文化底蕴。让古老的象形文字，在AR技术的支持下焕发生机和活力。
七 总结与展望
AR技术将丰富的信息叠加在真实的物质世界中，为汉字以及其他众多学科的知识提供了更新颖的呈现方式，以其生动的模型展示，增强了学习的趣味性，交互性与参与感，使学习者能够更有效地接受和吸收知识和信息。我们本次的应用设计是根据新版教材中汉字教学的内容，结合教学实际需要设计出的辅助教学工具，我们在测试优化后对软件进行了实际课堂的使用，用户反馈基本一致，认为这种学习汉字的方式十分新颖，自己动手给字卡涂色，手机扫描出现的与汉字相关的3D场景非常有趣，让他们很容易将汉字与实物建立联系，随心所欲的字音播放以及笔顺动画的重复播放，让用户根据自身学习情况进行多次学习以及随时随地的复习。
参考文献
[1]郑悦,苏虹.识字写字教学应重汉字文化传承[J].语文建设,2018(12):69-71.
[2]金慧,刘迪,高玲慧,等.新媒体联盟《地平线报告》(2016高等教育版)解读与启示[J].远程教育杂志,2016,35(02):3-10.
[3]王萍.基于增强现实技术的移动学习研究初探[J].现代教育技术,2013,23(05):5-9.
[4]杨帆.识字小游戏的开发原则与应用举隅[J].学周刊,2018(30):104-105.
[5]孙宗乐,李晓庆.让学生快乐识字——小学语文低年级识字教学初探[J].教育现代化,2018,5(33):347-348.
[6]任建慧.基于资源呈现型PPT在小学识字教学中的应用研究[D].内蒙古师范大学,2014.
[7]曾丹,吉晖.增强现实技术的汉语教学研究[J].语文学刊,2017,37(05):163-166.
[8]蔡健.增强现实技术在教学中的应用研究[D].浙江工业大学,2017.
[9]张燕,翔朱赟,董东,等.从“经验之塔”理论看增强现实教学媒体优势研究[J].现代教育技术,2012,22(05):22-25.
[10]51CT0.AR开发技术点探索[J].电脑知识与技术(经验技巧),2018(07):97-100.
[11]胡天宇,张权福,沈永捷,等.增强现实技术综述[J].电脑知识与技术,2017,13(34):194-196.
[12]宋春雨.基于移动终端的增强现实装配技术[D].广东工业大学,2014.
[13]牟奇春,伍博,牟奇志,等.基于AR技术的“涂涂乐”儿童教育产品制作[J].电脑与信息技术,2017,25(4):34-36.
[14]刘会英,杜英.增强现实技术的应用探析[J].无线互联科技,2017(20):140-141.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！ 文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jiaoyulunwen/30981.html
