1.项目背景伴随着语音、视觉、自然语言处理等AI技术落地“全感官”的输入正在变成现实。除了键盘输入,语音输入,以及最新的表情输入,都可以让用户实现人机交互。小组成员基于ST公司的蓝牙传感器模组SensorTile.Box,利用机器学习等套件,开发一款”空中手写输入法",用户佩戴传感器模组,凌空手写如同隔空打怪,在空中书写也能被流畅识别,使得人机交互更具场景感、更加生活化。 输入法本质上是一款人机交互的工具,AI时代正在到来,人机交互的形态也将随之革新。未来,人机交互将不仅基于手机端和电脑端,甚至连通包括智能家居、车联网等多种终端场景,集多种输入方式为一体,帮助Z时代年轻人在各种场景下高效、自如地传递信息。 2.作品简介设计名称:凌空手写——基于SensorTile.box传感器模组的空中手写输入法 项目背景:信息化时代的来临,传统人机交互方式无法联通多种终端场景;AI技术加持,“全感官”输入逐渐变为现实 开发平台:可穿戴设备传感器模组SensorTile.Box 赛题应用方向:Sensor方向、AI方向、ST生态方向 项目简介: 在本次HackThon挑战赛中,小组项目主要以Sensor方向、AI方向以及信息安全方向为突破点。项目最终的展现形式为新一代可穿戴设备,目的实现高效的人机交互体验。用户佩戴SensorTile.Box无线传感模组,利用板载LSM6DSOX六轴传感器采集到的加速度等信息,配合机器学习套件AutoML,实现了凌空手写的大致功能。 作品照片: 用户佩戴 用户佩戴 SensorTile.Box正面 SensorTile.Box主控 3.系统架构4.各部分功能实现1.用户佩戴SensorTile.Box至手腕处,挥动手臂,控制电脑上的光标上下左右移动,替代传统的鼠标输入。 2.用户挥动手臂在空中“手写”数字,SensorTile.Box通过机器学习,识别出划动的轨迹。即用户佩戴传感器,在空中滑动“0”的轮廓,SensorTile.Box识别出数字"0",代替传统的键盘输入。 3.用户的健康数据,如体温等,将利用STTS22H进行采集。完成健康监护等工作。 4.项目的固件升级均用蓝牙远程升级,实现安全升级。 项目原计划SensorTile.Box与PC主机进行无线蓝牙通信,由于开发时间有限,未能实现蓝牙与主机的通信。小组将获取到的传感器以虚拟串口的形式发送至主机。 基于Qeexo AutoML的机器学习开发实践: 5.视频演示6.项目创新点1.采用体感的方式提高人机交互的体验 2.在STM32L4平台上实现机器学习 3.使用蓝牙OTA,安全更新SensorTile.Box端固件。 7.未来拓展点1.了解相关蓝牙模组的协议与控制,实现无线体感交互 2.空中轨迹识别精确度不高,只能识别特定的轨迹 8.项目总结非常高兴能够参加此次Hackthon比赛,认识到了ST丰富的生态系统,以及不同领域的ST技术专家。同时,和天南海北的嵌入式工程师交流分享经验,非常感动!我们的项目虽然完成度不高,后期一定会继续努力完善此应用,大家有兴趣可以继续关注我们的帖子! 谢谢大家!感谢ST给予本次宝贵的交流机会! |
通过了,纯文本没有去格式,没显示出来,现在好了
请问使用蓝牙模块与PC主机通信有实现的可能吗