凌空手写——基于SensorTile.box传感器模组的空中手写输入法
1.项目背景伴随着语音、视觉、自然语言处理等AI技术落地“全感官”的输入正在变成现实。除了键盘输入，语音输入，以及最新的表情输入，都可以让用户实现人机交互。小组成员基于ST公司的蓝牙传感器模组SensorTile.Box，利用机器学习等套件，开发一款”空中手写输入法",用户佩戴传感器模组，凌空手写如同隔空打怪，在空中书写也能被流畅识别，使得人机交互更具场景感、更加生活化。
输入法本质上是一款人机交互的工具，AI时代正在到来，人机交互的形态也将随之革新。未来，人机交互将不仅基于手机端和电脑端，甚至连通包括智能家居、车联网等多种终端场景，集多种输入方式为一体，帮助Z时代年轻人在各种场景下高效、自如地传递信息。
2.作品简介
设计名称：凌空手写——基于SensorTile.box传感器模组的空中手写输入法
项目背景：信息化时代的来临，传统人机交互方式无法联通多种终端场景；AI技术加持，“全感官”输入逐渐变为现实
开发平台：可穿戴设备传感器模组SensorTile.Box
赛题应用方向：Sensor方向、AI方向、ST生态方向
项目简介：
在本次HackThon挑战赛中，小组项目主要以Sensor方向、AI方向以及信息安全方向为突破点。项目最终的展现形式为新一代可穿戴设备，目的实现高效的人机交互体验。用户佩戴SensorTile.Box无线传感模组，利用板载LSM6DSOX六轴传感器采集到的加速度等信息，配合机器学习套件AutoML，实现了凌空手写的大致功能。
作品照片：
3.系统架构
4.各部分功能实现
1.用户佩戴SensorTile.Box至手腕处，挥动手臂，控制电脑上的光标上下左右移动，替代传统的鼠标输入。
2.用户挥动手臂在空中“手写”数字，SensorTile.Box通过机器学习，识别出划动的轨迹。即用户佩戴传感器，在空中滑动“0”的轮廓，SensorTile.Box识别出数字"0"，代替传统的键盘输入。
3.用户的健康数据，如体温等，将利用STTS22H进行采集。完成健康监护等工作。
4.项目的固件升级均用蓝牙远程升级，实现安全升级。
项目原计划SensorTile.Box与PC主机进行无线蓝牙通信，由于开发时间有限，未能实现蓝牙与主机的通信。小组将获取到的传感器以虚拟串口的形式发送至主机。
基于Qeexo AutoML的机器学习开发实践：
5.视频演示
https://cirmall-edm.eefcdn.com/%E5%87%8C%E7%A9%BA%E6%89%8B%E5%86%99.mp4
6.项目创新点
1.采用体感的方式提高人机交互的体验
2.在STM32L4平台上实现机器学习
3.使用蓝牙OTA，安全更新SensorTile.Box端固件。
7.未来拓展点
1.了解相关蓝牙模组的协议与控制，实现无线体感交互
2.空中轨迹识别精确度不高，只能识别特定的轨迹
8.项目总结
非常高兴能够参加此次Hackthon比赛，认识到了ST丰富的生态系统，以及不同领域的ST技术专家。同时，和天南海北的嵌入式工程师交流分享经验，非常感动！我们的项目虽然完成度不高，后期一定会继续努力完善此应用，大家有兴趣可以继续关注我们的帖子！
谢谢大家！感谢ST给予本次宝贵的交流机会！
是审核没通过吗，这么没内容的
陈鞋子 发表于 2021-5-19 05:29
是审核没通过吗，这么没内容的
通过了，纯文本没有去格式，没显示出来，现在好了
请问使用蓝牙模块与PC主机通信有实现的可能吗
页:
[1]