凌空手写——基于SensorTile.box传感器模组的空中手写输入法

[复制链接]

作者：信步春秋 2021-04-21 00:39:24 1 15088

项目名称

项目主题

穿戴设备

项目简介

项目图片

软硬件框图

演示视频

支持哔哩哔哩、优酷、腾讯视频。支持mp4、m4v格式

项目代码仓库

创客秀
项目名称:
主题:	穿戴设备
项目简介:	-
项目图片描述:	-
项目图片:	-
软硬件框图描述:	-
软硬件框图:	-
演示视频:	-
项目代码仓库:	-

1.项目背景

伴随着语音、视觉、自然语言处理等AI技术落地“全感官”的输入正在变成现实。除了键盘输入，语音输入，以及最新的表情输入，都可以让用户实现人机交互。小组成员基于ST公司的蓝牙传感器模组SensorTile.Box，利用机器学习等套件，开发一款”空中手写输入法",用户佩戴传感器模组，凌空手写如同隔空打怪，在空中书写也能被流畅识别，使得人机交互更具场景感、更加生活化。

输入法本质上是一款人机交互的工具，AI时代正在到来，人机交互的形态也将随之革新。未来，人机交互将不仅基于手机端和电脑端，甚至连通包括智能家居、车联网等多种终端场景，集多种输入方式为一体，帮助Z时代年轻人在各种场景下高效、自如地传递信息。

2.作品简介

设计名称：凌空手写——基于SensorTile.box传感器模组的空中手写输入法

项目背景：信息化时代的来临，传统人机交互方式无法联通多种终端场景；AI技术加持，“全感官”输入逐渐变为现实

开发平台：可穿戴设备传感器模组SensorTile.Box

赛题应用方向：Sensor方向、AI方向、ST生态方向

项目简介：
在本次HackThon挑战赛中，小组项目主要以Sensor方向、AI方向以及信息安全方向为突破点。项目最终的展现形式为新一代可穿戴设备，目的实现高效的人机交互体验。用户佩戴SensorTile.Box无线传感模组，利用板载LSM6DSOX六轴传感器采集到的加速度等信息，配合机器学习套件AutoML，实现了凌空手写的大致功能。

作品照片：

用户佩戴

SensorTile.Box正面

SensorTile.Box主控

3.系统架构

4.各部分功能实现

1.用户佩戴SensorTile.Box至手腕处，挥动手臂，控制电脑上的光标上下左右移动，替代传统的鼠标输入。
2.用户挥动手臂在空中“手写”数字，SensorTile.Box通过机器学习，识别出划动的轨迹。即用户佩戴传感器，在空中滑动“0”的轮廓，SensorTile.Box识别出数字"0"，代替传统的键盘输入。
3.用户的健康数据，如体温等，将利用STTS22H进行采集。完成健康监护等工作。
4.项目的固件升级均用蓝牙远程升级，实现安全升级。

项目原计划SensorTile.Box与PC主机进行无线蓝牙通信，由于开发时间有限，未能实现蓝牙与主机的通信。小组将获取到的传感器以虚拟串口的形式发送至主机。

基于Qeexo AutoML的机器学习开发实践：