请选择 进入手机版 | 继续访问电脑版

你的浏览器版本过低,可能导致网站不能正常访问!
为了你能正常使用网站功能,请使用这些浏览器。

凌空手写——基于SensorTile.box传感器模组的空中手写输入法

作者:信步春秋 2021-04-21 00:39:24 1 625

1.项目背景


伴随着语音、视觉、自然语言处理等AI技术落地“全感官”的输入正在变成现实。除了键盘输入,语音输入,以及最新的表情输入,都可以让用户实现人机交互。小组成员基于ST公司的蓝牙传感器模组SensorTile.Box,利用机器学习等套件,开发一款”空中手写输入法",用户佩戴传感器模组,凌空手写如同隔空打怪,在空中书写也能被流畅识别,使得人机交互更具场景感、更加生活化。


输入法本质上是一款人机交互的工具,AI时代正在到来,人机交互的形态也将随之革新。未来,人机交互将不仅基于手机端和电脑端,甚至连通包括智能家居、车联网等多种终端场景,集多种输入方式为一体,帮助Z时代年轻人在各种场景下高效、自如地传递信息。


2.作品简介


设计名称:凌空手写——基于SensorTile.box传感器模组的空中手写输入法


项目背景:信息化时代的来临,传统人机交互方式无法联通多种终端场景;AI技术加持,“全感官”输入逐渐变为现实


开发平台:可穿戴设备传感器模组SensorTile.Box


赛题应用方向:Sensor方向、AI方向、ST生态方向




项目简介:
       在本次HackThon挑战赛中,小组项目主要以Sensor方向、AI方向以及信息安全方向为突破点。项目最终的展现形式为新一代可穿戴设备,目的实现高效的人机交互体验。用户佩戴SensorTile.Box无线传感模组,利用板载LSM6DSOX六轴传感器采集到的加速度等信息,配合机器学习套件AutoML,实现了凌空手写的大致功能。


作品照片:

用户佩戴

用户佩戴

用户佩戴

用户佩戴

SensorTile.Box正面

SensorTile.Box正面

SensorTile.Box主控

SensorTile.Box主控



3.系统架构


1.png


4.各部分功能实现


1.用户佩戴SensorTile.Box至手腕处,挥动手臂,控制电脑上的光标上下左右移动,替代传统的鼠标输入。
2.用户挥动手臂在空中“手写”数字,SensorTile.Box通过机器学习,识别出划动的轨迹。即用户佩戴传感器,在空中滑动“0”的轮廓,SensorTile.Box识别出数字"0",代替传统的键盘输入。
3.用户的健康数据,如体温等,将利用STTS22H进行采集。完成健康监护等工作。
4.项目的固件升级均用蓝牙远程升级,实现安全升级。


项目原计划SensorTile.Box与PC主机进行无线蓝牙通信,由于开发时间有限,未能实现蓝牙与主机的通信。小组将获取到的传感器以虚拟串口的形式发送至主机。


基于Qeexo AutoML的机器学习开发实践:
6.png
2.png
3.png
4.png
5.png



5.视频演示



6.项目创新点


1.采用体感的方式提高人机交互的体验
2.在STM32L4平台上实现机器学习
3.使用蓝牙OTA,安全更新SensorTile.Box端固件。


7.未来拓展点


1.了解相关蓝牙模组的协议与控制,实现无线体感交互
2.空中轨迹识别精确度不高,只能识别特定的轨迹


8.项目总结


非常高兴能够参加此次Hackthon比赛,认识到了ST丰富的生态系统,以及不同领域的ST技术专家。同时,和天南海北的嵌入式工程师交流分享经验,非常感动!我们的项目虽然完成度不高,后期一定会继续努力完善此应用,大家有兴趣可以继续关注我们的帖子!
谢谢大家!感谢ST给予本次宝贵的交流机会!

1 收藏 评论2 发布时间:2021-4-21 00:39

举报

2个回答
陈鞋子 回答时间:2021-5-19 05:29:39
是审核没通过吗,这么没内容的
STMCU-管管 回答时间:2021-5-19 11:25:11
陈鞋子 发表于 2021-5-19 05:29
是审核没通过吗,这么没内容的

通过了,纯文本没有去格式,没显示出来,现在好了
关于意法半导体
我们是谁
投资者关系
意法半导体可持续发展举措
创新和工艺
招聘信息
联系我们
联系ST分支机构
寻找销售人员和分销渠道
社区
媒体中心
活动与培训
隐私策略
隐私策略
Cookies管理
行使您的权利
关注我们
st-img 微信公众号
st-img 手机版