AI帮你靠“想象”打字：手机电脑软键盘也能盲打了，准确率能达到95%

来自韩国科学技术高级研究院在一项最新研究中，提出了一种 完全靠想象的键盘
：I-Keyboard，这个界面上看不到软键盘上的字母布局、形状和大小。
通过机器学习技术，你从触摸屏的任何区域进行打字，并且准确率还有点高。
研究人员声称，与传统的虚拟键盘相比，这个新颖的盲打键盘能让大多数人能够达到 95.84％ 的准确度。

构建系统

构建这个系统的第一步，就是先找到不用人类用软键盘打字的触摸位置的数据集。
研究人员招募了 43 名经常使用 QWERTY 键盘的志愿者，用他们的数据构建数据集。所谓的 QWERTY 键盘键盘，就是我们平时电脑和手机 26 键输入法上的字母布局。
图片来自维基百科
这些志愿者需要在研究人员的指示下输入一些固定句子，包括从推特和 20 个新闻数据集中随机抽取额 150-160 个句子，并在正式开始前用 15 个句子进行了预热。
最终，每个参与者大约花费了 15 分钟，总共输入了 7245 个短语，以及 196194 次键入。
论文中显示的手机装备如下：
数据收集装置
屏幕有一定的输入指引（图a），这个过程中屏幕上除了删除键和输入键以外没有其他提示，黑漆漆的输入界面上看起来是这样的（图b）：
收集完位置信息后，研究人员对这些数据进行了归一化处理，并且去除了位置偏移量。
他们发现，志愿者“盲打”时认定的字母排布不是水平对齐的，二是呈现一条特定的分布曲线。
算法“脑补”的键盘分布
于是，在这些调研之后，研究人员设计了I-Keyboard 的系统架构，由三个模块组成：
用户交互模块，准备模块和通信层。
首先，系统通过触摸屏或触摸界面接收输入。
同时数据准备模块预处理信息，并格式化原始输入。
最终，紧密集成了机器学习框架和应用程序框架的通信层处理信息，深度神经解码器（DND）负责将输入信息翻译成字符序列，预测打字人输入的到底是什么。
I-Keyboard 系统架构图

部署系统

系统构建完成后，研究人员在一台 MacBook Pro 上部署了I-Keyboard，测试系统的性能。
他们在短语集中随机选出了 20 个短语，参与者需要以每分钟 45.47 个单词的速度进行键入。
这个输入速度不是固定的，研究人员考虑到，在用物理键盘或者软键盘打字时，每个人的速度本身就不同。因此，为了保证测试质量，测试者也可以用物理键盘打字 88.74% 的速度进行输入。
结果显示，这种方法的正确率达到了 95.84%，超过了基线水平 4.06%。
研究人员表示，目前I-Keyboard 还不支持所有型号的智能手机，但研究人员的目标是将这个系统扩展到所有触摸屏设备上。
他们表示，这样研究未来前景无限，还可以加入一些手势识别算法，实现对非字母字符的输入，比如胡子，标点符号和功能键等。
总之，是一种全新体验的输入方式。

传送门

VentureBeat 报道：

https://venturebeat.com/2019/08/02/ai-may-turn-touchscreen-keyboards-invisible/

论文地址：

https://arxiv.org/abs/1907.13285