布朗本科研究员教机器人手写和绘图叶欢

布朗本科研究员教机器人手写和绘图

由布朗大学计算机科学家开发的算法使机器人能够将笔放在纸上，使用类似于人类手写的笔划图案来书写文字。研究人员说，这是向能够与人类同事和合作者进行更流畅沟通的机器人迈出的一步。

“通过查看单词或草图的目标图像，机器人可以将每个笔画重现为一个连续动作，”负责算法开发的Brown的本科学生Atsunobu Kotani说“这使得人们很难区分它是由机器人编写还是实际由人类编写的。”

该算法利用深度学习网络来分析手写单词或草图的图像，并可以推断出创建它们的可能的笔划系列。然后，机器人可以使用它学到的笔划来再现单词或草图。在本月的机器人与自动化国际会议上发表的一篇论文中，研究人员演示了一种能够用10种语言编写“hello”的机器人，这种语言使用不同的字符集。机器人还能够再现粗略的草图，包括蒙娜丽莎之一。

Brown和Kotani的顾问，计算机科学助理教授Stefanie Tellex说，使这项工作与众不同的是机器人从零开始学习笔顺的能力。

“该领域的许多现有工作要求机器人提前获得有关中风顺序的信息，”Tellex说。“如果你想要机器人写东西，有人必须每次都要编写笔画顺序。用Atsu做的，你可以绘制你想要的任何东西，机器人可以重现它。它并不总是完美的笔画顺序，但它非常接近。“

Tellex说，这项工作的另一个显着方面是该算法如何能够概括其再现笔画的能力。Kotani使用一组日文字符训练他的深度学习算法，并表明它可以再现字符和创建它们的笔画，准确率约为93％。但令研究人员惊讶的是，这种算法能够重现前所未有的非常不同的字体类型 - 例如英文版和草书版。

“如果它只学习了日文字符，我们会很高兴，”Tellex说。“但是一旦开始研究英语，我们就感到惊讶。然后我们决定看看能走多远。”

Tellex和Kotani要求在Tellex人类工作的所有人到机器人实验室用他们的母语写“hello”，其中包括希腊语，印地语，乌尔都语，中文和意第绪语等。机器人能够以合理的行程精度再现它们。

“我觉得机器人用这么多不同的语言写作真的很棒，”Tellex说。“我觉得这真的很酷。”

但该系统的杰作可能是它的Kotani的Mona Lisa草图的副本。他在Tellex的实验室的干擦板上画了他的素描，然后允许机器人将它 - 相当忠实地 - 复制在Kotani原版下面的同一块板上。

“这是凌晨，我们的机器人最终将蒙娜丽莎画在白板上，”科塔尼说。“当我回到实验室时，每个人都站在白板旁看着蒙娜丽莎，问我机器人是否画了这个。他们无法相信。”

对于Kotani来说这是一个重要的时刻，因为“就在那时我们的机器人定义了超越单纯印刷的时刻。” 喷墨打印机可以重新创建一个图像，但它使用一个打印头，然后再往前走，逐行构建图像。但这就是机器人用类似人类的笔画创造一个图像，这对Kotani来说是“更具人性和表现力的东西”。

Kotani说，使系统正常工作的关键在于该算法使用了两种不同的图像模型。使用将图像视为整体的全局模型，该算法识别出进行第一次笔划的可能起点。一旦该笔划开始，算法就会放大，逐个像素地查看图像，以确定笔划应该去哪里以及应该多长时间。当它到达笔划的末尾时，算法再次调用全局模型来确定下一个笔划应该从哪里开始，然后它返回到放大模型。重复该过程直到图像完成。

Kotani和Tellex都表示，这项工作是迈向人与机器人之间更好沟通的一步。最终，他们设想机器人可以留下便利贴，为他们的人类同事和合作者提供听写或草图。

“我希望机器人能够完成一个人可以做的一切，”Tellex说。“我对能够使用语言的机器人特别感兴趣。写作是人们使用语言的一种方式，所以我们认为我们应该尝试这种方式。”

注射去皱

上海白癜风医院

四川省骨科医院

成都私密整形医院

包头男科