小鹿在出生后十分钟内就能站起来，七个小时内就能学会走路。在能够站起来但还不会走路的这段时间里，它会非常可爱、非常狂热地摆动它的四肢。
这就是人工智能机器人背后的理念。虽然自主机器人和自动驾驶汽车一样，已经是一个被大众所熟知的概念，但自主学习机器人仍然只是一个设想。现有的强化学习算法虽然能够让机器人通过反复试验来学习动作，但仍严重依赖于人工干预。每当机器人跌倒或走出训练环境时，它还是需要有人扶起它，并将它放回正确的位置。
最近，谷歌研究人员的一项新研究取得了重大进展，机器人可以在没有人工干预的情况下学习走路。在几个小时内，仅仅依靠对当前最先进算法的微调，它们成功地让一个四条腿的机器人学会了完全独立的向前走和向后走，以及左右转弯。
图 | 机器人在不同的地形上学习自主行走，包括平地（上）、记忆泡沫床垫（中）和镂空的门垫（下） （来源：arxiv.org）
这项工作建立在一年前的研究基础上，当时研究团队首次发现了如何让机器人在现实世界中学习。
此前，强化学习通常在模拟环境中进行：机器人的虚拟分身在模拟的环境中走来走去，直到算法足够完善，可以使其安全运行为止。然后将其导入真正的机器人。
这种方法有助于避免机器人在反复实验过程中对周围环境的损伤，但也需要一个易于建模的环境。在机器人脚下模拟自然散落的沙砾或者弹簧床垫需要很长时间，根本不值得。
基于这种状况，研究人员从一开始就决定通过在真实世界中训练来避免困难的环境建模。他们设计了一种更高效的算法，可以使学习的试验次数变少一点，并在两个小时内让机器人站起来行走。由于实际环境中会有自然变化，机器人也能够快速适应其他相似的环境，如斜坡、台阶以及有障碍的平地。
但是，这个过程仍然需要人类去帮助机器人，并手动干预上百次，Google Brain 机器人运动团队的负责人、论文合著者谭杰（音译）说，“一开始我没想过还需要人工干预。”
于是他们开始解决这个新问题。首先，他们限定了机器人可以探索的地形，并让它一次性进行多重动作训练。如果机器人在学习如何向前走的同时到达了限定地形的边缘，它就会改变方向，开始学习如何向后走。
其次，研究人员还限制了机器人的训练动作，让它能够谨慎一些，最大限度地减少反复摔倒带来的伤害。当机器人不可避免地摔倒时，他们还添加了另一个硬编码算法来帮助它站起来。
通过这些调整，机器人学会了如何在几个不同的环境中自主行走，包括平地、记忆泡沫床垫和有缝隙的门垫。这项实验给未来的某些应用带来了可能性，有些情况可能需要机器人在没有人类的情况下在坎坷和未知的地形中行走。
斯坦福大学助理教授切尔西 芬恩（Chelsea Finn）表示：“这项工作令人感到非常兴奋。” 芬恩也为谷歌工作，但没有参与这项研究。“让这个过程不再出现人工干预真的很难。机器人能够更自主地学习，就更有可能在我们生活的现实世界中学习，而不是在实验室里。”
但她也提醒到，目前的设置依赖于机器人上方的动作捕捉系统来确定其位置。这在现实世界中是不可能的。
接下来，研究人员希望他们的算法能适用于不同种类的机器人，或适用于多个机器人在同一环境中同时进行学习。谭杰相信，破解机器人的运动能力将是解锁更多有用机器人的关键。
“很多地方都是为人类建造的，我们都用腿来走路，” 他说，“如果机器人学不会使用腿，它们就不能在人类世界中行走。”
-End-
编译：潘瑾
参考：
https://www.technologyreview.com/s/615303/ai-robot-learns-to-walk-autonomously-reinforcement-learning/
