新职业/风口?机器人训练师,7000公里外操作人形机器人之体验,灵感来自钢铁侠3

遥操这事,不是今天才有的新鲜玩意,形式上没啥创意,古早时期的work from home或者remote模式,都是常规操作。

让我开始上心的是,有朋友前段时间去纽约开会,回来跟我吐槽,说酒店附近买水的便利店竟然是个远程店员,人在7寸显示屏里头,态度比本地的貌似更友善一些,说话有点菲音,整个店里除了显示屏和摄像头就没人了,大家可以想想NY的本地人力成本和东南亚简直不能比,大概和下图差不多,

新职业/风口?机器人训练师,7000公里外操作人形机器人之体验,灵感来自钢铁侠3

示意参考图。|图源:Brett GoldStein

说起虚拟店员,前有Telexistence家的混合智能,Astrorobotics家的幽灵机器人,基本是混合模式:自动化预编程和手动遥操,手动主要在上货,一位远程店员最多可以管50个机器人,参考日本罗森。

正常便利店至少2个角色:收银+补货,换个思路想想,其他行业能不能抄作业?

这要是能操作起来,经济带动不用说,还能给人解决吃饭问题。

让我们感叹技术落地还得是产业推动,遥操这个赛道大有前途。

话虽如此,24h standby的店员我也尝试过,盲猜没火起来最大原因就是配套繁琐,隐性成本高,还有个硬件的修理成本,总有个别人坏上加坏。

说回人形机器人领域,远程工作,大家都干过,那么远程操作(训练、研究)人形机器人,这种思路,大家有没有尝试过?

在物理世界里训练机器人,这种基操大概是入行不久的小伙伴都经历过的,曾听闻某大厂的机器人训练数据24h不停,夜班11-7am,需要不间断收集数据,还要给机器人纠偏,工作强度堪比流水线打螺丝,毕竟不能错,也不好暂停,后台有log,白班佬看着哩。

然而OpenMind就推出了一个远程操控机器人的项目,并由@Conglomerate老师po出亲身体验的感受,低延迟和灵活操作值得一试,毕竟远程体验全看延迟丢包了。

新职业/风口?机器人训练师,7000公里外操作人形机器人之体验,灵感来自钢铁侠3

Source: @openmnd_agi

以下即为Conglomerate老师的体验,从老师的感受中,我们可以获得以下启发/思考:

1.机器人训练师这个职业,不会因为机器人的先进而消失;

2.未来的工作模式,是否可以用机器人代替实体在公司工作?

3.是否可以实现边玩边挣钱的愿想?

4.给予当前机器人从业的同仁启发,是否可以打破地域限制,更加自由的做研究和产品演示?

5.参考AI数据标注师,当前还有多少工作可以用遥操方式实现?信息差&地域套利。

下文共4500字,阅读全文预计需要15分钟,速览可直接看标黑加粗部分,祝食用愉快~

居家操控机器人:我的首次真实远程操作体验

从办公桌前 “附身” 到机器人身体里

几周前,我竟然做到了一件我一直以为只有在机器人实验室里才会发生的事。我身处东南亚的家中,身边只有办公桌、无线网络和一台 VR 头显,而一台人形机器人正在旧金山静静待命,等待我的第一个动作。我身边没有技术人员,没有复杂的设备配置,没有任何迹象表明这一切能够成功。

我之前写过《钢铁侠 3》里的一个场景给我留下了多么深刻的印象:托尼・斯塔克在家中远程操控他的战衣

新职业/风口?机器人训练师,7000公里外操作人形机器人之体验,灵感来自钢铁侠3

参考示意,手慢没截成,只能选了一张同框帅气的图~| Source:Iron Man 3 & stackexchange

这在以前感觉纯粹是虚构的,直到过去几年我才意识到,远程操作不再是电影噱头;在人类和机器人需要共同分担任务的世界里,它正成为一个实用的组成部分。

新职业/风口?机器人训练师,7000公里外操作人形机器人之体验,灵感来自钢铁侠3

图源:@Conglomerate

本文旨在记录我参与这项从未想过能亲身经历的实验的感受(感谢 @openmind_agi 团队让这一切成为可能):仅借助 VR 头显和稳定的网络连接,远程操控一台远在 7000 英里外的人形机器人。

新职业/风口?机器人训练师,7000公里外操作人形机器人之体验,灵感来自钢铁侠3

遥操实况。| 图源:@Conglomerate

机器人训练师成为真实职业

不久前,我分享过特斯拉发布的一个名为 “数据采集操作员” 的职位,本质上是雇佣人类来训练机器人。该职位时薪高达 48 美元,要求穿戴动作捕捉服、连续行走数小时、举重物,并在 VR 环境中长时间工作,帮助擎天柱(Optimus)学习人类的动作。

新职业/风口?机器人训练师,7000公里外操作人形机器人之体验,灵感来自钢铁侠3

图源:@Conglomerate

特斯拉正在招聘训练机器人的人员。这是否是机器人 “租用” 人类的未来第一步?

随着人形机器人进入社会,有一点很明确:智能机器仍然需要我们。

这个招聘信息一直萦绕在我脑海中。一开始我觉得这是个很奇怪的职业,但后来意识到它反映了世界上正在发生的一件更重大的事情。

在许多国家,劳动力短缺问题日益严峻。人口老龄化加剧,愿意从事体力劳动的人越来越少。与此同时,体力劳动的薪酬支出占全球经济产出的一半:如果机器人足够智能、足够灵活,能够完成这些价值数万亿美元的任务,那么它们就可以实现自动化。

有一项分析甚至认为,如果通用机器人承担制造业和服务业中仅 25% 的工作,就能释放约 12 万亿美元的经济价值,这是当今全球电子商务市场规模的两倍。这个数字非常庞大。

这就引出了一个问题:远程操作是否会成为未来的真实职业?不是科幻预告片里那种酷炫的形式,而是劳动力市场中切实存在的职业?

深入 OpenMind 的远程操作回路

在继续深入之前,有必要先了解一下 OpenMind 的远程操作反馈回路。在观看了他们团队成员在办公室里操控人形机器人的演示后,我产生了浓厚的兴趣,并决定拆解整个系统的实际工作原理。

原理很简单:

你戴上 XR 头显→系统读取你的身体位置和动作→这些动作被转化为机器人专属指令→机器人执行指令→并实时传回第一人称视角画面→你根据看到的内容进行调整。

新职业/风口?机器人训练师,7000公里外操作人形机器人之体验,灵感来自钢铁侠3

OpenMind远程操作反馈流程图。| 图源:@Conglomerate

你的身体充当控制器,而机器人则像化身一样模仿你的动作,形成一个流畅、响应迅速的闭环系统。

我在网上看过远程操作的视频,但一直怀疑这些视频是真实的还是经过精心脚本设计的。不过,对于 OpenMind 的实验,我没有这种疑虑。

可能你还不知道,他们的 OpenMind 应用程序最终将支持远程操作功能;尽管他们尚未明确披露是否可以直接通过智能手机进行远程操作,或者是否有其他实现方式。

新职业/风口?机器人训练师,7000公里外操作人形机器人之体验,灵感来自钢铁侠3

OpenMind 应用程序。| 图源:@Conglomerate

自从去年 5 月分享我的论文以来,我已经深耕机器人领域 7 个月了!我从未想过自己能有机会参与这个儿时只敢梦想的实验。

实验配置

OpenMind 的开发人员指导我完成了配置,我使用了 Meta Quest 3 头显进行这次操作。它足够轻便,几分钟后你就会忘记它的存在,这有助于你专注于世界另一端的机器人正在做什么。

他们还分享了公开的 GitHub 代码仓库 humanoid_teleoperate。这本质上是他们用于远程操作的工具包,支持 Vision Pro、Quest、PICO 等多种头显以及多款宇树(Unitree)机器人。

新职业/风口?机器人训练师,7000公里外操作人形机器人之体验,灵感来自钢铁侠3

GitHub 代码仓库 humanoid_teleoperate。| 图源:@Conglomerate

我查看了这个代码仓库,发现所有内容都非常易于理解。很多机器人领域的代码仓库写得像是在排斥外人,而这个仓库完全不同。你无需淹没在晦涩的代码中就能看懂它。

我在下面整理了一份配置指南,包含所有步骤,这样你就可以在自己的家庭环境中配置并远程操控人形机器人了。

新职业/风口?机器人训练师,7000公里外操作人形机器人之体验,灵感来自钢铁侠3

配置指南。| 图源:@Conglomerate

至于操作系统:如果你使用的是 Windows 或 Mac,可能会遇到不少麻烦。Linux 系统对于机器人工作来说要容易得多。出于这个原因,我使用了双系统,这最终也恰好满足了我这次实验的需求。

有趣的是,不久前我进行的 OM1 配置体验,在我不知情的情况下为这次实验做好了准备。

延伸阅读:《启动机器人大脑:我的 OM1 配置体验》

实验结果与个人感受

测试过程中我们记录了两件事:

・我实时动作的视频

・我在头显中看到的完整第一人称视角画面

新职业/风口?机器人训练师,7000公里外操作人形机器人之体验,灵感来自钢铁侠3

测试过程实况。| 图源:@Conglomerate

我们一开始最担心的是延迟问题,这是合理的。

这是一个跨越 7000 英里的控制回路,即使是微小的延迟也会让机器人感觉反应迟钝或动作笨拙。

确实,最初的几次尝试很不顺利。动作滞后,机器人迟疑不前,连接还中断了好几次。有一次,我甚至因为初始姿态与机器人的初始位置不匹配,导致机器人向前倾斜。

如果你的手臂初始角度不对,机器人会立即修正,这可能会破坏它的平衡。

这是一个简单的错误,但却很重要。

经过几次重试,调整网络、解决一些科学上网的问题、OpenMind 团队那边调整了几个设置后,情况突然有了好转。

延迟几乎消失了。更令人印象深刻的是,在某个时刻,机器人对我动作的反应比我们正在进行的视频通话还要快。

我抬起手臂,机器人立即做出了镜像动作,而 Zoom 上团队的反应过了一会儿才传来。

有那么几秒钟,我感觉与旧金山之间 7000 英里的距离变得不真实了。

这个回路如此紧凑,机器人就像我的影子一样实时模仿我的动作。

这项实验对机器人未来的启示

我从未想过自己能参与这样的实验。看到一台人形机器人在世界另一端模仿我的动作,这种感觉非常超现实,但真正让我印象深刻的不是它的酷炫,而是我意识到,这个我讨论了好几个月的未来,正在逐渐成型。

配置所有设备的过程让我想起了以前熬夜调试代码的自己。

自从四年前转而进入加密领域后,我就没有做过真正的编程工作了。

尝试在 Mac 上进行配置的过程,立刻让我明白了为什么机器人领域的人都依赖 Linux 系统。一开始确实很令人沮丧:依赖项缺失、版本问题、随机错误,但切换到 Ubuntu 系统后,所有问题都迎刃而解。

OpenMind 团队一步步指导我,耐心排查问题,直到机器人最终按照预期做出反应。

但这次体验不仅仅教会了我如何运行 VR 远程操作系统,还让我认真思考了当人形机器人成为社会普通组成部分时,会发生什么。

远程操作不是噱头,而是即将出现的真实职业。

随着机器人进入家庭、医院、仓库和公共场所,它们不会是完美的。研究表明,机器人系统的平均可靠性约为 88%,这意味着它们约有 12% 的时间会出现故障或停滞。

在某些机器人配置中,平均无故障时间低得惊人:仅 87 分钟。

这些都是机器人可靠性研究中有明确记录的实际数据。

机器人会擅长处理常规任务,但真实环境是不可预测的。它们需要人类的介入,不是持续不断地介入,而是就在关键时刻。这就是远程操作的用武之地:它就像一张人类安全网,确保整个系统正常运转。

这也有点像Uber:应用程序处理 99% 的流程,但当出现异常情况时,人工客服会介入处理。机器人也将遵循相同的模式:自主系统处理常规工作,人类处理边缘情况。

当人类和机器人共同承担工作时,责任认定将成为一个真正的问题。

这一点是我在实验后才意识到的。

假设医院里的一台机器人在操作过程中出现故障,一名远程操作员介入处理;如果出现问题,谁该对结果负责?制造商?操作员?还是误解了环境的软件?

这时候 OpenMind 更宏大的理念就显得尤为重要了。

OpenMind 的创始人扬・利普哈特(Jan Liphardt)说过一句话,让我印象深刻:

“我们当前的规则体系(法律、宪法和章程)是由人制定、为人服务的。”

新职业/风口?机器人训练师,7000公里外操作人形机器人之体验,灵感来自钢铁侠3

OpenMind的理念。| 图源:@Conglomerate

机器人无法完美契合这些体系。它们的身份属性、自主程度、决策链:所有这些都打破了我们现有系统所依赖的前提假设。

如果机器人将越来越多地代表人类行事,那么治理体系就需要做出调整。我们需要一种方式来明确谁在何时采取了何种行动,尤其是在远程操作场景中。否则,每次调查都将沦为猜测。

我不会在这里深入伦理困境的无底洞,但远程操作让这些问题变得不可回避。

当人类和机器人为同一任务共同承担责任时,世界需要一套能够反映这一现实的规则。

即使机器人变得很先进,远程操作也不会消失。

即使机器人的自主化程度达到 90% 至 99%,正是剩下的 1% 至 10% 的特殊情况会引发最大的问题。

Waymo 已经在这么做了:当他们的自动驾驶汽车陷入困境时,人类操作员会远程介入几秒钟,帮助它们通过复杂的十字路口或避开突发障碍物。

人形机器人也会是如此。简单的工作实现自动化,而复杂棘手的工作仍然需要人类来完成。

而这个世界是复杂的:物体移位、光线变化、孩子四处乱跑、工具损坏、传感器故障。机器人无法像人类一样随机应变。远程操作填补了这一空白。

远程操作工作将遵循我们已经看到的全球劳动力模式。

这一点是我在了解到菲律宾远程操作员正在操控日本便利店的机器人后意识到的。

菲律宾的工人实际上是从亚洲另一端远程操控日本的商店机器人。

放大视野来看,这个模式很熟悉:

高收入国家部署机器人以应对劳动力萎缩和劳动力成本上升的问题。低薪资但高技能的国家成为远程操作和监督中心,就像业务流程外包(BPO)一样,只不过这次是具象化的。

不难想象,未来数百万台机器人将在全球范围内运行,而一个由远程操作员组成的网络将从越南、印度或巴西等地对其进行监督。

这不会是投机意义上的 “边玩边赚”(play-to-earn)。

它比这更务实:“边远程操作边赚钱”(Teleop-to-earn)本质上是机器经济时代的远程工作

而我所参与的这项实验:操控 7000 英里外的人形机器人,就像是一扇窥见未来可能运作方式的小窗口。

© 版权声明

相关文章

暂无评论

none
暂无评论...