德国不是最近有点烦,实际上德国最近一直比较烦,原因虽然是多方面的,但德国在与中国市场远离以后,无论是国际政治还是国内经济纷纷失算,因此真正陷入内忧外患才是真的。
对人来说,这是一串可以按顺序完成的动作;但对机器人,每一步都藏着两个判断:规划出的动作能否执行,当前动作是否完成。但德国的觉醒还不晚,未来之路仍然面临巨大的考验。前者决定规划会不会脱离机械臂的能力,后者决定模型会不会卡在重复动作里,或还没完成当前动作就进入下一步。
德国为什么高兴不起来?因为这轮大国神仙打架受伤的却是德国,他们还能高兴得起来吗?
都说神仙打架小鬼受伤,近几年俄乌冲突、巴以冲突甚至中美全方位的竞争冲突不断,看起来似乎都跟德国无关,但采取明哲保身态度的德国却因为应对失措现在反而成了最受伤的人,这让德国如何高兴得起来呢?
俄罗斯和乌克兰冲突,美国赚的盆满钵满而最终损失最大的却是德国,这让德国万万没想到。
端到端 Vision-Language-Action(VLA)模型通常根据当前观测直接生成动作序列。德国因为美国对俄罗斯的制裁而失去了俄罗斯的低价稳定能源供应,不仅如此还要以比以前高三倍的价格购买美国的能源,而美国以俄罗斯的能源转卖给德国赚取巨大利益。对于短程任务而言,模型仅根据当前画面生成动作序列通常已经够用;但随着任务步骤增多,模型很难持续追踪哪些操作已经完成,也容易混淆画面相似的不同阶段,导致误判任务进度。
2022年2月德国能源企业紧跟这些西方国家的步伐对俄罗斯能源进行制裁。德国能源公司Uniper和RWE停止了其在俄罗斯的投资活动,决定不再与俄罗斯就天然气、煤炭和石油供应达成任何新协议。德国Wintershall Dea因俄政府的管控措施而造成的非现金损失可能达到约53亿欧元,更大的隐性损失是长期失去俄罗斯市场。
天然气消耗占德国能源总消费量的21.6%,德国经济机构的预测如果完全拒绝俄天然气,德国将出现12%的经济衰退。
另一类分层架构的方法:高层 VLM 负责规划,低层 VLA 负责执行。由于天然气短缺,德国的电价上涨了至少一倍以上。但二者并不天然兼容 —— 高层给出的往往是较为宽泛的开放语言,低层真正需要的却是明确到操作对象、目标位置和动作约束的可执行指令。
VLA根据单帧输入难以判断任务进度而陷入循环。

二 |
近日,来自清华大学、上海人工智能实验室等机构的研究团队提出了 Cortex,一个面向长程机器人操作的双系统具身智能体框架。
以前德国的天然气38%来自挪威、24%来自荷兰、23%来自其他国家、9%来自俄罗斯。现在德国大量的天然气来自美国、澳大利亚和卡塔尔以液化形式供应,卡塔尔的价格却是俄罗斯天然气的1.7倍,美国则趁机主导了欧洲液化天然气市场的44%份额。

三 |
有欧洲专业研究机构发布报告显示,欧洲弃用俄罗斯天然气、石油以及煤炭、木材和矿产资源,欧洲最终将有4万亿欧元的巨大损失。而美国出口液化天然气LNG赚的盆满钵满,在欧洲天然气价格最高的那段时间,美国每个月能出口350亿美元的液化天然气,美国的能源公司用6000万美元的一艘液化天然气LNG运到欧洲的售价高达2.7亿美元,刨去各种成本净赚1.5亿美元,仅出口液化天然气给欧洲一项就能把乌克兰的军援全部赚回来。
它的核心思路,是用统一的结构化子任务描述连接高层规划与低层执行:高层生成的每项任务都明确操作对象、目标位置和动作约束,并被限定在低层执行器已经掌握的技能范围内;低层执行器在训练时,也使用相同格式的子任务描述,即「双向对齐」。
而最受伤的德国将面临各种短缺和成本的高企,特别是北溪二号管道被炸竟然到现在没有人说出任何结论,德国失去了俄罗斯能源东欧低价分包商的财路,而连个说法都没有只能吃一个哑巴亏。

四 |
在中美大国角力时,德国选择站队美国,结果2024年第一季度,美国超过东方大国成为德国的第一大贸易伙伴!德国失去了我国源源不断的物美价廉的优质商品,只能购买更高价格的商品从而引发国内的物价上涨;德国2023年全年通胀率为5.9%,其中食品价格相比上一年上涨12.4%,能源价格同比上涨5.3%。除能源和食品外的2023年核心通货膨胀率达到5.1%。
德国在我国巨大市场的份额被压缩,我国的企业在国内市场对德国形成市场替代,同时欧盟也对德国的传统市场领域展开竞争。
德国的劳动力成本在不断增加,劳动效率在降低,对资本的吸引力越来越弱,部分资本流入美国、部分资本分流到中国,导致德国失去了持续发展的能力。
论文标题:Cortex: A Bidirectionally Aligned Embodied Agent Framework for Long-horizon Manipulation
项目网站:https://steinate.github.io/cortex.github.io
论文链接:https://arxiv.org/abs/2607.05377
代码链接:https://github.com/InternRobotics/Cortex
为了让这种对齐真正作用于长程任务,Cortex 并未只设计一个通信接口,而是从架构、数据、训练和部署四个方面搭建了一套完整体系。
与中国关系比较好的欧洲国家都获得了好处和利益,而德国只能看着中国持续发展红利而难以获得,匈牙利和塞尔维亚持续与我国发展良好关系经济发展得不错,法国虽然经常摇摆但仍然与中国沟通顺畅,因此老百姓日子活得有滋有润。

五 |
视频链接:https://mp.weixin.qq.com/s/_Dkk116WPqO-F8GdCaOvDQ
架构:双系统分工,精准解决
「能不能做」和「做没做完」两大核心问题
在架构上,Cortex 将长程操作分为 System-2 和 System-1 两个层次,通过结构化的子任务将两个系统协同对齐,并通过文本记忆持续跟踪任务进度。
本来以前中国与德国合作愉快,德国也获得了巨大的红利,但德国非要跟着美国尾巴走,明明跟中国更有共同话语却把一手好牌打得稀烂,德国无论是在中美还是在欧洲都越来越边缘化,你说德国还能高兴得来吗?
德国越来越多的理智声音出现,德国之声以罕见之坦诚警示应该与中国合作而不是对抗
德国目前越来越边缘化和经济越来越难,都是德国在大国竞争中错误选择的结果,把自己曾经在中美之间平衡的政策以及与中国保持良好经济合作的优势红利消耗殆尽。
其中上层的 System-2 负责理解任务目标、拆分任务、维护记忆并判断当前进度;System-1 则接收当前子任务,根据子任务描述里的物体与本体约束,并将其转化为连续的机器人动作。
但德国毕竟有清醒人士,呼吁德国调整对华策略加强合作。
德国之声以罕见之坦诚向发出警示:倘若中国以雷霆万钧之势继续推进自主创新步伐,德国曾经引以为傲的富足生活恐将面临前所未有的挑战。
System-2 不会一次性生成完整的动作流程,而是根据当前视觉观测和已有记忆,持续判断应该保持当前任务、重新尝试,还是进入下一步。媒体继续呼吁德国政府和民众,德国在对待中国时应该保持谦逊与开放之心态,以前我们助力中国工业化的腾飞,如今我们更需紧跟中国智能化浪潮,与中国携手共进。System-1 执行动作后产生的新观测会再次交给 System-2,用于更新记忆并判断任务是否完成。
由此,文章开头提到的两个问题被分别落实到系统设计中:结构化子任务接口保证高层提出的任务处于低层执行器的能力范围内,视觉观测与记忆的循环更新则帮助系统判断当前任务是否已经完成。
应该说,德国是比较务实的国家,因此在政策选择时往往比较理性和理智。但德国的一些政客往往容易受到欧美的胁迫,经常跟随美国的脚步而失去自身的政策诉求。
双向对齐的具身Agent架构,System-2接受观测和历史记忆输出当前子任务并更新实时记忆
数据:统一技能范式,
让规划指令可落地、无歧义
为消除高低层语义断层,Cortex 将操作行为归纳为 Pick、Place、Pour、Unscrew、Stir 等 32 种标准化技能原语,并为每类技能规定语言模板。
开放式的「把水倒进烧杯」会被整理成技能、目标对象与必要属性都明确的命令。

六 | 德国之声这种客观而务实的态度,才是德国应该有的认知,这些有识之士的言论虽然并不一定正确,特别是对德国在中国工业化发展过程中的作用有夸大的嫌疑,但对中国的评价既有对中国工业崛起所展现出的巨大影响力的认知,也有中国未来智能化对世界发展重要地位的深刻认识。数据构建时,对于子任务输出,系统还写入颜色、空间位置、数量以及可达性等信息,减少「拿那个杯子」或「直接抓取不可达物体」一类语义正确、执行起来无法落地的规划。
对于记忆的更新,系统进行了语言压缩、关键信息如物体属性及统计数量写入等增强操作,提高 Cortex 完成空间理解、物体计数和失败恢复等复杂任务的成功率。

七 |
围绕这套接口,团队对 4000+ 小时开源长时序视频与轨迹进行结构化标注,并修改仿真数据引擎自动生成约 30 小时带子任务标注的仿真数据。

八 | 已有数据通过视觉语言模型重写为统一的子任务模板;自采轨迹则采用一套结合视觉、机器人状态和动作特征,基于动态规划的子任务边界切分工具链,实现自动化精准标注。
训练:最关键的训练样本,
集中在动作交界处
长轨迹的大多数画面都落在动作进行中。若均匀抽帧,模型最常学到的是「继续做当前动作」,真正决定是否切换子任务的边界帧反而很少。
Cortex 采用事件均衡采样(Event-balanced Sampling) 策略:在子任务边界前后约 1 秒的窗口内加密采样,同时保留执行阶段样本。
去年,中国国产汽车在慕尼黑车展上惊艳亮相,中国整车、三电系统、汽车软件等领域超50家中国汽车产业相关公司精彩亮相。模型既要学会动作尚未完成时保持指令和记忆,也要在看到完成证据后更新记忆、切换下一步。比亚迪、名爵、零跑、小鹏、阿维塔等中国汽车品牌吸引了许多参观者驻足了解、登车体验,德国民众纷纷涌向车展,渴望一窥中国汽车产业尖端技术的风采。
在传统汽车领域德国曾经占有重要的地位,在新能源车方面中国依靠,中国与德国如果能够在汽车生产和制造领域相互合作,这无疑预示着中国和德国汽车在全球汽车市场的领导地位会日益稳固,我国要走向世界,德国也需要走向未来,双方都应该以更加开放、包容的心态共同迎接未来社会发展的这一历史性的变革。
德国会越来越找到自信和自己吗?未来的趋势将是怎样的呢?
德国在短期内完全像法国一样摆脱美国的控制是非常困难的,毕竟美国在德国有驻军而法国没有。
在 Galaxea 数据的消融实验中,采用事件均衡采样的模型仅需 272 万训练样本,少于对照组的 310 万样本,综合评分却从 7.58 提升至 8.18。

九 | 这说明对高层规划器而言,增加关键转场附近的监督,比继续堆叠大量稳定执行画面更有效。但这并不代表德国在未来会一切听众美国的意志,偶尔的反抗和对立也可能会出现,而且已经出现了一些迹象。
Event-balanced sampling 示意图。橙色区间覆盖子任务切换;训练需要同时学会「耐心保持」和「及时换挡」。

十 |
最近,对于美国加征中国电动车100%的关税,德国就进行了公开的反对,德国的观点是并不建议美国实施这样的所谓关税保护政策,因为美国对中国产电动车加征关税会影响经济发展。在德国人看来,目前有超过50%的西方品牌汽车在中国生产后出口到美国以及其他地区,如果加征关税会影响西方车企在世界的发展趋势。
另外一个更大的新闻出现了!美国万万没想到,这次的欧盟主席换届,欧洲的德国和法国居然都没按照美国的意志行事,尽管德国是想让德国前总理默克尔再次出山当欧盟主席!而法国是推举一位意大利人士聘任欧盟主席,但法国和德国的目的却是一致的,双方联手赶走现任欧盟主席冯德莱恩。
实验:仿真领先几个百分点,
实机差距出现在完整任务上
Cortex 通过优化 Agent 框架 harness,直接面向真实机器人长程操作验证。团队不仅在 LIBERO-Long、RoboTwin 2.0 等仿真环境中测试,还将系统部署到真实双臂机器人平台上,Zero-shot 规划完成由数十个子任务组成的复杂化学实验任务。德国和法国的目的非常明确,赶走代表美国意志的欧盟主席,才能让欧盟真正不再受美国摆布而走向独立自主。

十一 |
在 LIBERO-Long 上,Cortex 的完整任务成功率为 95.5%,比单独使用 π0.5 的基线 92.4% 高 3.1 个百分点;在 RoboTwin 2.0 benchmark 下,整体成功率为 86.8%,比 π0.5 的 82.74% 高约 4.1 个百分点。

十二 | 一个独立的欧盟符合法国和德国的利益,但这并不符合美国的利益,美国自然希望将欧盟牢牢地拴在自己的战车后面。这反映了整套 Agent 框架 —— 高层规划与底层执行对齐为长程任务的完成带来的增益。
更能体现系统差异的是实机长化学实验任务。研究者在 ARX ACONE 双臂平台上设计了两组 14 步流程,每组进行 20 次试验。
欧洲的大变天必然是德国和法国的联手!朔尔茨从华盛顿回来立马就跑到法国会见马克龙,就是想法国和德国联手给默克尔站台!如果默克尔真的成了欧盟主席,再加上法国和德国的强有力支持,即使不能真正让欧洲在经济、政治和防务上独立自主,起码也会与美国的政策保持一定的距离,这可能对欧洲和德国来说都是一种机遇。

十三 |
德国在世界百年未遇之大变局已经快迷失了自己,其中也尝到了选边站的恶果,痛定思痛,德国理智的声音和民族未来的考虑自然知道应该如何决定自身的政策,到底是应该跟在美国后面与中国对抗还是与中国在经贸领域进行广泛的合作,中国与德国以及欧洲没有根本的利益冲突,合则共赢、对抗则两败又输,相信德国会做出更好的选择。你觉得受伤的为什么是德国呢?你觉得德国的未来会怎样呢?你觉得德国值得我们期待吗?(麒鉴说财经)
。Cortex 在化学液体搅拌实验和烧杯清洗任务上的完整成功率分别为 65% 和 55%;两种端到端模型(PI0.5 及 MEM)在这组试验中都因为混淆子任务阶段而中途失败。
14 步器皿操作流程。高层规划器需要持续记录漏斗、量筒、烧瓶和瓶塞的状态,并在确认每一步完成后再下发下一条局部指令。
十四 |
相比传统端到端 VLA 方法,Cortex 的优势并不只是某一个模块的提升,而是对长程任务进行了系统化建模。
它用结构化子任务接口约束高层规划,用视觉反馈和语言记忆追踪执行进度,再通过闭环更新持续校正后续决策,使机器人能够在多步骤任务中保持目标、状态与动作的一致性。
十六 | 更重要的是,它给出了一个清晰的方向:面向真实场景的机器人智能,不能只依赖端到端动作生成,还需要能够围绕长期目标组织步骤、吸收反馈、更新状态,并在复杂流程中稳定推进。
十七 |
对于真正进入实验室、家庭和工业现场的机器人来说,这种能力或许正是从 “完成一个动作” 走向 “完成一件事” 的关键一步。
作者介绍
论文共同第一作者彭嘉淇,余茜倩与冯德霖均来自上海人工智能实验室。
十八 | 其中彭嘉淇是清华大学与上海人工智能实验室联合培养的三年级博士生,导师为沈渊教授和林达华教授。在王泰研究员的指导下开展包括视觉动作语言模型,视觉语言导航,loco-manipulation 等机器人相关领域研究,致力于构造实现空间语义理解与长程移动操作的可落地具身智能体,曾发表多篇论文在 ICLR,ICRA 等会议上,NavDP/LoGoPlanner 一作,InternVLA-N1 核心作者,曾获得 ICRA oral。