11月4日，2026年世界互联网大会乌镇峰会机器人与具身智能论坛在浙江乌镇举行。小米集团具身模型与应用部负责人孔涛发表主旨演讲。
全文如下：
尊敬的各位领导，各位来宾，大家下午好！
我是孔涛，来自小米。今天我跟大家汇报一下小米在具身智能大模型上的一些关键技术。以及我们在大规模落地的一些应用实践。
小米做机器人可以追溯到2021年，第一代铁蛋四足机器狗，2022年时做第一代人形机器人铁大，自那之后我们的人形机器人一直在迭代过程当中。今天想跟大家分享一下我们最近做的一些关于具身智能方面的进展。提供新思路。
今天汇报分三部分，第一部分围绕我们的具身智能模型体系展开。围绕这个体系研发了一系列VLA模型底座，特点简单来说是它的性能好，而且很容易部署。第二个特点是我们在基于这样一个模型体系搭建自己多场景的规模化落地验证。具体主要是我们自有小米的超级工厂以及最近在衍生出来的青年公寓做了实践，后面会逐一向大家汇报。最后相信具身智能的发展，不可能只靠我们一家企业努力，需要整个行业共同进步。因此我们把我们的模型体系，代码，以及响应仓库对外进行释放。这样可以大大降低整个行业研发门槛。
首先我们介绍一下小米VLA底座模型体系，它是大小脑兼容的混合架构。其中大脑是可以兼具通用语义理解和极致动作生成，可以兼顾泛化性，我们对于要求机器人完成高精度，高泛化，高成功率任务当中也可以提供非常好的性能。这里面包含两大模块，第一模块叫作VLM视觉语言大脑，可以解析模糊自然指令，并且与三维空间建立几何关系。第二部分叫做DIT动作执行小脑，作用是通过流匹配的技术来驱动机器人动作生成。把这一个模型做出来之后，我们希望它可以在端侧的芯片上，就可以实现低延迟推理告别迟钝。
有了这样的架构后，剩下的问题是说我怎么样去把它的能力激发并训练出来。为此我们研发了两阶段的协同训练架构，怎么样训练呢？首先大家也知道多模态大模型本身是不具备生成动作的能力。怎么样让它具备动作生成能力？需要赋予它这个能力。我们经过两阶段训练，第一阶段赋予大模型具备这样的能力。第二阶段我们让这个能力能够激发并能够在机器人的端侧芯片可以异步推理机制进行执行。这样模型虽然是一个几B，几十亿参数模型，端侧一边实时性推理，机器人可以实时性运行，并不影响生产节拍。更进一步有了这样一个训练架构，今年7月份我们做了第一个国内超过十万小时的预训练数据。基于十万小时训练规模，这个场景超过1700种，横跨家庭的、工业的、商业的真实环境。也覆盖了高度多样化的尝试，交互的行为。当然有了这么多数据后，我们需要有一个非常高效，高质量的数据标注和处理管线，大概在两个月之前需要两周时间，现在大概几天时间就可以完成。同样有这些数据后，经过两个阶段对齐训练，让它适配成为又好用，而且推理延迟比较低的一个模型。
它的实际表现怎么样？这里包含三个部分。第一个部分它的规模化效应，大模型给人的最大启示随着预训练数据量和模型参数增加，在未见过的新任务当中能力不断变强。我们在前期验证，虽然只有十万小时，这个规模下也验证了它的一些初步能力。第二部分是它在权威榜单上表现怎么样。我们可以看到在RoboCase，Robodojo，RoboBench这些榜单里面开始是排在比较高的位置，过去一两个月行业发生巨大变化，变化很快，榜单在不断更新。
第三部分榜单结果不错，怎么样真实场景当中用起来。内部自己测试结果仅需要不超过10小时新任务示范数据，可以整体成功率做到75%以上，也就是说拿到一个新任务，来到新场景，只需要采集员采集一天数据，可以任务做到还不错或及格线以上水平。随着训练数据量增加性能不断攀升，我们自己内部产线也做类似实验。
刚才讲到基于已有采集数据，在比较好的训练架构下怎么获得一个比较好的模型。这一页讲的是基于已有数据怎么样对这些数据进行无限制增强。刚才京东也讲到，其实现在具身智能一个非常大的阻碍是数据不足，数据需要新的采集，我们能不能基于已有数据进行无限制数据增强？答案是可以的。为此今年我们研发一个380亿参数的自回归统一架构生成模型。它可以对已有具身数据进行观测层面和轨迹层面上可控增强。包含了你可以改变它的背景，也可以改变待操作物体，也可以改变它的干扰物，也可以改变光照，目标物，都可以。这样的话就可以实现对已有数据指数化，工业化数据增强。
为让这件事情做得可用，我们还研发了一个叫作FlashAR推理加速技术，包括450秒推理速度可以降低到5秒。这一个时间内可以对已有数据进行无限制的增强。当然我们内部测试的结果是对这些数据经过模型增强后，可以对已有的VLV训练成功率提升20%以上。
接下来有模型后我们做了非常多的，小米工厂一些实践。这里展示的是三个我们觉得比较典型的例子。第一个例子叫作螺母上件，机器人需要把一个螺母放在一个非常准确亚毫米的螺柱上，考虑不但要双手协同，而且需要机器人非常准确放在一个固定位姿上，要匹配真实产线，产线效率大概70多秒造一台车，这是第一个场景。
第二个中控台侧板排序工站，要求两个机器人协同作业，中控台盖板的一个箱子里面放在工人需要装车的对应的物料台上。双机作业机器人连续工作成功率90%以上。我们一方面加工好，同时还要料回来，装料，一个重要环节是料箱折叠，通过双机协同技术连续作业成功率达到90%以上，这个数字是一两个月之前的数字，最近数字有更新，应该可以达到95%以上。
除了这个工厂场景外，今年我们开始探索小米青年公寓半结构化场景落地。这一页展示我们在小米青年公寓公共空间，大概有三个房间，它会在三个房间里面执行超过30分钟的连续任务。每一次任务都超过30分钟，我们算了一下，超过30分钟的任务如果拆解成子任务的话，它的任务总数超过50种。也就是说现在整个模型能力已经从原来上半年时，大家突破的点还在于怎么样把单点任务的泛化性和成功率提升，到了下半年之后已经开始做非常长周期的，带有实际价值的真实场景任务。成功率还不能做到真实运营，现在Q4开始做试运营的事情。这一段展示机器人扫桌面花生皮的过程。
具身智能这个行业，现在进入高度发展阶段，小米始终相信开源和共享是非常重要的。所以说我们刚才提到所有模型的权重，以及训练的代码都开放出来了。我们相信这些开放的技术和能力，是可以极大降低这件事情的开发门槛。有了这样一套体系后，我们希望我们的模型真的能够部署到真实工业生产和生活场景当中，所以我们的模型也在低延时推理，消费及部署上做了大量工作。这是一个方面。
另外我们也牵头参与了人形机器人的标准制定，包括人形机器人数据集的格式，操作数据集的评测，以及标准体系。整个的过程当中，我们相信随着具身智能整个行业的发展，我们跟企业家们，行业当中同仁可以共筑一个健康可维护的具身智能创新生态。
谢谢大家。
扫码下载
中文网微信