华峰能源研究院 | 训练具身智能的数据类型

视觉数据：机器人通过摄像头、、激光雷达、、、深度相机等设备采集的图像
、、、点云、、深度信息、
、以及公开数据集的选用
，
，用于环境识别、、物体检测定位
、、、
、语义分割、
、、场景导航。。。
。例如，，
，，工业机器人通过视觉数据识别工件的位置、、、、形状
；服务机器人通过视觉数据感知人类诸如挥手、、
、
、指向等动作的意图。。。

触觉数据：通过电子皮肤
、、
、、触觉传感器等方式采集的表面纹理、、、、压力分布
、
、、、硬度等不同维度的物理数据
，
，，用于精准抓取的力控调整，
，如抓取易碎品
、、、缝合伤口等不同对象，
，提升机器人的触觉感知能力。。

力觉数据：通过在机器人手部、、、、足底、、关节部署触觉传感器
、、
、扭矩传感器
，，，，实时抓取行走
、
、触摸动作中的关节扭矩
、、、、接触力、、足底压力、、、物体接触刚度等信息，，，用于步态稳定性调整、、
、人机安全交互（避免过度施力）等运动控制
。
。例如，，，
，人形机器人通过力觉数据调整行走时的重心，，，，避免摔倒；工业机器人通过力觉数据控制抓取力度，，，防止损坏物体。。

音频数据：通过麦克风等拾音设备采集的环境声音（如警报声、
、、、故障声、
、脚步声、、、门铃声
、
、、、警报声等）、、人类语音、、、语感等信息，
，，用于语音指令识别
、
、、环境声音预警、、人机语音对话等。。如，，服务机器人通过语音数据理解用户指令（如“请拿一杯水”）；工业机器人通过音频数据监测设备运行状态。。
。

本体感知数据：通过惯性测量单元、、编码器、
、、、导航定位等方式采集关节角度、、、、速度、、、加速度，，，本体位置、、姿态和电机电流等数据，
，，，用于判断自身姿态、、、运动状态
，，避免关节过载或摔倒，，，以实现运动规划、、
、、平衡控制等。。
。。

真机数据：机器人在真实场景中执行任务、
、自主试错时所采集的数据，，如工业机器人的抓取动作、、、、服务机器人的导航轨迹等方面的数据。。。
。通过强化学习优化动作策略，，，提升复杂场景下的运动鲁棒性，，，这是机器人训练的黄金数据。
。。其特点是高价值、、
、但采集成本高，，，，必须通过真机遥操
、
、自主执行任务获取。
。

仿真数据：这是对真实数据的低成本补充，，由仿真平台生成，，，用于大规模预训练和极端场景训练，
，
，往往是解决真实数据采集瓶颈的关键。。
。。通过数字孪生、、、
、物理引擎生成的虚拟场景数据，，如虚拟机器人的关节运动轨迹、
、、虚拟摄像头生成 RGB 图像、、深度图、、、、虚拟传感器的力觉数据、
、、极端场景动作数据（如湿滑路面行走、
、重物碰撞），，，以模拟极端环境、、、、危险任务、
、、
、长尾场景。。其特点是成本低、
、、可控性好，
，
，，可解决真机采集的场景局限问题。。。

演示数据：通过示教学习
，，，让机器人快速习得人类的动作。。。。这需要人类操作时的动作、、、语音
、、、、决策等方面的数据，
，
，，如人类抓取物体的动作、、、语音指令，，用于模仿学习诸如通过人类动作视频训练机器人的动作生成模型。。往往是通过人类穿戴动作捕捉设备来完成动作
、、人工操控机器人复现动作并记录参数
、、、、采集数据，，训练机器人的动作控制模型。。

感知数据：用于机器人感知环境的数据，，，，如视觉、、、触觉、、力觉、、、音频数据，，，，帮助机器人识别物体、
、、障碍物
、、人类意图。。。例如，，，，工业机器人通过感知数据判断工件的位置、、
、形状，，，调整抓取策略；服务机器人通过感知数据识别用户的手势、、语音，，提供相应的服务
。
。

控制数据：是用于机器人执行任务的数据，，，，如关节运动轨迹、、、、力控指令、、运动规划数据，，帮助机器人实现精准控制，，比如机械臂的精密装配、、
、人形机器人的平衡行走；工业机器人通过控制数据调整关节角度
，，实现零件的精准组装；人形机器人通过控制数据调整步态，，，，适应不同地形。
。。

交互数据：这类数据用于训练服务型人形机器人的自然交互能力，，
，适配不同用户的行为习惯和需求
，，，，帮助机器人理解人类需求，，识别人类的多模态指令、、
、
、偏好数据，
，理解交互意图，，能够自然交互，，实现如服务机器人的陪伴功能、、
、医疗机器人的问诊功能。。。
。包括语音指令文本、、、手势动作数据（如挥手、、、、指向）、、文本指令数据、、指令意图标签。。
。服务机器人通过语音数据理解用户的情感状态（如悲伤、、、开心），，，，提供相应的反馈
；医疗机器人通过手势数据识别医生的操作指令。。

场景数据
：用于机器人适应具体应用场景的数据，
，如家庭、
、工业、、、医疗、、农业等场景的空间布局、、、物体属性、、、任务流程方面的数据，，，
，帮助机器人理解场景特点，，
，优化任务策略。
。
。例如，，，，家庭机器人通过场景数据学习客厅的布局（如沙发、、、、电视的位置）
，，
，，优化导航轨迹；工业机器人通过场景数据学习生产线的布局（如工件的位置
、、、、设备的位置）
，，，优化抓取策略
。。

多模态融合数据
：将视觉、、、、触觉、、力觉、
、
、、音频等不同模态的数据整合，，，
，形成对环境的全面理解。。。。例如
，，，，机器人抓取物体时，，融合视觉数据（物体的位置、、形状）、、触觉数据（物体的表面纹理、
、
、硬度）、
、、、力觉数据（接触力、、
、扭矩），，，才能实现对物体的精准抓取。
。

时序数据
：也就是记录机器人动作、、环境变化的时间序列数据，，
，用于捕捉动态的变化信息（机器人的行走轨迹、
、、物体的移动轨迹）。。。对于人形机器人，，，行走数据就是时序数据（每一步的关节角度
、
、速度），，，，可用于优化步态规划；对于工业机器人
，
，，抓取数据就是时序数据（抓取过程中的力觉变化、、、
、视觉变化），，，，能用于优化抓取策略
。
。