阿拉丁Aladdin

3D 空间视觉理解模型

结合目标检测、对象分割与高斯泼溅重建,将图像中的对象关联到三维场景,支持脚手架搭设核查、煤堆分割与体积分析、设备空间定位和现场复核。

  • 目标检测与分割
  • 高斯泼溅重建
  • 空间与体积分析

业务痛点

3D 空间视觉理解模型
01单帧先定位对象
02场景提供空间依据
二维与三维对应

二维识别缺少现场空间信息

摄像头中的框和轮廓说明了对象在画面中的位置。要进一步核对间距、区域与前后关系,还需要将它关联到同一三维场景。

  • 01

    单帧先定位对象

    检测与分割保留原始画面、类别和可见轮廓。

  • 02

    场景提供空间依据

    相机位姿、尺度与已验证几何共同支持三维关联。

模型功能与架构

YOLO 或 DETR 定位目标,SAM 提取对象轮廓,高斯泼溅结合多视角图像与相机信息重建三维场景。将二维识别结果关联到现场空间,在标定几何上分析位置、间距与体积,服务施工核查、物料盘点和设备管理。

3D 空间视觉理解模型:YOLO 或 DETR 定位目标,SAM 提取对象轮廓,高斯泼溅结合多视角图像与相机信息重建三维场景。将二维识别结果关联到现场空间,在标定几何上分析位置、间距与体积,服务施工核查、物料盘点和设备管理。

模型功能

01

目标检测与对象分割

用 YOLO 或 DETR 定位图像目标,结合 SAM 提取对象轮廓,区分脚手架、煤堆和设备等已适配对象。

02

高斯泼溅场景重建

从有重叠的多视角与相机信息建立三维场景,关联对象与原始画面,呈现现场结构和可见区域。

03

三维目标与空间计算

将对象关联到标定场景,在经验证的几何上计算位置、间距与体积;煤量结合现场堆积密度换算。

04

场景对比与变化分析

对比不同采集时段的图像与三维场景,查看脚手架搭设、设备布局和库存变化,支持现场与远程协作。

识别现场对象,提取目标轮廓

输入

现场图像、目标类别与适配模型

视觉模型

模型输出

  • 识别目标类别与二维位置
  • 提取对象轮廓与分割区域
  • 分离目标、背景与相邻对象

应用场景

脚手架检测、分割与三维关联的 AI 效果示意

脚手架搭设核查

识别可见架体与构件,关联三维位置,比较不同搭设阶段,帮助人员核对变化并安排遮挡区域的补拍与检查。

  • 输入与对象

    脚手架原图、多视角采集、构件类别与相机信息

  • 目标检测与对象分割

    用 YOLO 或 DETR 定位图像目标,结合 SAM 提取对象轮廓,区分脚手架、煤堆和设备等已适配对象。

  • 应用成果

    架体轮廓、三维位置与阶段变化,支持搭设进度和结构检查。

模型优势

01

二维识别连接三维空间

将图像目标关联到三维场景,支持现场对象定位与区域分析。

02

对象分割衔接空间分析

检测定位目标,分割提取边界,多视角信息帮助区分相邻对象与区域。

03

标定几何支持体积测量

结合现场尺度和参考基面计算位置、间距与体积,再用堆积密度开展煤量分析。

04

现场变化直观呈现

对比不同搭设、盘点与巡检阶段,在图像和三维场景中查看变化,支持远程协作。

应用示例

脚手架检测、分割与三维关联的 AI 效果示意
现场施工

脚手架分阶段搭设复核

将架体识别与三维场景对应,比较各阶段可见构件和位置变化;人员对照原图核查,并对遮挡区域安排补拍与检查。

煤堆分割与标定体积分析的 AI 效果示意
煤棚盘点

煤堆分割、体积与煤量分析

在有尺度的场景中分离煤堆与地面,校验表面后计算盘点区域体积,结合同期现场堆积密度换算煤量。

工业设备空间场景示意
厂房巡检

设备空间定位与变化核查

将现场设备关联到标定场景,对照原图与三维位置核查指定间距,比较改造前后变化,更新场景与检查记录。

当前案例:脚手架分阶段搭设复核

咨询模型应用 · 3D 空间视觉理解模型

结合目标检测、对象分割与高斯泼溅重建,将图像中的对象关联到三维场景,支持脚手架搭设核查、煤堆分割与体积分析、设备空间定位和现场复核。