AI Sensor 深度补全算法项目
2025.12 – 至今
- 在许少聪师兄持续指导下，贯穿数据处理、架构改进、训练验证与 Demo 部署全流程；冬令营阶段于 2026.06 结束，后续作为同一项目持续研发。
- 负责多源 RGB-D 数据清洗、格式转换、深度统计与样本组织，构建 HISS、DREDS、HAMMER、Hypersim、IRS、Virtual KITTI 2 等数据集的 WebDataset 流式训练管线，统一深度单位、有效范围、缺失值掩码与传感器输入语义。
- 围绕 DINOv2 RGB 编码器与 DeFM ViT-L/14 深度编码器改进双分支架构，引入残差适配层、跨模态注意力和 stack-conv 解码器，持续验证不同融合与多任务变体。
- 基于 PyTorch、Accelerate 与 W&B 完成多卡分布式训练、断点恢复、实验跟踪和模型迭代，持续排查数据语义、显存占用与训练稳定性问题。
- 建立 HAMMER、ClearPose、DREDS、TransCG、TRansPose、KITTI、iBims 等数据集的批量推理、统一指标计算和官方评估链路，支持模型横向对比与误差分析。
- 完成静态 ONNX 导出、显式 FP16 转换和 TensorRT 11 engine 构建与校验，将模型部署至 DGX Spark 并开展推理性能验证。
- 打通 RealSense D435 实时采集、深度补全推理、FastAPI / WebSocket 数据流和 WebGL 深度图、点云及测距 Demo，形成可交互展示链路。