Hamlyn Dataset — FoundationStereo Depth

数据来源

Hamlyn Centre Laparoscopic / Endoscopic Video Datasets，Kaggle 镜像 mcocoz/hamlyn。本目录为下载后的处理版本，已用 FoundationStereo（NVIDIA，零样本立体匹配 SOTA）重新生成稠密深度图，替换原始深度。

---

目录结构

hamlyn/
  calibration/
    01/  intrinsics.txt  extrinsics.txt
    04/  ...
    ...
  rectifiedNN/               # 每个序列
    image01/  *.jpg          # 左图（几何左，已校正）
    image02/  *.jpg          # 右图
    depth01/  *.png          # 原始数据集自带深度（参考用）
    depth02/  *.png
    depth01_fs/  *.png       # FoundationStereo 生成的稠密深度（推荐使用）
  _rectifiedNN_fs_vs_gt.png  # 可视化对比图（FS vs 原始 depth）

共 22 个序列：01, 04, 05, 06, 08, 09, 11, 12, 14–27（无 02/03/07/10/13）。

---

序列概览

序列	分辨率	帧数	FS深度中位	说明
rectified01	640×480	1058	~81mm	✅
rectified04	360×288	1573	~41mm	✅
rectified05	360×288	899	~46mm	✅
rectified06	640×480	1237	~157mm	✅
rectified08	640×480	14393	~86mm	✅
rectified09	640×480	806	~79mm	✅
rectified11	360×288	2427	~54mm	✅
rectified12	360×288	3389	~64mm	✅
rectified14	720×288	5742	~137mm	✅ 宽图有黑边
rectified15	720×288	4155	~85mm	✅ 宽图有黑边
rectified16	720×288	4169	~22mm	✅ 宽图有黑边
rectified17	720×288	3651	~109mm	⚠️ 质量较低
rectified18	720×288	5596	~40mm	✅ 宽图有黑边
rectified19	720×288	10622	~123mm	⚠️ 质量较低
rectified20	720×288	2619	~41mm	✅ 宽图有黑边
rectified21	720×288	5367	~18mm	✅ 宽图有黑边
rectified22	720×288	2016	~97mm	✅ 宽图有黑边
rectified23	720×288	11255	~91mm	⚠️ 质量较低
rectified24	720×288	3674	~42mm	✅ 宽图有黑边
rectified25	720×288	2121	~39mm	⚠️ 质量较低
rectified26	720×288	3257	~54mm	⚠️ 质量较低
rectified27	720×288	2646	~47mm	✅ 宽图有黑边

⚠️ 质量较低的序列（17/19/23/25/26）：FS 深度与原始 depth 尺度偏差较大，可能因过曝帧、弱纹理或标定尺度不一致所致，使用时建议注意。

---

depth01_fs 编码格式

FoundationStereo 生成的深度统一编码为：

uint16 PNG，0 = 无效像素
深度(mm) = pixel_value / 65535.0 * 250.0

max_depth = 250 mm（覆盖所有序列的有效深度范围）。

解码示例（Python）：

import imageio.v2 as iio
import numpy as np

depth_enc = iio.imread("depth01_fs/0000000000.png").astype(np.float32)
depth_mm = depth_enc / 65535.0 * 250.0
depth_mm[depth_enc == 0] = 0  # 保持无效区为0

---

标定文件格式

每个序列的标定在 calibration/NN/：

• intrinsics.txt：3×4 投影矩阵（[fx, 0, cx, 0; 0, fy, cy, 0; 0, 0, 1, 0]）
• extrinsics.txt：左→右相机的 3×4 [R|t]，平移 t[0] 为基线（mm）

重要：fx 直接用于 640/360/720 尺寸的图像（不需要按分辨率缩放）。深度公式：

Z (mm) = fx * |t[0]| / disparity_pixels

---

宽图序列的黑边掩码

rectified14–27（720×288）左右两侧有无效黑边，depth01_fs 中已将以下区域置 0：

• 左侧：列 0–179
• 右侧：列 590–719

有效区域为列 180–589（宽 410 像素）。

---

注意事项

1. 绝对深度尺度：Hamlyn 标定的 fx 相对图像分辨率系统性偏大（FOV 偏小），各序列的绝对 mm 值可能存在系统误差，不建议跨序列做精确的度量比较。相对深度和几何结构是可靠的。
2. depth01（原始）vs depth01_fs（FS）：原始 depth 有效率仅 19–86%，有大量空洞；FS depth valid 率为 100%，结构更完整平滑。
3. FS 生成脚本：run_hamlyn.py，环境 foundation_stereo，权重 pretrained_models/23-51-11/model_best_bp2.pth。