FetReg2021——胎儿镜检查中胎盘血管的分割和配准
FetReg2021——胎儿镜检查中胎盘血管的分割和配准
今天将分享胎儿镜检查中胎盘血管的分割和配准完整实现版本，为了方便大家学习理解整个流程，将整个流程步骤进行了整理，并给出详细的步骤结果。感兴趣的朋友赶紧动手试一试吧。
一、FetReg2021介绍
胎儿镜激光光凝术是一种广泛用于治疗双胎输血综合征 (TTTS) 的手术。由于视野有限、胎儿镜的可操作性差、液体混浊和光源变化导致的可见度差以及胎盘位置异常，该手术特别具有挑战性。这可能会导致手术时间增加和消融不完全，从而导致持续的TTTS。计算机辅助干预可以通过视频镶嵌扩大胎儿镜视野并提供更好的血管图可视化，从而指导外科医生更好地定位异常吻合，从而帮助克服这些挑战。胎儿镜检查的视频拼接仍然是一个具有挑战性的问题，因为视觉质量差（即伪影、照明条件、漂浮的液体颗粒）、分辨率低、纹理缺乏、患者之间和患者内部的高变异性、术中环境的移动性和有限的视野。
为了促进该领域的研究，FetReg引入了胎儿镜激光光凝手术的第一个大规模多中心数据集，名为 FetReg 数据集，其中包含胎儿镜检查帧的像素级注释，分为三个语义类别（血管、工具、胎儿）以及未注释的视频帧。该数据集被认为用于开发胎儿环境的语义分割和视频拼接算法，重点是从胎儿镜图像和分割血管生成的无漂移拼。
二、FetReg2021任务
任务 1：胎盘图像分割（0：背景，1：血管，2：工具，3：胎儿）
任务2：胎盘RGB图像帧注册拼接。
三、FetReg2021数据集
FetReg数据集是在欧洲三个胎儿手术中心收集的：英国伦敦大学学院医院胎儿医学中心；胎儿和孕产期医学系，Istituto Giannina Gaslini，热那亚，意大利；比利时鲁汶鲁汶大学医院发育与再生科。
任务 1的 FetReg 数据集包含来自 18 个胎儿镜检查程序的 2060 个图像，这些图像经过语义分割注释。每幅图像中的每个像素都标有背景、胎盘血管、消融工具和胎儿类别。由于视频是在不同中心使用不同设施（例如设备、光镜）捕获的，因此图像具有不同的分辨率。下图显示了FetReg胎盘图像分割数据集的一些示例。
任务2的FetReg数据集包含来自18个胎儿镜检查程序的18个剪辑中的7411个图像，根据挑战目标，没有任何事实依据。至于分割数据集，每个剪辑都具有不同的分辨率，因为胎儿视频是在不同的中心使用不同的设施（例如设备、光范围）捕获的。所有剪辑都有帧重叠（循环闭合），并且可能包含阻碍配准估计的遮挡。下图显示了为此任务发布的 18 个视频剪辑中每2秒的代表性帧。
数据集下载链接：https://weiss-develop.cs.ucl.ac.uk/fetreg/
四、技术路线
任务一、胎盘图像分割
1、图像预处理，缩放到固定大小512x512，然后采用均值为0，方差为1的方式进行归一化处理。然后将数据分成训练集和验证集。
2、搭建VNet2d网络，使用AdamW优化器，学习率是0.001，batchsize是64，epoch是300，损失函数采用多分类的dice和交叉熵。
3、训练结果和验证结果
4、测试集部分分割结果
任务二、胎盘RGB图像帧注册拼接
使用关键点检测匹配方法来将多帧图像拼接成一个图像。
1、sift关键点检测
sift = cv2.SIFT_create()
# Detect keypoints and compute descriptors for both images
keypoints1, descriptors1 = sift.detectAndCompute(image1, None)
keypoints2, descriptors2 = sift.detectAndCompute(image2, None)
# Draw keypoints on the images
image1_keypoints = cv2.drawKeypoints(image1, keypoints1, None)
image2_keypoints = cv2.drawKeypoints(image2, keypoints2, None)
# Display the images with keypoints
plt.imshow(image1_keypoints)
plt.axis('off') # 可选：关闭坐标轴显示
plt.show()
plt.imshow(image2_keypoints)
plt.axis('off') # 可选：关闭坐标轴显示
plt.show()
2、Sift关键点匹配
# Initialize the feature matcher using brute-force matching
bf = cv2.BFMatcher(cv2.NORM_L2, crossCheck=True)
# Match the descriptors using brute-force matching
matches_bf = bf.match(descriptors1, descriptors2)
# Sort the matches by distance (lower is better)
matches_bf = sorted(matches_bf, key=lambda x: x.distance)
# Draw the top N matches
num_matches = 50
image_matches_bf = cv2.drawMatches(image1, keypoints1, image2, keypoints2, matches_bf[:num_matches], None)
plt.imshow(image_matches_bf)
plt.axis('off') # 可选：关闭坐标轴显示
plt.show()
3、根据关键点匹配结果计算变换矩阵，将两个图像拼接成一幅图像。
# Extract matching keypoints
src_points = np.float32([keypoints1[match.queryIdx].pt for match in matches]).reshape(-1, 1, 2)
dst_points = np.float32([keypoints2[match.trainIdx].pt for match in matches]).reshape(-1, 1, 2)
# Estimate the homography matrix
homography, _ = cv2.findHomography(src_points, dst_points, cv2.RANSAC, 4.0)
# warp image and mask with homography matrix
imageresult = cv2.warpPerspective(image1, homography, (image2.shape[1], image2.shape[0]))
4、循环全部帧图像最终拼接结果如下。
由于图像分辨率很低，目标不是很清晰，有些数据关键点匹配数量很少，导致拼接结果不是很理想。