🍠Python(TensorFlow和PyTorch)两种显微镜成像重建算法模型

Python(TensorFlow和PyTorch)两种显微镜成像重建算法模型 | 亚图跨际亚图跨际 on Notion

🏈指点迷津 | Brief

🎯要点

🎯受激发射损耗显微镜算法模型：🖊恢复嘈杂二维和三维图像 | 🖊模型架构：恢复上下文信息和超分辨率图像 | 🖊使用嘈杂和高信噪比的图像训练模型 | 🖊准备半合成训练集 | 🖊优化沙邦尼尔损失和边缘损失 | 🖊使用峰值信噪比、归一化均方误差和多尺度结构相似性指数量化结果 | 🎯训练荧光显微镜模型和对抗网络图形转换模型

🍪语言内容分比

🍇Python图像归一化

在图像处理中，归一化是改变像素强度值范围的过程。例如，应用包括由于眩光而对比度较差的照片。归一化有时称为对比度拉伸或直方图拉伸。在更一般的数据处理领域（例如数字信号处理），它被称为动态范围扩展。

在各种应用中，动态范围扩展的目的通常是将图像或其他类型的信号带入感官更熟悉或正常的范围，因此称为归一化。通常，其动机是使一组数据、信号或图像的动态范围保持一致，以避免精神分散或疲劳。例如，报纸会努力使一期中的所有图像都具有相似的灰度范围。

归一化对 n 维灰度图像 $I:\left\{ X \subseteq R ^n\right\} \rightarrow\{ Min, .., Max \}$ 进行变换，强度值在 $(Min, Max)$ 范围内)，转换为新图像$I_N:\left\{ X \subseteq R ^n\right\} \rightarrow\{ newMin, .., newMax \}$，强度值在 $(newMin, newMax)$ 范围内。灰度数字图像的线性归一化根据以下公式进行：

$$I_N=(I-\operatorname{Min}) \frac{\text { newMax }- \text { newMin }}{\operatorname{Max}-\text { Min }}+\text { newMin }$$

例如，如果图像的强度范围是 50 到 180，而所需范围是 0 到 255，则该过程需要从每个像素强度中减去 50，使得范围为 0 到 130。然后将每个像素强度乘以 255/130，使得范围为 0 到 255。

归一化也可能是非线性的，当 I 和 I_N 之间不存在线性关系时就会发生这种情况。非线性归一化的一个例子是当归一化遵循 sigmoid 函数时，在这种情况下，归一化图像根据以下公式计算：

$$I_N=(\text { newMax }- \text { newMin }) \frac{1}{1+e^{-\frac{I-\beta}{\alpha}}}+\text { newMin }$$

其中 $\alpha$ 定义输入强度范围的宽度，$\beta$ 定义输入强度范围的中心强度。

图像处理软件中的自动归一化通常归一化为图像文件格式中指定的数字系统的完整动态范围。

PyTorch归一化图像

PyTorch 中的标准化是使用 torchvision.transforms.Normalize() 完成的。这用平均值和标准差对张量图像进行归一化

 ​
 from PIL import Image
 import matplotlib.pyplot as plt
 import numpy as np
 ​
 img_path = 'Koa.jpg'
 img = Image.open(img_path)
 ​
 img_np = np.array(img)
 ​
 plt.hist(img_np.ravel(), bins=50, density=True)
 plt.xlabel("pixel values")
 plt.ylabel("relative frequency")
 plt.title("distribution of pixels")
 ​

从结果，我们发现RGB图像的像素值范围是0到255。

使用 ToTensor() 将 PIL 图像转换为 PyTorch 张量，并绘制该张量图像的像素值。我们定义变换函数将 PIL 图像转换为 PyTorch 张量图像。

 import torchvision.transforms as transforms
 import matplotlib.pyplot as plt
 ​
 transform = transforms.Compose([
     transforms.ToTensor()
 ])
 ​
 img_tr = transform(img)
 img_np = np.array(img_tr)
 ​
 plt.hist(img_np.ravel(), bins=50, density=True)
 plt.xlabel("pixel values")
 plt.ylabel("relative frequency")
 plt.title("distribution of pixels")

从结果，我们发现张量图像的像素值范围从0.0到1.0。我们注意到 RBG 和张量图像的像素分布看起来相同，但像素值范围不同。

我们计算图像的平均值和标准差：

 img_tr = transform(img)
 mean, std = img_tr.mean([1,2]), img_tr.std([1,2])
 ​
 print("mean and std before normalize:")
 print("Mean of the image:", mean)
 print("Std of the image:", std)
 ​

 标准化前的均值和标准差： 
 图像的均值：tensor([0.4916, 0.4498, 0.4000]) 
 图像的标准差：tensor([0.2474, 0.2362, 0.2322])

为了归一化图像，我们在这里使用上面计算的图像平均值和标准差。如果图像与 ImageNet 图像相似，我们也可以使用 ImageNet 数据集的平均值和标准差。ImageNet 的平均值和标准差为：平均值 = [0.485, 0.456, 0.406] 和标准差 = [0.229, 0.224, 0.225]。如果图像与 ImageNet 不相似（如医学图像），则始终建议计算数据集的平均值和标准差并使用它们来归一体图像。

 from torchvision import transforms
 ​
 transform_norm = transforms.Compose([
     transforms.ToTensor(),
     transforms.Normalize(mean, std)
 ])
 ​
 img_normalized = transform_norm(img)
 img_np = np.array(img_normalized)
 ​
 plt.hist(img_np.ravel(), bins=50, density=True)
 plt.xlabel("pixel values")
 plt.ylabel("relative frequency")
 plt.title("distribution of pixels")

我们已经用计算出的平均值和标准差对图像进行了归一化。上面的输出显示了归一化图像的像素值分布。我们可以注意到张量图像（归一化之前）和归一化图像的像素分布之间的差异。

现在可视化标准化图像：

 img_normalized = transform_norm(img)
 img_normalized = np.array(img_normalized)
 img_normalized = img_normalized.transpose(1, 2, 0)
 ​
 plt.imshow(img_normalized)
 plt.xticks([])
 plt.yticks([])
 ​