無損檢測技術在現(xiàn)代工業(yè)中扮演著至關重要的角色,廣泛應用于航空航天、能源、汽車等領域[1-2]。近年來,超聲檢測技術在材料科學與工程領域取得了顯著進展[3-4]。作為一種無損獲取材料內部結構信息的手段,超聲檢測已被廣泛應用于評估材料的微觀組織結構和缺陷。傳統(tǒng)超聲檢測方法通常依賴經驗公式和物理模型來解釋和重建材料內部的幾何特征,如晶粒大小、圓度及長短軸比等參數(shù),但這些數(shù)值化信息忽略了材料內部的空間分布和微觀結構細節(jié)。 

隨著機器學習技術的發(fā)展,尤其是生成模型如生成對抗網絡（GAN）、變分自編碼器（VAE）及擴散模型（DM）[5]的出現(xiàn),使微觀組織結構的智能生成成為可能。這些深度學習模型能夠基于累積的材料數(shù)據(jù)自動生成高度逼真的微觀組織結構圖像。近年來的研究表明,GAN和條件GAN（CGAN）在微結構圖像重構中表現(xiàn)優(yōu)異[6-7]。此外,擴散生成模型在處理各種類型的微觀結構圖像時也展現(xiàn)出了優(yōu)越的性能[8]。 

為探討基于超聲評價數(shù)據(jù)和擴散生成模型的微觀組織結構圖像生成方法,提出了一種智能生成方法,結合已知的合金超聲檢測數(shù)據(jù)和材料的幾何特征,通過擴散生成模型實現(xiàn)復雜合金材料的微觀組織圖像重構。筆者利用超聲檢測所獲取的晶粒尺寸、圓度、長短軸比等參數(shù),通過擴散生成模型生成逼真的二維虛擬金相圖。相比傳統(tǒng)的超聲數(shù)據(jù)分析方法,擴散生成模型通過大規(guī)模數(shù)據(jù)集訓練,可以更準確地學習復雜材料的微觀組織特征,進而生成高精度的微觀組織結構圖像。 

擴散生成模型的優(yōu)勢在于逐步學習微觀圖像的概率分布,并通過降噪過程重構清晰的結構圖像,因而其在處理高復雜度的微觀組織結構時表現(xiàn)突出。結合超聲檢測數(shù)據(jù),擴散生成模型能夠有效預測材料的內部組織結構,并生成相應的組織結構圖像,為材料性能預測和結構優(yōu)化提供精準的參考。 

筆者首次將超聲評價數(shù)據(jù)與擴散生成模型結合,用于GH4169合金材料的微觀組織圖像重構。試驗結果表明,擴散生成模型在微觀組織結構圖像生成中表現(xiàn)出性能優(yōu)越,其與超聲數(shù)據(jù)融合具有可行性和準確性。該方法為超聲檢測技術在復雜材料微觀組織分析中的應用開辟了新路徑。 

1.   基于統(tǒng)計學習的微觀組織結構生成方法

在利用超聲評價數(shù)據(jù)和累積數(shù)據(jù)進行微觀組織結構重構時,首要任務是選擇適合的圖像生成模型。為此,評估不同生成模型的性能,以確定最能捕捉圖像庫統(tǒng)計特征的最佳模型至關重要。最終選定的模型將與超聲評價數(shù)據(jù)融合,以約束和引導生成過程,從而提升生成結果的準確性和可靠性。 

在深度生成模型中,GAN（生成對抗網絡）、VAE（變分自編碼器）和DM（擴散模型）是3類主要的模型。GAN通過生成器生成樣本,并由判別器進行對抗學習提升樣本質量。VAE通過編碼器將數(shù)據(jù)壓縮為隱空間表示,再由解碼器還原數(shù)據(jù),并通過最大化證據(jù)下界（ELBO）優(yōu)化模型。DM則逐步向數(shù)據(jù)添加噪聲再通過逆過程去除噪聲,以恢復數(shù)據(jù)結構,其中去噪擴散概率模型（DDPM）優(yōu)化了采樣效率和生成效果[9]。 

1.1   SA_GAN模型

為了重構GH4169合金的微觀組織結構圖像,文章使用結合自注意力機制的SA_GAN模型來學習圖像數(shù)據(jù)庫的統(tǒng)計特征。該模型通過生成器和判別器中的自注意力模塊,有效捕捉遠距離區(qū)域的關系,生成更細膩且真實感更強的微觀結構圖像。自注意力模塊使得生成器在處理局部細節(jié)和全局結構時更為高效,從而能提升生成效果。 

1.2   VQ_VAE模型

文章還采用VQ-VAE模型[10]進行GH4169合金微觀組織圖像的重構。該模型通過將圖像的連續(xù)特征量化為離散嵌入向量,實現(xiàn)數(shù)據(jù)壓縮與重構。VQ-VAE由編碼器、量化器和解碼器組成,編碼器將圖像編碼為隱變量,量化器將其映射到離散嵌入空間,解碼器則用這些嵌入向量重構圖像。在訓練過程中,通過最小化重構損失和承諾損失函數(shù)來優(yōu)化模型。此外,模型采用自回歸先驗對隱變量進行采樣,進一步提升微觀組織結構的生成質量。 

1.3   MDiff模型

為對GH4169合金微觀組織結構圖像進行擴散生成方法的重構,文章還借鑒IDDPM[11],訓練了針對微觀組織結構生成的MDiff模型。MDiff模型通過學習微觀組織圖像的統(tǒng)計特征,能夠生成高質量的微觀組織結構圖像。 

MDiff模型的基本思想是通過加噪和去噪的過程逐步生成數(shù)據(jù)。首先,數(shù)據(jù)通過一個參數(shù)化的馬爾可夫鏈不斷添加噪聲,使其分布逐漸趨于高斯分布。而后在生成階段,模型通過反向擴散過程逐步去噪,以恢復數(shù)據(jù)的結構。該模型將去噪視為高斯分布的回歸問題,通過神經網絡U-Net預測均值和方差來完成生成。MDiff模型架構如圖1所示。 

圖  1  MDiff模型架構示意

2.   模型對比試驗與結果

試驗通過學習GH4169合金真實二維微觀組織結構圖像庫,利用VQ-VAE、SA-GAN和MDiff三種模型生成了1 000張尺寸為256像素×256像素（長×寬）的微觀組織結構圖像。不同生成模型的圖像生成效果如圖2所示。 

圖  2  不同生成模型的圖像生成效果

可以看出,VQ-VAE模型未能有效學習微觀組織中晶粒的完整性特征,生成圖像中的晶粒結構較為破碎,無法還原晶粒的清晰邊界。相比于VQ-VAE,SA-GAN模型在晶粒結構的細化表現(xiàn)上仍顯不足,未能完全再現(xiàn)原始圖像的清晰度。MDiff模型在晶粒形貌的學習上更加精確,生成的微觀組織結構圖像在晶粒形態(tài)和晶界特征方面與原始微觀組織圖像更為一致,即該模型較好地保留了晶粒的完整性和晶界的清晰度。 

為進一步驗證這3種模型在生成微觀組織圖像上的性能,筆者采用一系列評價指標對模型訓練效果的分布一致性進行定量評估。這些指標包括：結構相似性指數(shù)（SSIM）[12]、峰值信噪比（PSNR）[13]、學習感知塊相似度（LPIPS）[14]、弗雷歇爾距離（FID）以及核距離（KID）。 

不同生成模型生成圖像質量的評價結果如表1所示。分析顯示,SA_GAN模型在SSIM和FID等指標上的表現(xiàn)較差,無法有效還原真實微觀組織的結構。晶粒形貌分析表明,該模型生成的晶粒形狀較為失真。相比SA_GAN模型,VQ_VAE模型在清晰度上有所提升,但在FID和KID上仍未能達到較高水平,晶粒邊界模糊導致晶粒形貌分析結果不理想。MDiff模型在所有定量指標上表現(xiàn)優(yōu)異,尤其是在FID和KID指標上,最接近真實數(shù)據(jù)。 

綜上所述,MDiff模型在視覺效果和定量評價指標上均表現(xiàn)優(yōu)異,能夠有效地模擬GH4169合金微觀組織結構的真實特征。 

3.   基于超聲評價的擴散生成方法

研究表明擴散生成模型能夠通過學習微觀組織的概率分布,逐步去噪,從而重構高度逼真的微觀組織結構圖像。為實現(xiàn)GH4169合金材料內部微觀組織結構的非破壞性、高可靠性重構,文章提出了一種新的生成方法,即將超聲評價數(shù)據(jù)與擴散生成模型相結合的方法。該方法基于超聲評價數(shù)據(jù)的準確幾何特征,結合深度學習模型的強大生成能力,提供了一條智能化的微觀組織圖像生成路徑。所提基于超聲評價的擴散生成模型框架如圖3所示。 

圖  3  基于超聲評價的擴散生成模型框架

3.1   微觀組織結構的超聲評價模型

超聲檢測技術能夠深入探測材料內部,獲取重要的幾何信息,如晶粒的尺寸、圓度及長短軸比。這些參數(shù)精確反映了材料的內部微觀結構,是生成高保真度微觀組織結構圖像的關鍵依據(jù)。通過構建的多參數(shù)超聲評價模型[15],該模型結合超聲特征參數(shù)Y和真實幾何特征參數(shù)Xn,來獲取指定超聲特征參數(shù)輸入的超聲評價數(shù)據(jù)${\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}_{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}^{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">*</span>}$。超聲評價數(shù)據(jù)為生成高保真微觀組織圖像提供了關鍵的幾何約束,確保生成結果與真實結構在形態(tài)上的一致性。 

筆者使用自建的超聲C掃描系統(tǒng)對GH4169合金試樣進行超聲檢測,在數(shù)據(jù)采樣區(qū)域采集A掃信號,并提取超聲特征參數(shù)Y（縱波聲速Y1、衰減系數(shù)Y2以及頻率偏移Y3）。此外,筆者通過金相試驗獲取合金試樣的微觀組織結構圖像,并采用圖像處理算法提取內部的晶粒面積S,晶粒周長L以及晶粒長軸a,短軸b。由此計算真實幾何特征參數(shù)Xn,包括晶粒尺寸X1（${\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}_{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">1</span>}}\text{<span style="font-size: 16px; color: rgb(0, 0, 0);">=</span>}\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">2</span>}\sqrt{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">/</span>\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}$）,圓度X2（${\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}_{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">2</span>}}<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">=</span>\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">4</span>}\text{<span style="font-size: 16px; color: rgb(0, 0, 0);">π</span>}\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">/</span>{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}^{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">2</span>}}$）和長短軸比X3（X3=a/b）[16]。 

超聲特征參數(shù)通過二次多項式映射函數(shù)轉換為單維超聲參數(shù)Z,使用單階最小二乘擬合方法,構建單維參數(shù)與超聲評價數(shù)據(jù)${\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}_{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}^{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">*</span>}$（晶粒尺寸${\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}_{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">1</span>}}^{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">*</span>}$、圓度${\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}_{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">2</span>}}^{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">*</span>}$、長短軸比${\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}_{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">3</span>}}^{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">*</span>}$）的擬合函數(shù),從而得到超聲評價模型。其模型計算公式為 

式中：λi1,λi2,λi3為映射參數(shù)；ξ1,ξ2為擬合參數(shù)。 

為獲取最佳的映射參數(shù)以及擬合參數(shù),文章以真實幾何特征參數(shù)Xn與擬合獲取的超聲評價數(shù)據(jù)${\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}_{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}^{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">*</span>}$之間的擬合誤差為優(yōu)化目標。通過優(yōu)化目標最小化獲取最佳精度的兩組參數(shù),誤差計算公式為 

式中：m為總樣本數(shù)；Xnl為第l個樣本直實幾何特征參數(shù)；${\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}_{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">?</span>}}^{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">*</span>}$為第l個樣本擬合獲取的超聲評價數(shù)據(jù)。 

由此最終得到晶粒尺寸、圓度以及長短軸比的多參數(shù)超聲評價模型。 

3.2   擴散生成模型與超聲評價的融合

在擴散生成模型中,超聲檢測提供的幾何約束數(shù)據(jù)起著關鍵作用,特別是在反向擴散過程中,這些數(shù)據(jù)會直接影響生成圖像的每個去噪步驟,超聲評價作用下的反向擴散過程示意如圖4所示。通過將晶粒尺寸、圓度和長短軸比等幾何特征數(shù)據(jù)注入模型的生成過程,擴散模型能夠生成與實際材料微觀組織高度一致的微觀組織結構圖像。 

圖  4  超聲評價作用下的反向擴散過程示意

在U-Net架構的擴散模型中,超聲評價數(shù)據(jù)通過條件卷積機制整合到模型中。在生成圖像的每一個去噪步驟中,超聲幾何數(shù)據(jù)通過卷積核對特征進行調整。該數(shù)據(jù)通過專門的條件編碼器（τ）進行處理后,將提取的幾何特征嵌入到U-Net的不同層次中。這些幾何信息作為額外的輸入通道,作用于卷積層的權重,使卷積操作不僅依賴于當前的圖像特征,同時也受制于超聲檢測獲取的幾何參數(shù)。 

在每一層的卷積過程中,超聲幾何數(shù)據(jù)通過調整卷積核的權重,影響特征提取的方向和強度。這種基于條件卷積的機制確保了擴散模型在逐步去噪過程中生成的圖像細節(jié)與超聲檢測獲取的微觀組織特征相一致。卷積層通過卷積核的調整,能夠有效捕捉到晶粒形狀特征,從而使生成的圖像能夠更好地反映材料的真實微觀結構。 

通過這一機制,超聲檢測獲取的幾何數(shù)據(jù)在每個去噪步驟中與圖像的生成過程深度結合,確保了微觀組織結構圖像的真實性和精度。這種卷積條件約束為擴散生成模型提供了強大的控制能力,使得生成的微觀結構圖像在細節(jié)和整體形態(tài)上都能符合實際材料的特性。 

4.   基于超聲評價的擴散生成試驗與結果

該試驗旨在驗證基于超聲評價的擴散生成模型的效果,研究對象為經過特定熱處理工藝的GH4169合金鍛件。首先,對GH4169合金原始鍛件按以下工藝進行熱處理：在960 ℃下保溫60 min后空冷,溫度梯度為20 ℃；然后在720 ℃下保溫8 h,再以50 ℃·h−1的速率爐冷至620 ℃,最后保溫8 h后空冷。對熱處理后的合金試樣使用自建的超聲C掃描系統(tǒng)進行超聲檢測,采集A掃描信號并提取關鍵超聲特征參數(shù),包括縱波聲速、衰減系數(shù)和頻率偏移。 

根據(jù)現(xiàn)有的超聲評價方法,利用提取的超聲特征參數(shù)計算合金的超聲評價數(shù)據(jù),包括晶粒尺寸、圓度及長短軸比。將這些幾何數(shù)據(jù)作為輸入條件導入基于超聲評價的擴散生成模型中,用于生成微觀組織結構圖像；為了驗證生成的虛擬金相圖與真實微觀組織結構在形貌上的一致性,筆者進行了金相試驗并采集了合金的真實金相圖像（見表2）。 

Table  2.  智能生成模型以及金相檢測獲取的合金內部信息對比

項目	超聲檢測數(shù)據(jù)			超聲評價數(shù)據(jù)
	縱波聲速/m · s−1	衰減系數(shù)/dB · mm−1	頻率偏移/MHz	晶粒尺寸/μm	圓度	長短軸比
超聲評價	5 848.829	0.263	0.891	14.132	0.572	1.867
生成模型	生成的微觀組織圖像			14.512±1.391	0.585±0.038	1.841±0.113
金相試驗	真實的微觀組織圖像			13.893	0.608	1.867

通過對比分析虛擬和真實微觀組織結構圖像,可以發(fā)現(xiàn)虛擬生成的微觀組織結構圖像在晶粒形態(tài)和分布上與實際的微觀組織具有高度一致性,能夠達到以假亂真的效果。這表明,基于超聲評價的擴散生成模型在生成與真實材料微觀結構相似的微觀組織結構圖像方面具有顯著的潛力。 

為了進一步驗證生成的虛擬微觀組織結構圖像與超聲評價數(shù)據(jù)之間的一致性,筆者對擴散生成模型生成的100張?zhí)摂M微觀組織結構圖像進行了定量分析。文章計算出各圖像的平均晶粒尺寸d、圓度m以及長短軸比r等幾何特征參數(shù),計算結果如表2所示。采用相對誤差衡量數(shù)據(jù)之間的差異,晶粒尺寸相對誤差計算公式為 

式中：dg為生成圖像的晶粒尺寸；dr為真實圖像的晶粒尺寸。 

其中圓度和長短軸比的相對誤差計算方式類似。 

計算得到生成圖像的幾何結構數(shù)據(jù)與超聲檢測數(shù)據(jù)的相對誤差,晶粒尺寸的相對誤差為2.69%,圓度的相對誤差為2.27%,長短軸比的相對誤差為1.39%。可見,基于超聲評價的微觀組織生成模型在輸入輸出環(huán)節(jié)的誤差較小,能夠實現(xiàn)基于指定輸入數(shù)據(jù)的微觀組織圖像定制化生成。 

進一步對比生成的虛擬微觀組織圖像與真實金相試驗獲取的微觀組織圖像的幾何結構數(shù)據(jù),結果顯示：晶粒尺寸的相對誤差為4.46%,圓度的相對誤差為3.78%,長短軸比的相對誤差為1.39%。這些結果進一步證明,基于超聲評價數(shù)據(jù)的擴散生成模型能夠精確生成與真實金相結構幾何特征相匹配的虛擬二維微觀組織圖像。 

綜上所述,該模型不僅能利用超聲評價的幾何數(shù)據(jù)有效約束生成過程,還能夠實現(xiàn)對特定超聲檢測結果的虛擬微觀組織圖像的精確重構。這種方法為材料微觀結構的研究和表征提供了新的生成工具,在無需實際金相試驗的條件下,通過超聲評價結果即可生成高度逼真的虛擬微觀組織圖像,為材料科學與工程領域的應用提供了有力支持。 

5.   消融試驗

為驗證晶粒尺寸d、圓度m以及長短軸比r數(shù)據(jù)在控制生成圖像中晶粒幾何形狀中的必要性,筆者設計了消融試驗。試驗內容包括：① 不使用超聲評價參數(shù)控制生成；② 僅使用單個參數(shù)控制生成（晶粒尺寸、圓度和長短軸比）；③ 兩兩組合參數(shù)控制生成；④ 同時使用三個參數(shù)進行控制。通過對比生成圖像與真實數(shù)據(jù)的誤差,評估各參數(shù)的影響,從而此三類參數(shù)在生成過程中的作用。 

基于不同參數(shù)約束的消融試驗結果對比如表3所示,可見,不同約束條件下生成的圖像與真實幾何結構特征數(shù)據(jù)之間的相對誤差存在顯著差異。無約束條件下的平均誤差最大,為17.39%；結合晶粒尺寸、圓度和長短軸比的完整約束條件下的誤差最小,平均值為9.163%。單獨使用某一約束條件時,晶粒尺寸的約束效果最好,誤差平均值為9.643%。 

試驗結果表明,單一超聲評價結果不足以準確控制生成圖像的幾何形態(tài)。綜合晶粒尺寸、圓度和長短軸比3個參數(shù)能夠有效約束生成過程,得到更接近真實組織結構的虛擬微觀組織圖像,驗證了3類超聲評價結果在微觀組織圖像生成中的必要性和充分性。 

6.   結論

提出了一種結合超聲評價和擴散生成模型的二維虛擬微觀組織結構圖像生成方法,并通過試驗驗證了其有效性。與傳統(tǒng)的統(tǒng)計學習方法相比,該方法在結合超聲檢測提供的幾何約束數(shù)據(jù)后,能夠更準確地重現(xiàn)合金材料的微觀組織結構。試驗結果顯示,基于超聲評價數(shù)據(jù)的擴散生成方法在晶粒尺寸、圓度和長短軸比的精度上具有顯著優(yōu)勢,生成的虛擬微觀組織結構圖像在形貌分布上與真實微觀組織結構圖像高度一致。定量分析表明,該方法在較小誤差范圍內重構了合金的幾何結構特征,驗證了其在生成高精度虛擬微觀組織結構圖像中的潛力。該研究為基于超聲評價數(shù)據(jù)的虛擬材料表征提供了新途徑,并為未來的材料微觀組織建模和虛擬試驗提供了參考。 

文章來源——材料與測試網