近红外光谱技术在复杂组分样品中的应用进展

丁超民1,2,李轲*1,刘帆1,张鑫1,2,李琪1,张正东*1

(1.中国计量科学研究院 环境计量中心,北京 100029;2.西南石油大学 化学化工学院,四川 成都 610500)

摘要:近红外(NIR)光谱技术作为一种无损、快速、非侵入性的分析手段,在快速检测、在线分析以及实时监测等方面拥有巨大的应用潜力。化学计量学的发展和应用有效克服了NIR光谱维度较高和复杂背景干扰的问题,而近年来深度学习的发展进一步突破了传统建模方法的局限性,使得NIR技术在复杂组分样品中的定量分析和定性识别能力得到了显著提升。深度学习通过筛选和提取关键光谱信息,显著提升了模型对微弱信号和复杂光谱的解析能力,从而拓宽了NIR技术在复杂样品分析中的应用空间。简要介绍了近红外光谱技术的原理,重点综述了NIR光谱结合化学计量学在石油化工、农业、环境科学、食品科学及药物分析多领域的应用进展,如原油理化性质分析、农作物成分评估及环境污染物监测等方向。通过建立高性能的化学计量学模型,NIR技术可成功实现待测物质的理化性质测定及产品质量控制等方面的应用。综上,对近红外光谱技术在多领域中的应用现状进行了系统性阐述,并对各领域的发展应用进行了总结及展望。

关键词:近红外光谱;化学计量学;石油化工;农业;食品科学;环境科学

近年来,近红外光谱(Near-Infrared Spectroscopy,NIRS)技术在石油化工、农业、食品和药物等多个领域取得了显著的应用进展,该技术以其无损、快速和高效的分析特性,正逐渐成为分析检验和质量控制的重要工具[1]。随着NIR光谱仪硬件技术的不断提升和化学计量学的发展,NIR技术在复杂体系中的应用将受到越来越多的关注。

NIR技术的起源可追溯至1800年F.W.Herschel对红外辐射的发现[2]。其工作原理依赖于分子内含氢基团(如C—H、N—H、O—H)的倍频及组合频振动特性,通过检测780~2526 nm波段内分子振动的非谐性效应获取物质的化学组成信息。凭借非接触式检测、实时分析及绿色环保等优势,NIRS已发展成为石油化工、农业、食品、环境及医药等领域复杂基质样品分析的首选技术[3,4]。然而,NIR光谱数据通常存在维度高及噪声大等特点,使得其直接用于定性或定量分析面临诸多挑战。因此,为提升分析的准确性与稳健性,化学计量学方法被广泛引入NIR数据处理中,成为其不可或缺的重要组成部分。

化学计量学(Chemometrics)作为化学与统计学交叉衍生的新兴学科体系,由瑞典学者Svante Wold于1972年正式提出,是一门利用数学和统计学的方法从分析测量中获得最大程度的化学信息的科学[5]。经典方法如主成分分析(PCA)通过特征值分解实现光谱数据可视化聚类,偏最小二乘回归(PLS)利用潜变量建立光谱-浓度线性关联模型,已在多个研究与应用领域中验证了其良好的稳定性与有效性。然而,传统方法在处理高维非线性光谱数据时易受共线性干扰,且参数选择依赖人工经验。近年来,伴随着机器学习与深度学习等人工智能技术的迅猛发展,为化学计量学带来了全新的研究方向,进一步拓宽了其在NIR光谱数据建模与分析中的应用前景[6]

随着NIR技术与化学计量学方法不断融合,其在各行业中的实际应用也日益丰富。在石油化工领域,尤其是在油品质量控制及生产过程监测中,NIR技术展现了良好的应用前景。Moro等[7]对NIR技术在原油性质检测中的应用进行了研究,表明该技术能够实时且高效地测定原油的美国石油学会比重指数(API)、运动黏度、密度以及硫含量等重要特性。此外,NIR技术在农业和食品行业中的广泛应用,也正在推动传统检测方式的革新。具体来说,NIR技术能够高效分析农业产物的营养成分,并评估食品的安全性与质量。Porep等[8]评估了NIR技术在食品加工过程中的应用潜力,包括食品在传送带上的快速测量和液体在管道中的流动测量等。该技术的应用可实时监测食品质量,进而避免食品安全问题的发生。此外,NIR技术在环境检测领域中的快速检测同样是研究热点。相较于传统的实验室检测方法,NIR技术作为一种环保、无损且高效的检测技术,为污染物的定性分析和定量检测提供了有效工具,并推动了环境监测过程的自动化与智能化发展[9]。综上所述,NIR技术在多个应用领域中已初步展现出广泛的适应性与显著的实践价值,成为复杂组分样本快速检测的重要力量。

本文归纳汇总了NIR技术在石油化工、农业、食品及环境等行业复杂样品的典型应用现状,阐述了该技术在各行业中的实际应用成果。通过对NIR技术优势与局限性的分析,为未来的技术创新、跨学科融合及应用拓展提供了新的研究思路与参考方向。

1 NIR在石油化工领域中的应用

在原油及其副产物的加工过程中,对目标物质进行色谱或质谱等传统检测,虽能保持较高的检测精度,但难以满足实际生产过程中产品理化性质的实时监测及工艺参数的实时调控等关键需求。传统方法等离线检测技术产生的时间滞后性制约了生产过程中最优控制技术的发展[10]。NIR技术通过快速获取待测物质的光谱数据,并建立化学计量学模型,能够及时且准确的测定原油理化特性等关键指标,为炼化过程的实时优化控制提供数据支撑[11]

NIR技术在石油化工领域的应用可以追溯到20世纪80年代。1985年,Honigs使用NIR技术测定了混合烃的物理化学性质,开创了NIR技术在石油化工领域应用的先河[12]。此后,NIR在石油化工中的应用愈来愈广泛。Santos等[13]对比了便携式与台式NIR光谱仪在原油多种性质指标监测中的应用情况。研究结果表明,对于182组原油样品的API度、硫含量以及芳香烃含量等多项指标的预测,台式NIR光谱仪结合PLS模型的预测性能显著优于便携式光谱仪。这是由于便携式光谱仪的光谱范围为6 000~11 000 cm-1,而台式光谱仪的光谱范围则覆盖了4 000~10 000 cm-1波长,较宽的光谱范围能够更多的覆盖关键特征吸收峰。尤其是在4 000~6 000 cm-1这一区间内,包含了S—H、O—H、C—H和N—H等化学键的特征吸收峰,这些吸收峰对原油性质的测定具有重要意义。Xu等[14]为避免不法商贩通过伪造原油原产地进行逃税,提出了一种快速测定原油产地的检测技术。通过采集全球11个国家共计890个原油样本的NIR光谱数据,建立了集成转换器模型(Transformer)以及通道和空间注意力机制模块(scSE)的MG-Unet模型,实现了高达96.92%的识别准确率。与此类似,Moro等[15]基于NIR和中红外光谱(MIR)技术,结合偏最小二乘法判别(PLS-DA)模型实现了低氮含量和高氮含量原油以及轻、中、重原油的分类,准确率高达94%。除原油分析外,NIR光谱技术还同样应用在原油副产品的检测中,如塑料种类鉴别[16]、汽柴油理化性质的测定[17]、香水成分分析[18]等。因此,NIR技术在石油化工领域中展现出了巨大的潜力和广阔的应用前景。

NIR技术在石油化工领域的首次大规模应用可追溯至20世纪90年代初期,英国石油公司(BP)在乙烯裂解装置中首次引入在线NIR技术,用于实时分析石脑油的PIONA族组成(直链烷烃、支链烷烃、环烷烃、烯烃和芳烃)[19]。国内首次规模化应用是在2007年,燕山石化乙烯裂解装置采用了国产在线近红外光谱技术,实现了对石脑油原料的实时监测,这一技术的应用标志着中国石化行业在过程分析技术上的重要突破。2012年后,得益于中国石油化工科学研究院(RIPP)开发的具有自主知识产权的原油快速评价系统,NIR技术在国内的石油化工行业得到了快速推广。该系统包含了500余种国内外典型原油的NIR数据,结合化学计量学算法(如PLS、ANN),实现了原油密度、硫含量、残炭、馏程等关键性质的快速预测,且预测精度已达到传统实验室方法的再现性要求[20]。2017年,RIPP在原有近红外光谱数据库的基础上,进一步开发了Web版原油快评软件,对算法和系统进行了升级[21]。这些技术的进步不仅提升了原油分析的效率,也为石油化工领域的过程优化和质量控制提供了强有力的支持。

随着在线分析技术的发展,NIR技术正在助力石油化工领域向智能化方向转型。通过构建深度学习模型,将进一步提升复杂工况下NIR技术的可靠性。但在原油加工的过程当中,原油的成分具有一定的多变性,如何收集丰富的典型原油样本以此构建标准化光谱数据库,仍是实现石化领域在线分析的关键技术挑战。

2 NIR在农业领域中的应用

农业作为全球粮食安全的核心支柱,面临着日益严峻的挑战,包括土壤质量退化、农作物品质的波动、霉菌毒素污染等[22]。传统农业检测手段往往依赖于色谱等实验室分析技术,这些方法的结果尽管精确,但存在操作复杂和时间消耗大等问题。因此,如何实现快速、无损和精准的农业检测技术成为当前农业科学研究的重要方向。

土壤是生态系统中重要的组成部分。近年来,随着分析技术的发展,NIR技术在土壤分析中的应用逐渐取得了显著进展。Shrestha等[23]对比了可见光-近红外(Vis-NIR)、MIR以及便携式X射线荧光光谱仪测定土壤中总镉含量的性能。结果显示,Vis-NIR光谱仪结合PLS模型能够准确测定总镉含量,模型预测结果均方根误差(RMSECV)最低,可达到0.26 mg Cd/kg soil,相关系数最高,为0.85。该技术为土壤及植物中的镉含量检测提供了高效、准确的方法。Ji等[24]提出了一种基于稀疏自注意力和Vis-NIR的土壤氮含量预测模型(VNIRSformer)。该模型由输入层、嵌入层、编码器、解码器、预测层、输出层组成,结构示意图如图1所示。该模型在编码器和解码器中加入稀疏自注意力结构,有效增强了特征提取能力,从而提升了模型的预测精度与泛化性能。实验对比了15种不同的光谱波长间隔,结果表明当波长间隔为5 nm时,模型表现最优。决定系数(R2)最高,可达到0.89,均方根误差(RMSE)最低,仅为0.35 g/kg,预测性能优于卷积神经网络、传统自注意力模型及PLS等模型。该研究不仅验证了稀疏注意力机制在处理高维光谱数据中的有效性,也为Vis-NIR技术在田间环境下的土壤氮含量实时预测应用提供了理论依据与方法支持。Bai等[25]利用NIR和拉曼(Raman)光谱数据融合技术测定土壤有机质(SOM)含量。研究表明,NIR光谱可以有效弥补Raman技术在定量分析中的不足,基于二者融合所建立的PLS模型对SOM的外部验证决定系数可达到0.903。以预测均方根误差为评价指标,融合模型的预测性能可提高16%~58%。在进一步对土壤质地的研究中,Zhang等[26]利用NIR光谱结合残差网络模型(ResNet)对11类土壤进行分类,整体准确率达98.97%,其中5类土壤的识别准确率达到100%。这一技术在林地、草地和农田的土壤快速区分中发挥了重要作用。综上所述,NIR光谱技术为土壤分析提供了精确且高效的解决方案,并在农业和环保研究等多个领域展现了广阔的应用前景。

图1 VNIRSformer网络模型结构
Fig.1 Network structure diagram of VNIRSformer

霉菌毒素是某些霉菌在生长繁殖过程中产生的有毒代谢产物,这类毒素会在谷物发霉时产生,食用后可能对健康造成严重威胁。随着霉菌毒素检测需求的增加,NIR技术因其高效、无损、快速的特点,成为了检测霉菌毒素的重要手段之一[27]。Tyska等[28]提出了一种快速检测玉米中赤霉烯酮(ZEN)的检测方法。实验中采集了 676个玉米样本的NIR光谱数据,建立了PLS定量分析模型,并利用200个样本进行外部验证。经光谱特征选择后发现,400~500 nm、1 200~1 900 nm以及2 100~2 400 nm的波长范围与ZEN含量密切相关,模型预测结果的决定系数可达到0.98,模型预测值与标准方法参考值之间具有良好的相关性。Ning等[29]则利用NIR光谱结合最小绝对收缩和选择算子与支持向量机(LASSO-SVM)模型对玉米中ZEN含量进行快速测定,外部验证相关系数(RP)可达到0.99。Caramês等[30]采用NIR技术结合PLS模型对大麦中的脱氧雪腐烯酚(DON)进行检测,达到0.92,进一步证明了NIR技术在谷物中霉菌毒素的高精度定量检测中的有效性。此外,Almoujahed等[31]利用Vis-NIR技术对50个健康小麦粒和93个感染镰刀菌头枯病(FHB)的小麦粒进行区分,利用递归特征消除(RFE)去除冗余数据,筛选出10个特征波长(1 118、1 129、1 158、1 164、1 168、1 213、1 530、1 533、1 593、1 595 nm),并利用线性判别分析(LDA)模型建立分类模型,最终实现了100%的分类成功率。这些研究表明,NIR技术在霉菌毒素的检测、定量分析及植物病害识别中具有广泛的应用潜力。

NIR光谱技术在农作物的产地辨识方面同样具有重要应用。Liu等[32]利用NIR技术结合PLS-DA模型对稻鳖共生水稻与非稻鳖共生水稻,以及无化肥农药水稻和化肥农药水稻进行识别,识别成功率分别为100%和98.5%。该技术为识别水稻的来源和种植方法提供了一种快速、可靠的方法。在农作物的营养成分分析中,Zou等[33]利用NIR技术测定玉米的水分、脂肪、蛋白质和淀粉含量。为提高模型的稳定性和泛化能力,采用极限梯度提升(XGBoost)算法,并结合弹性网络(EN)优化了卷积神经网络(CNN)模型中的过拟合问题。所建立的模型R2可达到0.99以上,表现出了优异的预测性能。Yu等[34]提出了一种基于卷积神经网络的近红外光谱多组分定量分析模型(MulCoSpecNet),旨在快速测定谷物和玉米中的酪蛋白、葡萄糖、乳酸盐以及水分含量。MulCoSpecNet模型中包括编码解码模块、专家模块、门控模块、多组分定量预测模块以及超参数优化器,可有效提高模型的预测精度和泛化能力,网络结构示意图如图2所示。以RMSEP为评价指标,与传统的PLS、极限学习机(ELM)、SVM和神经网络(BP)相比较,MulCoSpecNet模型的预测精度提高了2.0%~58.5%。该研究为建立复杂样本多组分定量分析模型提供了理论基础。

图2 MulCoSpecNet网络结构示意图
Fig.2 Network structure diagram of MulCoSpecNet

NIR技术在农业领域的应用已取得显著成效,涵盖了土壤成分快速分析、农作物质量评估及农产品溯源等多个方面。其无损检测、高效分析及环境友好的特性,使其成为现代精准农业和智能农业发展的关键工具。随着人工智能和大数据技术的融合与发展,NIR技术在农业中的应用精度和适用性将进一步提升。此外,便携式NIR设备的发展,使得该技术在农业生产中的应用前景更加广阔。

3 NIR在食品科学领域中的应用

食品质量与安全是公共健康和食品工业发展的核心议题。然而,食品成分的掺假现象、产地真实性的争议以及食品品质的动态变化,使得传统的食品检测方法在现场快速检测中面临诸多挑战。因此,亟需一种能够兼具高效性、非破坏性和实时监测能力的分析技术,以满足现代食品科学对快速检测的需求。

随着食品安全和产品溯源的需求不断增加,NIR技术在食品检测领域展现出了巨大的应用潜力,尤其在食品质量评估和原产地鉴别方面取得了显著进展。Sim等[35]为测定咖啡中的Mn、Mo、Rb、B、La这5种元素以及δ13C、δ18O、δ2H这3种同位素比率,采集了4个国家的咖啡豆NIR光谱数据,并建立了PLS模型用于分析不同产地间咖啡的元素组成。结果显示,模型预测的R2介于0.69~0.93之间,证明了NIR技术在咖啡同位素和元素组成分析中的应用潜力。Nallan等[36]提出了一种用于咖啡掺假定量的快速检测方法,通过采集咖啡豆的NIR光谱并建立卷积神经网络(CNN)模型,实验结果表明,该方法的预测效果优于PLS模型和区间偏最小二乘(iPLS)模型,R2可达到0.98。Yang等[37]提出了一种快速识别木耳品种的方法。通过采集不同品种木耳的NIR光谱,利用竞争自适应加权(CARS)去除冗余数据,所建立的径向基函数网络(RBF)具有最佳的预测性能,识别准确率达到99.32%。与PLS和BP神经网络相比,RBF模型的识别准确率提高了0.67%~8.1%,实现了黑木耳品种的快速识别。Wang等[38]提出了一种基于卷积注意力机制(CBMA)的一维残差神经网络(1D-AD-ResNet-18)模型,用于快速测定芒果的种类。在传统一维残差神经网络(1D-ResNet-18)的最后一层卷积和第一层卷积处中引入CBMA(图3),可有效抑制了光谱数据中冗余信息的干扰,从而更加精准地提取关键光谱特征。实验结果表明,该模型在186组芒果样本上的识别准确率达到96.42%,显著优于1D-ResNet-18、SVM以及K最近邻(KNN)模型。相似的,Dong等[39]采用NIR技术结合基于通道注意机制的卷积神经网络模型(MCNN)识别芒果种类,结果显示,与传统机器分类模型以及CNN等深度学习模型相比,MCNN模型表现出更高的预测精度,分类准确率可达到98.67%。这些研究成果表明,NIR技术结合先进的深度学习方法,已成为食品品质鉴定、品种识别和掺假检测领域的重要工具,并为食品产业提供了可靠的技术支持。

图3 1D-AD-ResNet-18模型结构示意图
Fig.3 Model structure diagram of 1D-AD-ResNet-18

在食品新鲜度评估方面,Parastar等[40]提出了一种基于便携式NIR仪的快速检测方法,用于判别鸡肉是否新鲜。该实验在鸡肉包装的上方、下方以及直接对鸡肉进行光谱采集,通过融合不同位置的光谱数据,建立了随机子空间判别集成(RSDE)模型。RSDE模型的识别成功率高达95%,优于PLS-DA、人工神经网络(ANN)以及SVM模型。Li等[41]则采用NIR技术结合由6种算法构成的集成模型对羊肉的新鲜程度进行识别,最终达到了97.6%的准确率。这些研究表明,NIR技术在食品新鲜度监测中展现了广泛的应用前景,为提高食品质量和确保消费者安全提供了有力支持。

食品安全是人们关注的重中之重,黄曲霉素作为一种致癌物,对人体肝脏组织有破坏作用,因而其检测在食品安全中至关重要。Li等[42]提出了一种快速测定花生中霉菌总数(TMC)的检测方法,用于评判花生的污染程度和卫生质量。通过无信息变量消除(UVE)算法去除冗余数据后,建立了PLS定量分析模型。RP可达到0.957 7,RMSEP为0.233 6 Log CFU/g,证明了NIR技术在花生黄曲霉素污染定量检测中的高效性和实用性。Bailly等[43]利用NIR快速识别玉米粉是否受到黄曲霉菌污染,采用PCA建立定性识别模型,对于玉米是否受到污染的识别准确度达100%。在水产业中,组胺含量常用于衡量鱼肉的新鲜程度,Currò等[44]为防止渔业产品出现组胺污染情况,利用NIR光谱对金枪鱼中的组胺含量进行快速预测。在PLS定量分析模型中,可达到0.74。在SVM定性识别模型中,能够100%区分金枪鱼是否存在组胺污染现象,进一步对所有样本中的组胺含量分成4类,准确率可达到93%。类似地,在食用油质量安全检测领域,Deng等[45]提出了一种快速识别食用油是否受到污染的检测方法。实验利用NIR技术结合PLS-DA模型,能够100%识别出纯净的花生油样本以及受到柴油、矿物油、机油、煤油和润滑油污染的花生油样本。此外,进一步结合PLS模型对花生油中的污染物进行定量分析,相关系数均大于0.98。在食品掺假检测方面,Zhu等[46]构建了一种改进一维卷积神经网络(EG-1D-CNN)模型用于判断蛋清粉的真实性。该模型在传统1D-CNN的基础上,融入了有效通道注意力模块和一维全局平均池化层,从而增强了模型在光谱特征提取方面的能力,并有效减少了噪声干扰。实验结果显示,与传统1D-CNN、PLS-DA模型以及集成学习(EL)模型相比较,EG-1D-CNN模型在1954份蛋清粉样本的检测中展现出最高的识别准确率,达到98.93%。

综上所述,NIR技术作为一种先进的无损检测手段,在食品安全快速检测、食品产地识别、食品新鲜度评估及质量控制等方面展现出巨大潜力。相比于传统的化学分析方法,NIR技术不仅提高了检测效率,还降低了样品破坏性和环境污染,为食品行业的质量控制提供了更加经济和可持续的解决方案。该技术有望在食品生产、储存、流通及消费端得到更广泛的应用,为食品安全与质量保障提供更智能化和精准化的技术支撑。

4 NIR在环境监测领域中的应用

环境污染已成为全球关注的重大问题,土壤与水体污染的加剧对生态系统和人类健康构成严重威胁。土壤污染主要来源于工业排放及废弃物累积等,导致重金属及微塑料等污染物的沉积,进而影响土壤生态功能和农产品安全。同时,水体污染的加剧,如化学需氧量(COD)和生化需氧量(BOD)的升高,直接影响水质,危害水生生物与饮用水安全。因此,迫切需要一种高效、非破坏性且可实时监测的分析技术,以弥补传统检测方法在环境污染监测中的局限性,从而实现对污染物的快速识别和精准量化,为环境治理和生态保护提供科学依据。

随着土壤污染问题的日益严重,快速、准确地检测土壤中有害物质的含量已成为环境监测和污染治理中的关键需求。Saha等[47]提出了一种利用Vis-NIR光谱快速测定土壤中微塑料的检测方法。通过检测4种不同土壤的Vis-NIR光谱数据,利用PLS分别建立了不同土壤的定量分析模型。模型预测结果的在0.94~0.97之间。该方法的定量限可达到1.9~3.7 g MPs/kg soil。同时,采用95%置信区间进行评估,结果表明参考值和预测的微塑料含量值之间没有显著差异。Circelli等[48]利用NIR对土壤中的微塑料种类进行定性识别。采集土壤的NIR光谱数据后,与塑料材料的标准光谱图进行相关性分析。结果表明NIR技术可准确识别土壤中的聚丙烯和聚对苯二甲酸乙二醇酯,相关系数>0.9。除土壤外,Wu等[49]对焚烧垃圾中的微塑料的种类及含量设计了一种快速检测方法。实验采集84组灰烬样本的NIR光谱,通过多元散射校正(MSC)建立SVM模型,对聚丙烯(PP)、聚乙烯(PE)、聚苯乙烯(PS)以及聚氯乙烯(PVC)的识别成功率高达100%。进一步通过PLS建立上述微塑料的定量分析模型,范围在0.89~0.95之间。综上,NIR光谱技术可成为快速准确测定土壤或灰分中微塑料种类及含量的新工具。

同时,NIR技术在土壤污染物检测中的潜力不仅限于微塑料识别,其快速无损的特性正推动该技术向重金属等多指标分析领域延伸。Silva等[50]通过NIR光谱结合PLS模型,提出了一种快速测定红树林土壤中重金属含量的检测方法。结果显示,PLS模型预测土壤中Cr、Cu、Hg、Ni和Pb浓度的R2均大于0.8,表明NIR光谱技术可以作为预测土壤中的金属含量的替代方案,为传统分析方法提供了有效的补充。与此同时,Karimian等[51]提出了一种快速检测土壤中总石油烃含量(TPH)的方法。通过Vis-NIR采集100组土壤光谱数据,研究发现1 725和2 311 nm处的光谱信息与TPH的相关性较高。利用SVM建立定量分析模型,决定系数达到了0.85,RMSEP为1.59%。上述研究结果表明,NIR技术在土壤污染监测中的应用不仅提高了检测效率,也为土壤污染治理提供了新的技术手段。

水质问题一直是我国关注的问题。水质在线监测已经成为保障水资源安全的重要手段。COD是水质评估中的一个关键参数,表示在特定条件下一升水样中还原物质消耗的氧化剂量,它反映了水体中有机物的污染程度。Peng等[52]设计了一款基于NIR的工业废水COD在线监测系统。通过多模型叠加策略,将PLS、SVM和ANN等模型的预测结果进行融合。在调节池和二沉池环境中,融合模型预测COD值的R2分别为0.846 0和0.879 8,证明了NIR技术在工业废水COD监测中的有效性。Xing等[53]提出了一种快速测定污水COD、BOD以及NH3-N含量的技术。实验通过采集87组污水样本的NIR光谱数据,采用灰色关联度(GC)筛选特征光谱,结合PLS和极限学习机(ELM)模型,得到了分别为0.954、0.975以及0.976的良好预测结果。Qiu等[54]提出了一种用于快速测定垃圾处理厂发酵液中总氮(TN)的检测方法,通过采集发酵罐中上清液的NIR光谱数据并建立PLS定量分析模型,可达到0.97,进一步证明了NIR技术在废水处理领域的应用潜力。

综上所述,NIR技术在土壤污染监测及水质分析等方面提供了一种快速、高效、绿色的检测手段。相较于传统化学分析方法,NIR技术能够减少样品破坏,提高环境监测的实时性和便捷性。同时,NIR技术在环境检测领域的应用将向大规模、智能化和自动化方向发展,并有望成为环境监测体系中的核心技术之一。随着光谱仪器的成本降低和性能提升,NIR技术的大规模部署将进一步拓宽其在环境污染监测中的应用场景,实现更高频率、更大范围的污染物检测。

5 NIR在药物分析领域中的应用

中药是中国传统文化的宝贵遗产,因其独特的药用价值而在世界范围内得到广泛认可。中药的质量对于人体健康至关重要,现多采用高效液相色谱和其他分析方法对中药提取物进行质量控制,但这些方法具有费时、不环保,且样品预处理过程复杂等缺点,无法满足实际生产中实时监测提取物质量的需求。因此,迫切需要一种快速有效的中药提取物质量分析和控制方法。

为实现中药复杂体系中多组分的高效精准检测,Peng等[55]结合CNN和门控循环单元(GRU)构建了CNN-GRU深度学习架构,并成功应用于龙胆草药材中龙胆酸(LA)和龙胆苦苷(GPS)的同步定量分析。CNN-GRU模型的结构示意图如图4所示,该模型通过特征融合机制实现了两种算法的优势互补,即CNN模块通过多层卷积池化操作提取近红外光谱的局部抽象特征,而GRU单元凭借其门控机制有效捕捉光谱序列中长程依赖关系。实验结果显示,与CNN、BP和PLS模型相比,CNN-GRU模型对LA和GPS的预测决定系数最高,分别为0.971 7和0.975 2。CNN与GRU的结合,实现了光谱特征的深度挖掘与提取,从而有效提升模型的预测精度。Shi等[56]提出了一种一维卷积神经网络(1D-CNN)模型用于区分4种旋覆花的加工产品。同时,结合混沌映射蜣螂优化(CDBO)算法与BP神经网络(BPNN),提出了CDBO-BPNN模型用于预测旋覆花中的生物活性成分。结果显示,1D-CNN对4种加工产品的识别准确率达到100%。而CDBO-BPNN模型预测生物活性成分的可达到0.981 1,预测性能优于传统BP模型。这些研究进一步展示了NIR技术结合深度学习算法在中药成分分析中的应用潜力,并为药物分析领域提供了新的思路和方法。

图4 CNN-GRU模型结构示意图
Fig.4 Model structure diagram of CNN-GRU

由于中药掺假问题复杂且难以辨识,非专业人员通常缺乏辨别中药是否掺假的能力。因此,中药成为不法分子掺假的主要目标,以谋取暴利。在此背景下,Hu等[57]基于NIR技术,提出了一种快速检测杜仲是否掺假的方法,并成功构建了PLS-DA模型。该模型在外部验证中的识别准确率高达96%,明显优于随机森林(RF)模型的92%准确率。Shi等[58]也提出了一种基于NIR技术的快速检测方法,旨在识别灵芝粉是否掺假。结合PLS-DA模型,这种方法能够准确识别灵芝粉的掺假情况,并且准确率高达100%。此外,实验进一步利用PLS模型,对灵芝粉中掺假物的含量进行定量分析。结果表明,PLS模型预测结果的可达到0.99。相似的,Hao等[59]利用NIR技术建立了PLS-DA模型,用于识别石斛是否掺假,该模型的识别准确率同样达到了100%。此外,研究还通过建立PLS模型,成功对石斛中的掺假物含量进行了定量分析,R2值高达0.99。进一步证明了NIR技术在中药掺假识别中的优异表现,该技术结合化学计量学模型不仅能够准确识别掺假情况,还能够进行定量分析,为中药掺假检测提供了有效的技术支持。

综上所述,随着中药掺假问题的日益严重以及对中药质量监控的需求日益增加,近年来基于NIR技术结合深度学习算法的研究取得了显著进展。这些创新技术不仅能够有效识别中药中的掺假成分,还可以进行定量分析,从而为中药质量的实时监控提供了新的解决方案。

6 结论

近红外(NIR)光谱技术作为一种无需复杂样品前处理、操作便捷、能够同时检测多组分、检测效率高且准确度高的无损检测技术,已经在石油化工、农业、食品、环境及医药等领域取得了显著的应用成果。又随着深度学习技术的发展,为NIR光谱数据的分析提供了新的突破。通过深度神经网络(DNN)、长短时记忆网络(LSTM)和循环神经网络(RNN)等深度学习算法,可以有效挖掘复杂数据中的潜在特征,并进行高效的模型训练和优化。这些模型对于质量控制和生产过程监控的实现与优化起到了重要的推动作用,为各行业的生产提供了强有力的技术支持。尤其是在复杂样本和多组分体系的分析中,深度学习算法可以自动提取更加丰富和精细的特征信息,提高模型的准确性和鲁棒性。因此,深度学习算法的引入,证实了NIR技术不仅适用于单一组分的分析,还能够胜任混合物体系的多组分同步检测。

尽管NIR光谱技术在多个领域的应用中展现出其巨大潜力,但其待测性质的模型仍需要大量的样本数据以提高其准确性和鲁棒性。前期准备工作,尤其是样本的采集与标准化操作,仍然是确保模型可靠性的重要环节。随着样本数量的增加,模型的鲁棒性和稳定性可得到显著提升,这使得NIR光谱技术在实际应用中表现出更强的适应性和准确度。因此,构建和维护一个丰富的样本数据库,尤其是在大数据环境下,对于提高模型的精准度和推广应用具有重要意义。

此外,为了进一步提升NIR光谱的分析能力,数据融合技术正逐渐成为该领域的重要发展方向。数据融合技术是将拉曼光谱、荧光光谱、质谱等多源数据与NIR光谱进行融合,包括将不同光谱数据进行矢量拼接,进行特征光谱提取后进行矢量拼接以及对不同模型的结果进行融合。该技术可使NIR技术突破单一光谱信息的局限,提高对复杂体系的识别能力。同时,结合人工智能和深度学习算法,可以进一步优化特征提取与模型参数的优化,提升模型的泛化能力,为复杂样本分析提供更加精准、高效的解决方案。与此同时,NIR技术更多地应用在快速检测场景中。但由于NIR光谱技术易受外部实验环境的影响,检测准确性常常面临较高的挑战。这要求研究人员不断优化和调整模型参数,以适应不同的实际应用场景,进一步提升其现场应用的可靠性和精度。

综上所述,尽管NIR光谱技术在多个行业的应用中取得了显著成果,但仍需面对样本数据量、实验环境干扰和模型优化等挑战。随着传感器技术的不断进步和样本数据库的丰富,NIR光谱结合化学计量学技术在未来有望在更多领域发挥更大的作用,并为质量控制以及生产过程监控提供更加精准、可靠的技术支持。

参考文献:

[1]Chen P,Dai J W,Li J Y,Xu Y P,Liu D,Chu X L.ChemReagents,2023,45(6):105-112.
陈瀑,戴嘉伟,李敬岩,许育鹏,刘丹,褚小立.化学试剂,2023,45(6):105-112.

[2]Hirschfeld T,Callis J,Kowalski B.Science,1984,226(4 672):312-318.

[3]Peng J,Shao X G,Chu G H.ChinJAnalLab.,2023,42(10):1 285-1 291.
彭娟,邵学广,楚刚辉.分析试验室,2023,42(10):1 285-1 291.

[4]Chen P,Yang J,Chu X L,Li J Y,Xu Y P,Liu D.ChinJAnalChem.,2024,52(9):1 213-1 224.
陈瀑,杨健,褚小立,李敬岩,许育鹏,刘丹.分析化学,2024,52(9):1 213-1 224.

[5]Wang H P,Chen P,Dai J W,Liu D,Li J Y,Xu Y P,Chu X L.Trends AnalChem.,2022,153:116 648.

[6]Zhang J,Hu Y,Zhou L X,Li B Y.JInstrumAnal.,2020,39(10):1 196-1 203.
张进,胡芸,周罗雄,李博岩.分析测试学报,2020,39(10):1 196-1 203.

[7]Moro M K,Santos F D,Folli G S,Romão W,Filgueiras P R.Fuel,2021,303:121 283.

[8]Porep J U,Kammerer D R,Carle R.Trends Food SciTechnol.,2015, 46(2,Part A):211-230.

[9]Qi X,Lian Y,Xie L,Wang Y,Lu Z.ApplSpectroscRev.,2024,59(8):1 036-1 060.

[10]Zhang X,Zhang Z D,Du B,Wang G X,Liu F,Li Q,Li K.ChemReagents,2024,46(8):59-65.
张鑫,张正东,杜彪,王桂萱,刘帆,李琪,李轲.化学试剂,2024,46(8):59-65.

[11]Xu Y P,Zhao J,Zhao Y,Chu X L,Chen P,Li J Y,Liu D.ActaPetrolSin.(PetrolProcSec.):1-16.http://kns.cnki.net/kcms/detail/11.2129.TE.20250220.1145.002.html.
许育鹏,赵杰,赵玥,褚小立,陈瀑,李敬岩,刘丹.石油学报(石油加工):1-16.http://kns.cnki.net/kcms/detail/11.2129.TE.20250220.1145.002.html.

[12]Blanco M,Maspoch S,Villarroya I,Peralta X,Gonzlez J,Torres J.Analyst,2001,126(3):378-382.

[13]Santos F D,Vianna S G T,Cunha P H P,Folli G S,Paulo E H,Moro M K,Romão W,Oliveira E C,Filgueiras P R.MicrochemJ.,2022,181:107 696.

[14]Xu S,Xu Z,Zheng J,Lin H,Zou L,Lei M.MemetComput.,2024,16(3):429-443.

[15]Moro M K,Castro E V R,Romão W,Filgueiras P R.Fuel,2023,340:127 580.

[16]Xia J,Huang Y,Li Q,Xiong Y,Min S.EnvironChemLett.,2021,19(5):3 547-3 555.

[17]Ding C M,Zhang Z D,Zhang J,Du B,Wang G X,Li Q,Liu F,Zhang X,Li K.ChinMeasurTestTechnol.,2025,51(2):88-96.
丁超民,张正东,张锦,杜彪,王桂萱,李琪,刘帆,张鑫,李轲.中国测试,2025,51(2):88-96.

[18]Rafi M,Kautsar A,Septaningsih D A,Melati P,Heryanto R,Batubara I,Syafitri U D,Arif Z,Yuliana N D,Mitsunaga T,Susanti E.Arabian JChem.,2022,15(12):104 277.

[19]Huang W J,Peng X X,Xie J Y,Li L J.Guangdong ChemInd.,2024,51(18):66-68.
黄武军,彭鑫鑫,谢京燕,李禄建.广东化工,2024,51(18):66-68.

[20]Xu Y P,Liu T B,Wang S,Zhang R,Liu Y L,Lin K,Zhao Y W,Chu X L.ChinPetrolProcessingPetrochemTechnol.,2022,53(10):93-99.
许育鹏,刘天波,王硕,张蕊,刘玉亮,林坤,赵衍伟,褚小立.石油炼制与化工,2022,53(10):93-99.

[21]Li J Y,Chu X L,Liu D,Dong L J,Feng B J,Xu Y P,Chen P.ActaPetrolSin.(PetrolProcSec.),2022,38(3):710-717.
李敬岩,褚小立,刘丹,董力军,冯保杰,许育鹏,陈瀑.石油学报(石油加工),2022,38(3):710-717.

[22]Liu H Y,Wadood S A,Xia Y,Liu Y,Guo H,Guo B L,Gan R Y.CritRevFood SciNutr.,2023,63(1):33-56.

[23]Shrestha G,Calvelo-pereira R,Poggio M,Jeyakumar P,Roudier P,Kereszturi G,Anderson C W N.EnvironPollut.,2024,349:123 889.

[24]Ji R H,Li C H,Zheng L H,Song L F.TransChinSocAgricMach.,2024,55(10):392-398;409.
冀荣华,李常昊,郑立华,宋丽芬.农业机械学报,2024,55(10):392-398;409.

[25]Bai Y,Yang W,Wang Z,Cao Y,Li M.ComputElectronAgr.,2024,219:108 760.

[26]Zhang Z,Chang Z,Huang J,Leng G,Xu W,Wang Y,Xie Z,Yang J.JEnvironManage.,2024,352:120 094.

[27]Wang Z X,Shen Q,Zhao Q Y.Food Sci.,2025,46(3):267-273.
王子熙,沈群,赵卿宇.食品科学,2025,46(3):267-273.

[28]Tyska D,Mallmann A O,Vidal J K,Almeida C A A,Gressler L T,Mallmann C A.PLoS One,2021,16(1):e0 244 957.

[29]Ning H,Wang J,Jiang H,Chen Q.SpectrochimActa,Part A,2022,280:121 545.

[30]Caramês E T S,Piacentini K C,Alves L T,Pallone J A L,Rocha L O.Food AdditContam.,:Part A,2020,37(9):1 542-1 552.

[31]Almoujahed M B,Rangarajan A K,Whetton R L,Vincke D,Eylenbosch D,Vermeulen P,Mouazen A M.ChemomIntellLabSyst.,2024,245:105 050.

[32]Liu X,Bai B,Rogers K M,Wu D,Qian Q,Qi F,Zhou J,Yao C,Song W.Food Chem.,2022,394:133 425.

[33]Zou X,Wang Q,Chen Y,Wang J,Xu S,Zhu Z,Yan C,Shan P,Wang S,Fu Y.Food Chem.,2025,463:141 053.

[34]Yu S,Huan K W,Wang L,Liu X X,Han X Y.ChinJAnalChem.,2024,52(5):695-705.
于水,宦克为,王磊,刘小溪,韩雪艳.分析化学,2024,52(5):695-705.

[35]Sim J,Mcgoverin C,Oey I,Frew R,Kebede B.Food Chem.,2023,427:136 695.

[36]Nallan C S S,Moscetti R,Bedini G,Nardella M,Massantini R.Food Control,2022,135:108 816.

[37]Yang C,Ma X,Guan H,Li L,Fan B.Infrared PhysTechnol.,2022,125:104 239.

[38]Wang S T,Wan J C,Liu S Y,Zhang J Q,Wang Y T.SpectroscSpectAnal.,2024,44(8):2 262-2 267.
王书涛,万金丛,刘诗瑜,张金清,王玉田.光谱学与光谱分析,2024,44(8):2 262-2 267.

[39]Dong Z,Wang J,Sun P,Ran W,Li Y.JFood MeasCharact.,2024,18(3):2 237-2 247.

[40]Parastar H,Kollenburg G,Weesepoel Y,Doel A,Buydens L,Jansen J.Food Control,2020,112:107 149.

[41]Li X,Wei C,Liang B.JFood Saf.,2024,44(5):e13 167.

[42]Li Z,Tang X,Shen Z,Yang K,Zhao L,Li Y.JSciFood Agric.,2019,99(13):5 671-5 679.

[43]Bailly S,Orlando B,Brustel J,Bailly J D,Levasseur-garcia C.Toxins,2024,16(9):385.

[44]Currò S,Savini F,Fasolato L,Indio V,Tomasello F,Rampazzo G,Zironi E,Pagliuca G,Gazzotti T,Prandini L,Accurso D,Serraino A,Giaccone V,Giacometti F.Food Control,2025,167:110 778.

[45]Deng J,Jiang H,Chen Q.Food Chem.,2025,469:142 590.

[46]Zhu Z H,Li W L,Han Y T,Jin Y T,Ye W J,Wang Q H,Ma M H.Food Sci.,2025,46(6):245-253.
祝志慧,李沃霖,韩雨彤,金永涛,叶文杰,王巧华,马美湖.食品科学,2025,46(6):245-253.

[47]Saha N D,Kumari P,Das B,Sahoo R N,Kumar R,Golui D,Singh B,Jain N,Bhatia A,Chaudhary A,Chakrabarti B,Bhowmik A,Saha P,Islam S.SciTotal Environ.,2024,927:172 088.

[48]Circelli L,Cheng Z,Garwood E,Yuksel K,Di I E,Angelico R,Colombo C.SciTotal Environ.,2024,916:170 215.

[49]Wu R,Hao L,Tian H,Liu J,Dong C,Xue J.JHazardMater.,2024,469:133 971.

[50]Silva F S R,Silva Y J A B,Maia A J,Biondi C M,Araújo P R M,Barbosa R S,Silva C M C A C,Luiz T C S,Araújo A F V.EnvironGeochemHealth,2023,45(11):8 337-8 352.

[51]Karimian F,Ayoubi S,Khalili B,Mireei S A,Al-mulla Y.JNear Infrared Spectrosc.,2024,32(4/5):152-162.

[52]Peng C,Wu Z,Zhang S,Lin B,Nie L,Tian W,Zang H.Water Res.,2025,275:123 165.

[53]Xing Z,Chen J,Zhao X,Li Y,Li X,Zhang Z,Lao C,Wang H.Peer J.,2019,7:e8 255.

[54]Qiu J,Guo H,Xue Y,Liu Q,Xu Z,He L.AnalMethods,2023,15(31):3 902-3 914.

[55]Peng C,Zhang M,Kong M,Zhang S,Li C,Feng T,Tian W,Nie L,Zang H.MicrochemJ.,2024,205:111 310.

[56]Shi Y,He T,Zhong J,Mei X,Li Y,Li M,Zhang W,Ji D,Su L,Lu T,Zhao X.Talanta,2024,268:125 266.

[57]Hu Z K,Liu T K,Rao Y M,Long W J,She Y B,Fu H Y.ChemReagents,2023,45(10):1-7.
胡子康,刘庭恺,饶艳敏,龙婉君,佘远斌,付海燕.化学试剂,2023,45(10):1-7.

[58]Shi X,Gan X,Wang X,Peng J,Li Z,Wu X,Shao Q,Zhang A.LWT,2022,167:113 829.

[59]Hao J W,Chen Y,Chen N D,Qin C F.JAOAC Int.,2020,104(3):854-859.

Advancements in the Application of Near-Infrared Spectroscopy in Complex Compositional Samples

DING Chao-min1,2,LI Ke*1,LIU Fan1,ZHANG Xin1,2,LI Qi1,ZHANG Zheng-dong*1 (1.Center for Environmental Metrology,National Institute of Metrology,Beijing 100029,China;2.College of Chemistry and Chemical Engineering,Southwest Petroleum University,Chengdu 610500,China)

AbstractNear-infrared (NIR) spectroscopy,as a non-destructive,rapid,and non-invasive analytical technique,holds significant potential for applications in rapid detection,online analysis,and real-time monitoring.The development and application of chemometrics have effectively overcome the challenges posed by the high dimensionality of NIR spectra and complex background interferences.In recent years,the advancement of deep learning has further overcome the limitations of traditional modeling methods,significantly enhancing the quantitative analysis and qualitative identification capabilities of NIR technology in complex sample components.By selecting and extracting key spectral information,deep learning has greatly improved the model′s ability to analyze weak signals and complex spectra,thus expanding the application potential of NIR technology in complex sample analysis.This study provided a concise overview of the principles of NIR spectroscopy,with a particular focus on the application advancements of NIR spectroscopy combined with chemometrics across various fields such as the petrochemical industry,agriculture,environmental science,and food science.Notable applications include the analysis of the physicochemical properties of crude oil,evaluation of crop composition,and monitoring of environmental pollutants.By establishing high-performance chemometric models,NIR technology has successfully facilitated applications in determining the physicochemical properties of substances under analysis and ensuring product quality control.In conclusion,this paper systematically discussed the current state of NIR spectroscopy applications across multiple fields and offers a summary and outlook on future developments in these areas.

Key wordsnear-infrared spectroscopy;chemometrics;petrochemicals;agriculture;food science;environmental science

中图分类号:O657.33

文献标识码:A

文章编号:0258-3283(2025)07-0018-10

DOI:10.13822/j.cnki.hxsj.2025.0052

收稿日期:2025-03-17;修回日期:2025-04-01

基金项目:国家市场监督管理总局市场监管技术保障专项项目(2023YJ03);国家市场监督管理总局科技计划项目(2021MK153)。

作者简介:丁超民(1998-),男,回族,吉林吉林人,博士生,主要研究方向为光谱分析。

通讯作者:李轲,E-mail:like@nim.ac.cn;张正东,E-mail:zhangzhengdong@nim.ac.cn。