传统神经网络最擅长的一件事是从大量数据中寻找规律。给它足够多的输入和输出它可以学习图像、语言也可以预测温度、压力、浓度甚至材料性能。但工程和科学问题有一个非常特殊的地方我们往往并不是对系统一无所知。流体流动必须满足质量守恒和动量守恒传热过程受到能量守恒约束物质传递遵循扩散和对流规律电化学体系还需要满足电荷守恒、离子迁移和界面反应动力学。这些规律通常可以写成偏微分方程Partial Differential EquationsPDEs。于是一个很自然的问题出现了既然我们已经知道物理规律为什么还要让神经网络完全依靠数据“重新猜一遍”物理信息神经网络Physics-Informed Neural NetworksPINNs正是为解决这个问题而出现的。一、普通神经网络和PINN有什么区别假设我们希望预测一个反应器内部的浓度分布。普通神经网络通常采用这样的方式输入空间坐标 (x,y)输出浓度 (C)。如果有大量实验数据或者数值模拟数据就可以训练一个神经网络其中代表神经网络内部需要训练的参数。问题在于这个网络并不知道什么是质量守恒也不知道什么是扩散。它只知道怎样让预测结果尽可能接近已有数据。因此当训练数据不足或者模型需要预测训练范围之外的情况时结果就可能偏离真实物理规律。PINN则增加了一层约束。假设这个浓度场满足对流—扩散方程那么神经网络预测得到 (C) 之后可以利用自动微分直接计算再重新代回控制方程。如果预测结果完全符合物理规律那么于是可以定义一个“物理损失”神经网络不仅需要拟合数据还必须尽可能降低控制方程残差。因此PINN真正改变的是神经网络的学习目标。普通神经网络关注而PINN同时要求以及二、PINN为什么叫“物理信息”神经网络这里的“Physics-Informed”并不是简单地给神经网络增加几个物理参数作为输入。真正的核心是把物理控制方程直接嵌入神经网络的训练过程。一个典型PINN的总损失函数可以写成其中控制方程残差边界条件误差初始条件误差实验或模拟数据误差。训练的过程其实就是不断调节神经网络参数让这些误差同时减小。因此从数学上看PINN实际上是在寻找一个函数使它尽可能同时满足边界条件以及已有实验观测。这也是PINN与普通机器学习最本质的区别。三、PINN与有限元有什么不同有限元方法FEM通常首先对空间进行网格划分。连续的物理区域被划分成大量单元然后在这些离散单元上求解控制方程。COMSOL等多物理场软件本质上就是建立在这类数值离散方法之上的。PINN的思路则不同。它不再首先构建一个大规模离散方程组而是训练一个连续函数神经网络本身就是物理场的近似表达。因此PINN经常被称为一种mesh-free方法。训练完成后我们可以给网络任意一个坐标直接得到等物理变量。这也是PINN很有吸引力的一点它试图把“求解一个离散方程组”转化为“学习一个连续物理场函数”。四、PINN最有价值的地方并不一定是替代传统模拟看到这里很容易产生一个问题既然PINN可以求解PDE是不是以后就不需要COMSOL或者有限元了目前并不是。对于一个已经建立好的复杂多物理场模型传统有限元往往仍然具有更成熟的数值稳定性和求解效率。PINN真正有优势的地方更多集中在以下几个方面。1. 数据很少但物理规律很清楚传统机器学习通常需要大量数据。PINN由于控制方程本身就在约束训练因此即使实验数据有限也可以利用物理规律缩小可能解的范围。2. 反问题正问题通常是例如而反问题则是例如根据出口浓度和局部测量数据反推出这类问题非常适合PINN。因为未知参数本身也可以作为可训练变量与神经网络参数一起优化。3. 数据与物理模型融合真实工程系统中控制方程通常并不完美。我们可能知道质量守恒却不知道准确的反应速率表达式可能知道传质模型却不确定某个有效扩散系数也可能只有少量实验出口数据。PINN可以形成一种混合框架这实际上比单纯的“纯数据AI”更符合工程研究场景。五、从“软约束”到“硬约束”PINN还有一个非常值得注意的问题。假设我们把PDE写进损失函数这里实际上只是告诉神经网络违反物理规律会增加Loss。但并没有数学上保证一定严格成立。这叫做Soft Constraint软约束。如果太小网络可能很好地拟合数据却明显违反控制方程如果太大又可能导致训练困难。因此近年来PINN的重要发展方向之一就是如何让某些物理规律从“尽量满足”变成“必须满足”。例如对于边界条件可以把神经网络输出直接写成并人为设计在边界处成立。这样无论神经网络怎么训练在边界上始终有这就是所谓的Hard Constraint硬约束。除此之外还可以通过Penalty Method、Augmented Lagrangian Method等方法进一步强化PDE和工程约束。PINN因此正在从“把物理规律加入Loss”逐渐发展到“把物理规律直接写进神经网络结构与优化过程”。六、PINN对于多物理场问题尤其有吸引力真实工程系统往往不是单一物理场。例如一个电化学反应器可能同时存在对应的控制方程可能包括质量守恒动量守恒物质传递电荷守恒界面电化学动力学PINN理论上可以把这些控制方程同时写入一个统一Loss中。于是网络学习的不再只是某一个浓度或者速度而是整个到之间的多物理场映射。这也是PINN在反应器设计、流体力学、传热传质、电化学以及能源系统中受到越来越多关注的重要原因。七、PINN目前还有哪些问题PINN很有潜力但绝不是“万能PDE求解器”。在复杂问题中它仍然面临不少困难。例如多尺度问题。如果一个系统中同时存在毫米尺度流动和微米尺度边界层神经网络可能很难同时学习。高梯度区域。激波、边界层、反应界面等区域的物理量变化非常剧烈普通PINN容易训练失败。Loss不平衡。可能出现或者不同控制方程残差量级相差几个数量级。此时神经网络往往优先优化某一部分而忽略其他物理约束。计算成本。虽然PINN不需要传统网格但训练神经网络本身并不便宜。尤其对于三维、瞬态、多组分、多物理场问题自动微分可能带来非常高的计算成本。因此对PINN更合理的理解不是“它马上会替代有限元。”而是它正在提供一种新的科学计算范式让物理模型、实验数据和人工智能能够在同一个可微分框架中协同工作。八、真正值得关注的是“AI Physics”传统数值模拟的核心逻辑是传统机器学习则更像而PINN试图建立第三条路线这可能也是物理信息神经网络最重要的意义。它并不是告诉我们“AI可以不要物理。”恰恰相反。PINN真正表达的是我们知道得越多就越应该把这些知识告诉AI。当质量守恒、动量守恒、能量守恒以及各种控制方程真正进入神经网络之后AI就不再只是一个黑箱拟合工具而开始逐渐成为一种可以与传统科学计算结合的物理建模工具。这也许才是物理信息神经网络最值得期待的未来。参考资料https://doi.org/10.1137/21M1397908 【神经网络干货】物理信息神经网络：当神经网络开始“遵守”物理定律
传统神经网络最擅长的一件事是从大量数据中寻找规律。给它足够多的输入和输出它可以学习图像、语言也可以预测温度、压力、浓度甚至材料性能。但工程和科学问题有一个非常特殊的地方我们往往并不是对系统一无所知。流体流动必须满足质量守恒和动量守恒传热过程受到能量守恒约束物质传递遵循扩散和对流规律电化学体系还需要满足电荷守恒、离子迁移和界面反应动力学。这些规律通常可以写成偏微分方程Partial Differential EquationsPDEs。于是一个很自然的问题出现了既然我们已经知道物理规律为什么还要让神经网络完全依靠数据“重新猜一遍”物理信息神经网络Physics-Informed Neural NetworksPINNs正是为解决这个问题而出现的。一、普通神经网络和PINN有什么区别假设我们希望预测一个反应器内部的浓度分布。普通神经网络通常采用这样的方式输入空间坐标 (x,y)输出浓度 (C)。如果有大量实验数据或者数值模拟数据就可以训练一个神经网络其中代表神经网络内部需要训练的参数。问题在于这个网络并不知道什么是质量守恒也不知道什么是扩散。它只知道怎样让预测结果尽可能接近已有数据。因此当训练数据不足或者模型需要预测训练范围之外的情况时结果就可能偏离真实物理规律。PINN则增加了一层约束。假设这个浓度场满足对流—扩散方程那么神经网络预测得到 (C) 之后可以利用自动微分直接计算再重新代回控制方程。如果预测结果完全符合物理规律那么于是可以定义一个“物理损失”神经网络不仅需要拟合数据还必须尽可能降低控制方程残差。因此PINN真正改变的是神经网络的学习目标。普通神经网络关注而PINN同时要求以及二、PINN为什么叫“物理信息”神经网络这里的“Physics-Informed”并不是简单地给神经网络增加几个物理参数作为输入。真正的核心是把物理控制方程直接嵌入神经网络的训练过程。一个典型PINN的总损失函数可以写成其中控制方程残差边界条件误差初始条件误差实验或模拟数据误差。训练的过程其实就是不断调节神经网络参数让这些误差同时减小。因此从数学上看PINN实际上是在寻找一个函数使它尽可能同时满足边界条件以及已有实验观测。这也是PINN与普通机器学习最本质的区别。三、PINN与有限元有什么不同有限元方法FEM通常首先对空间进行网格划分。连续的物理区域被划分成大量单元然后在这些离散单元上求解控制方程。COMSOL等多物理场软件本质上就是建立在这类数值离散方法之上的。PINN的思路则不同。它不再首先构建一个大规模离散方程组而是训练一个连续函数神经网络本身就是物理场的近似表达。因此PINN经常被称为一种mesh-free方法。训练完成后我们可以给网络任意一个坐标直接得到等物理变量。这也是PINN很有吸引力的一点它试图把“求解一个离散方程组”转化为“学习一个连续物理场函数”。四、PINN最有价值的地方并不一定是替代传统模拟看到这里很容易产生一个问题既然PINN可以求解PDE是不是以后就不需要COMSOL或者有限元了目前并不是。对于一个已经建立好的复杂多物理场模型传统有限元往往仍然具有更成熟的数值稳定性和求解效率。PINN真正有优势的地方更多集中在以下几个方面。1. 数据很少但物理规律很清楚传统机器学习通常需要大量数据。PINN由于控制方程本身就在约束训练因此即使实验数据有限也可以利用物理规律缩小可能解的范围。2. 反问题正问题通常是例如而反问题则是例如根据出口浓度和局部测量数据反推出这类问题非常适合PINN。因为未知参数本身也可以作为可训练变量与神经网络参数一起优化。3. 数据与物理模型融合真实工程系统中控制方程通常并不完美。我们可能知道质量守恒却不知道准确的反应速率表达式可能知道传质模型却不确定某个有效扩散系数也可能只有少量实验出口数据。PINN可以形成一种混合框架这实际上比单纯的“纯数据AI”更符合工程研究场景。五、从“软约束”到“硬约束”PINN还有一个非常值得注意的问题。假设我们把PDE写进损失函数这里实际上只是告诉神经网络违反物理规律会增加Loss。但并没有数学上保证一定严格成立。这叫做Soft Constraint软约束。如果太小网络可能很好地拟合数据却明显违反控制方程如果太大又可能导致训练困难。因此近年来PINN的重要发展方向之一就是如何让某些物理规律从“尽量满足”变成“必须满足”。例如对于边界条件可以把神经网络输出直接写成并人为设计在边界处成立。这样无论神经网络怎么训练在边界上始终有这就是所谓的Hard Constraint硬约束。除此之外还可以通过Penalty Method、Augmented Lagrangian Method等方法进一步强化PDE和工程约束。PINN因此正在从“把物理规律加入Loss”逐渐发展到“把物理规律直接写进神经网络结构与优化过程”。六、PINN对于多物理场问题尤其有吸引力真实工程系统往往不是单一物理场。例如一个电化学反应器可能同时存在对应的控制方程可能包括质量守恒动量守恒物质传递电荷守恒界面电化学动力学PINN理论上可以把这些控制方程同时写入一个统一Loss中。于是网络学习的不再只是某一个浓度或者速度而是整个到之间的多物理场映射。这也是PINN在反应器设计、流体力学、传热传质、电化学以及能源系统中受到越来越多关注的重要原因。七、PINN目前还有哪些问题PINN很有潜力但绝不是“万能PDE求解器”。在复杂问题中它仍然面临不少困难。例如多尺度问题。如果一个系统中同时存在毫米尺度流动和微米尺度边界层神经网络可能很难同时学习。高梯度区域。激波、边界层、反应界面等区域的物理量变化非常剧烈普通PINN容易训练失败。Loss不平衡。可能出现或者不同控制方程残差量级相差几个数量级。此时神经网络往往优先优化某一部分而忽略其他物理约束。计算成本。虽然PINN不需要传统网格但训练神经网络本身并不便宜。尤其对于三维、瞬态、多组分、多物理场问题自动微分可能带来非常高的计算成本。因此对PINN更合理的理解不是“它马上会替代有限元。”而是它正在提供一种新的科学计算范式让物理模型、实验数据和人工智能能够在同一个可微分框架中协同工作。八、真正值得关注的是“AI Physics”传统数值模拟的核心逻辑是传统机器学习则更像而PINN试图建立第三条路线这可能也是物理信息神经网络最重要的意义。它并不是告诉我们“AI可以不要物理。”恰恰相反。PINN真正表达的是我们知道得越多就越应该把这些知识告诉AI。当质量守恒、动量守恒、能量守恒以及各种控制方程真正进入神经网络之后AI就不再只是一个黑箱拟合工具而开始逐渐成为一种可以与传统科学计算结合的物理建模工具。这也许才是物理信息神经网络最值得期待的未来。参考资料https://doi.org/10.1137/21M1397908