link之家
链接快照平台
- 输入网页链接，自动生成快照
- 标签化管理网页链接
相关文章推荐
|
奔跑的斑马 · 三明市人民政府关于印发三明市化工园区规范提升 ...· 1 月前 · |
|
|
茫然的胡萝卜 · 西锐SR22_百度百科· 6 月前 · |
|
|
不拘小节的单车 · 野球帝到底几个人啊？ - 知乎· 1 年前 · |
|
|
礼貌的机器人 · 关于湖南省第七届中小学生艺术展演活动获奖情况 ...· 1 年前 · |
|
|
爱玩的黑框眼镜 · 13.99万起！蓝电E5正式上市，全新插混中 ...· 2 年前 · |
许多科学问题都要求以几何图形（geometric graphs）的形式处理数据。与一般图数据不同，几何图显示平移、旋转和反射的对称性。研究人员利用这种
对称性的归纳偏差
（inductive bias），开发了几何等变图神经网络（GNN），以更好地描述几何图的几何特性和拓扑。尽管取得了丰硕的成果，但它仍然缺乏一项survey来描述等变GNN是如何发展的，这反过来又阻碍了等变GNNs的进一步发展。为此，基于必要但简明的数学预备知识，我们下面分析并将现有方法分为三组，以了解如何表示GNN中的消息传递和聚合。另外还举例了相关应用，以便于以后的方法开发和实验评估研究。
归纳偏差or归纳偏置（inductive bias），归纳是自然科学研究中的一种方法，指的是从一些例子中寻找共性，形成一个通用的规则，bias是指我们对模型的偏好。因此归纳偏置可以理解为：
- 从现实生活中观察到的现象中归纳出一定的规则，然后对模型做一定的约束，从而可以起到"模型选择"的作用，即从假设空间中选择出更符合现实规则的模型。（可以理解为一个正则化方式）
关于等变与不变：
-
等变性（equivariant），对于一个特征，进行变换：
- 1.Introduction
- 2.Backgrounds
- 3.几何等变GNNs
- 4.应用
-
1.Introduction
许多问题，尤其是物理和化学问题，需要以几何图的形式处理数据。 与一般图数据不同，几何图不仅为每个节点分配一个特征，还分配一个几何矢量 。例如，分子或蛋白质可以被视为几何图，其中原子的3D位置坐标是几何矢量；或者在一般的多体物理系统中，3D状态（位置、速度或自旋）是粒子的几何矢量。值得注意的是，几何图显示了平移、旋转和反射的对称性。这是因为无论我们如何将分子（或一般物理系统）从一个地方平移或旋转到另一个地方，控制原子（或粒子）动力学的物理定律是相同的。在处理这类数据时，必须将对称性的归纳偏差纳入模型的设计中，这推动了几何等变图神经网络（GNN）的研究。
GNN最初由Sperduti和Starita于1997提出，在深度学习的发展下，GNN在图结构建模方面表现出了突出的优势。虽然已经开发了丰富的结构，但大多数以前的GNN在几何上并不是等变的，因此不适合用于几何图。为了实现几何等变，人们提出了大量工作来改进GNN中的消息传递和聚合机制。
然而，鉴于取得了丰硕的成就，仍然没有一份survey来描述等变GNN是如何发展的。这不仅阻碍了外部研究人员迅速进入这一领域，还可能阻碍从现有论文中提取经验教训和新想法，供那些想进一步推动这一领域的研究人员使用。
2.Backgrounds
在本节中，将介绍两个关键因素，即图神经网络（GNN）和等变，作为讨论几何等变GNN的基础。
2.1.消息传递GNNs
GNNs已经被广泛用于处理关系数据。考虑 x i ∈ R 3 （比如位置或速度坐标）。当通过GNN处理此类数据时，我们可以将等变的归纳偏差注入到图模型中。
对于几何图，应用场景决定是否需要等变性，例如：
- 在预测分子的能量时，我们需要输出对几何矢量的任何旋转保持不变性（需要不变性）；
- 然而，在预测分子动力学时，我们要求输出与每个原子位置的输入相等（需要等变性）。
为了更好地区分，在下文中，用粗体表示几何矢量，用普通符号表示非几何量。
Eq.1-2被改为： \textbf{m}_{ij}=\psi_{\textbf{m}}(\textbf{x}_{i},\textbf{x}_{j},h_{i},h_{j},e_{ij})\tag{5} m ij = ψ m ( x i , x j , h i , h j , e ij ) ( 5 ) \textbf{x}'_{i}=\psi_{\textbf{x}}(\left\{\textbf{m}_{ij}\right\}_{j\in N(i)},\textbf{x}_{i})\tag{7} x i ′ = ψ x ( { m ij } j ∈ N ( i ) , x i ) ( 7 ) 其中， x i 是G-equivariant的；
图1中详细说明了上述等变消息传递机制。
- 图1：旋转情况下几何等变消息传递的图示。生成标量消息和矢量消息，然后进行聚合，从而产生等变更新。
目前已经提出了多种等变GNNs，它们通常是不同Group上的 Eq.4-7 的不同具体对象。根据消息的表示方式，将当前的方法分为三类：不可约表示（irreducible representation），正则表示（regular representation），标量化（scalarization）。
在大多数情况下，由于相对位置 x i − x j 是平移不变量（translation invariant），因此，下面讨论主要涉及旋转和除了平移的其他变换。
3.2.不可约表示Irreducible Representation
这类模型基于表示论中关于紧群的线性表示可以拆解为一系列不可约表示这一理论。从而在 \textbf{m}_{ij}^{l}=\sum_{k\geq 0 }\textbf{W}^{lk}(\textbf{x}_{i}-\textbf{x}_{j})\textbf{x}_{j}^{k} m ij l = k ≥ 0 ∑ W l k ( x i − x j ) x j k \textbf{W}^{lk}(\textbf{D}^{1}(r)\textbf{x})=\textbf{D}^{l}(r)\textbf{W}^{lk}(\textbf{x})(\textbf{D}^{k}(r))^{-1} W l k ( D 1 ( r ) x ) = D l ( r ) W l k ( x ) ( D k ( r ) ) − 1
3.3.基于正则表示的模型
另一类的工作尝试利用 群的正则表示 来构建群卷积操作。比如Lie卷积： \textbf{x}_{i}'=\textbf{x}_{i}+\sum_{j\neq i}(\textbf{x}_{i}-\textbf{x}_{j})\varphi_{x}(m_{ij}) x i ′ = x i + j = i ∑ ( x i − x j ) φ x ( m ij ) ( x i − x j ) φ x ( m ij ) ，可以同时保证非几何特征和几何特征传播过程中的等变性。这个构造结合了物理知识，可以看成是对两个粒子的库伦力 / 重力的计算的建模。
等变GNN在从物理系统到化学物质的各种类型的real-world几何数据上有着广泛的应用。
物理动力学模拟
对复杂物理系统的动力学建模一直是一个具有挑战性的课题，神经网络已经被用于推断相互作用和动力学。在物理系统中，像带电粒子这样的物体通过遵循物理定律的力相互作用。通常任务是在初始条件下预测粒子的动力学，包括位置、速度和电荷。这样的任务是E(3)-等变的，因为粒子的动力学与整个系统一起平移、旋转和反射。
h i 通常是原子的特征，节点之间的连接性要么由化学键提供，要么基于距离阈值获取。下面回顾分子的等变GNN，包括预测和生成。预测
2022 年 7月18日腾讯 AI Lab发表了题为 “3D Equivariant Molecular Graph pretraining” 的文章，开发了基于能量表示的等变分子图神经网络预训练模型，在下游能量和力预测上均达到了最优的效果。使用3D backbone模型，设计3D感知预训练任务，并针对下游任务进行评估，存在如下挑战：
- 如何保持生物世界的对称性旋转/平移分子的三维构象不会改变其行为规律。在数学上，应该使用backbone模型E(3)-等变和预训练损失E(3)-不变，其中，群E(3)包含旋转、反射和平移。
生成
Axelrod和Gomez Bombarelli引入了大规模未标记数据，将其分为两个子集GEOM-QM9和GEOM Drugs。这些数据集包含大量小分子构象的不同样本，并作为分子构象生成任务中的无监督训练集。ConfGF和DGSM使用旋转平移等变GNN参数化基于分数的生成模型中的分数函数，从而生成学习构象条件分布的生成模型。GeoDiff进一步将生成模型推广到去噪扩散模型。蛋白质与小分子docking
预测药物样分子如何与特定蛋白质靶标结合是药物发现的核心问题。一种极快的计算binding方法将实现快速虚拟筛选或成为药物工程等关键应用。现有方法的计算成本很高，因为它们依赖于大量候选采样以及评分、排名和微调步骤。“EquiBind:Geometric Deep Learning for Drug Binding Structure Prediction” 挑战了这一范式，这是一种 SE(3)-等变 几何深度学习模型，对：
- i) 受体receptor结合位置（盲对接）；
- ii) 配体ligand的结合姿势和方向进行直接预测。
与传统和最近的基线相比，EquiBind 实现了1200倍的加速。
- EquiBind架构：简单来说，该方法利用E(3)-等变网络生成配体和受体上的结合关键点，而后在三维空间中对这些点进行匹配来确定结合模式。同时，该网络还能够对配体的三维结构进行变换实现小分子柔性对接。
注意：如果您正在寻找PyTorch实现，请查看Jorn Peters和Adam Bielski（ ）的拉取请求。 GrouPy是一个Python库，可在Chainer和TensorFlow中实现组等变卷积 神经网络 ，并支持涉及变换组的其他数值计算。 GrouPy由以下模块组成： garray：转换变量数组（“组元素”） gfunc：一组转换上的函数数组 gconv：在组等变卷积网络中使用的组卷积 garray和gfunc模块用于快速预计算阶段，并在CPU上运行，而gconv用于训练和测试 神经网络 ，并在GPU上运行。 我们主要使用Chainer实现（请参阅），但是可以使用经过单元测试的tensorflow实现，并且编写了代码，因此相对容易地移植到theano，torch或其他框架。 代码的大多数复杂性都在预计算步骤中，该步骤会生成用于转换过滤器的索引，并且每个 深度学习 框架都feats = torch . randn ( 1 , 16 , 512 ) coors = torch . randn ( 1 , 16 , 3 ) edges = torch . randn ( 1 , 16 , 16 , 4 )都2022年了，你还找不到 深度学习 资源吗？ 我以前不止一次给各位介绍过NLP、DNN、GNN和GAN技术资源，无论是什么来源的，最终的意义都是要让 深度学习 过程更直白、简单、通俗易懂一点！ 或许，你以前是用百度搜索 或者，你以前是翻墙用谷歌查询 又或者，你用的是B站知乎等工具 再或者，专业的 深度学习 课程也是你的最爱 Anyway，在Ctrl+CV大行其道的今天，谁会拒绝NLP_DNN_GNN_GAN从小白到专家资源的诱惑呢？ 我花了近10小时，为各位制作了史上最全NLP_DNN_GNN_GA资源合集，废话不多说，直接干就行！E(n) Equivariant Graph Neural Networks (EGNNs) 一种新模型学习 图 神经网络 ，其对旋转、平移、反射、置换等变，不需要在中间层中计算昂贵的高阶表示。尽管现有方法仅限于三维空间上的等变，但我们的模型很容易扩展到高维空间。我们的方法在动态系统建模、 图 形自动编码器中的表示学习和预测分子性质方面的有效性。 深度学习 许多进步在很大程度上依赖于深度 神经网络 中的诱导/归纳偏差（inductive biases）.将 神经网络 限制为相关函数的一种有效方法是利用问题的对称性，通过对来AMiner平台（https://www.aminer.cn）由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技 图 谱，提供学者评价、专家发现、智能指派、学术地 图 等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。 必读论文：https://www.aminer.cn/topic 论文集地址：https:/.2021SC@SDUSC 论文解读：基于 图 神经网络 与蛋白质接触 图 的药靶亲和力预测（一） Drug–target affinity prediction using graph neural network and contact maps 计算机辅助药物设计是利用高性能计算机模拟药物设计任务的一个很有前景的研究领域。药物靶标亲和度(DTA)预测是计算机辅助药物设计中最重要的一步，可以加快药物开发速度，减少资源消耗。随着 深度学习 的发展，将 深度学习 引入到DTA预测中，提高DTA预测的准确性已成为研究的热点第九章 卷积网络 卷积网络（convolutional network），也叫作卷积 神经网络 （convolutional neural network，CNN），是一种专门用来处理具有类似网格结构的数据的 神经网络 。 卷积是一种特殊的线性运算。 在通常形式中，卷积convolution是对两个实变函数的一种数学运算。 关于卷积介绍参见（通俗易懂） https://www.zhihu....### 回答1： Matlab是一个非常适合做光学仿真的工具，它可以用来制作 几何 光路 图 来描述光学系统的物理现象。在Matlab中，我们可以使用光学工具箱（Optics Toolbox）来实现这个功能。 首先，我们需要定义光学系统的各个组件，例如透镜、镜子、凸透镜等等。对于每个组件，我们需要指定它们的位置、材料、形状、焦距等参数。然后，我们可以使用光线追迹算法来确定光线在系统内的传播路径和轨迹。 在光路 图 中，我们通常使用光线的偏折角、入射角、出射角、高度等信息来描述光线的状态。我们可以使用Matlab的 图 形界面工具来可视化这些信息，并画出光路 图 。 同时，我们还可以使用其他的诸如ray tracing，ray transfer matrix等多种算法来对光学系统进行优化。在光路 图 中，我们可以分析和评估不同组件的性能，比如聚焦能力、畸变程度等等。 综上所述，通过使用Matlab，我们可以轻松地制作、分析和优化光学系统的 几何 光路 图 ，以便更好地理解和设计光学系统。 ### 回答2： Matlab是一种强大的计算机软件，它被广泛应用于多个领域，包括工程、科学和计算机科学等。作为光学领域的一个重要应用，Matlab可以用于制作 几何 光路 图 。 几何 光路 图 主要用于描述光线在光学系统中传播的路径，因此Matlab可以通过其强大的计算能力和 图 形处理能力，为我们提供精确的 几何 光路 图 。 在Matlab中，我们可以使用光学工具箱（Optical Toolbox）进行 几何 光学 图 像的计算和绘制。该工具箱提供了一系列函数和类，包括光学元件类、光源类、接收器类、光线类以及光路类等。通过在Matlab中编写程序，我们可以利用这些函数和类，构建光学系统的 几何 模型，并对其进行分析和优化。 在绘制 几何 光路 图 时，我们需要首先确定所需光学元件（例如透镜或反射器）的类型、位置和参数等信息。然后，我们可以使用Matlab中的 图 形函数，如plot和line，来绘制光学元件和光线路径。此外，Matlab中还提供了一些专门用于绘制 几何 光路 图 的函数，如raydiag和raytrace等。 总之，Matlab可以提供优秀的 几何 光学 图 像计算和绘制方法，使得我们能够更加方便、快速地进行系统优化和分析。