ARTICLE DETAIL

资讯详情

深耕网站建设、视觉设计与SEO优化的一线实战洞察。

液态神经网络 第二部分 数值解法与训练稳定性 2

液态神经网络 第二部分 数值解法与训练稳定性 2

第三章 脑启发的稀疏连接架构 (Brain-Inspired Sparse Architecture)

3.1.1 秀丽隐杆线虫(C. elegans)连接组图谱作为设计参考

秀丽隐杆线虫是目前唯一拥有完整神经连接图谱(Connectome)的生物,仅由 302 个神经元和约 8000 个突触连接组成,却能完成复杂的导航、觅食和逃逸任务。

设计直觉:

深度学习通常使用全连接(Dense)层,其连接复杂度为。而生物神经网络极其稀疏,且连接具有高度结构化特征(小世界网络)。NCP 借鉴这种结构,旨在用极少的参数(例如 < 1000 个)实现自动驾驶或无人机控制等任务。

3.1.1.1 从 connectome 到可参数化拓扑(稀疏矩阵编码)

数学推导:

假设生物神经网络的连接可以用邻接矩阵表示。

在人工神经网络中,我们定义权重矩阵

返回列表