神经网络图谱研究进展论文,图神经网络研究方向
为什么有图卷积神经网络？
根本上来说，在全球范围内所有的数据资源都都具有拓扑结构这一特征，并且它们实际上构成了一个复杂的网络架构。若要实现人工智能技术的真正突破与发展，则必须在这一基础之上进行深入研究与创新性应用，在这种情况下将所有这些信息资源进行系统性的整合与融合将会成为推动这一领域发展的重要前提条件
因此，在运用深度学习技术来处理那些复杂的拓扑数据的同时，开发创新的方法用于处理图数据以及知识图谱的智能算法，则是人工智能领域的重要研究方向。
深度学习在多个领域取得了显著成效，得益于高性能计算硬件设施的进步、海量训练数据的积累以及其在图像、文本和视频等欧几里得数据中有效提取潜在表征的能力。
但是，在欧几里得数据上虽然深度学习展现了显著的优势，并在非欧数据上的应用更为广泛，并且这些基于几何结构的数据必须经过有效的分析流程才能实现其潜力的最大化
如在电子商务领域中采用图模型来建立一个学习系统，则该系统能够通过用户与产品之间的互动来达成高度精准的推荐效果。而在化学研究中将分子建模为图网络有助于评估新药物的生物活性特性。
在论文引用网络中，在此网络结构下各篇论文通过引用来相互连接，并且有必要将其划分为若干类别。近年来，在计算机视觉与自然语言处理领域中实施深度学习已取得了重大的进展。
设想一张图片进行图像分类的任务。传统的做法是需要人工提取一些特定的特征作为输入数据。这些具体的选择包括纹理特性和颜色特性等较为基础的属性；此外还可以选择更加复杂的特性作为输入数据来源。随后将这些提取得到的数据信息作为输入 fed 到诸如随机森林这样的分类器中运行，并根据其输出结果来提供相应的类别标记以完成图像归类任务。
该技术通过将图像输入到神经网络中来直接生成标签。这一过程无需人工干预或遵循常规方法。
相比传统的机器学习方法而言，深度学习具备了更高的效率和更为丰富的特征提取能力。图数据的复杂性给现有的机器学习算法带来了严峻挑战，并且由于其为非规则结构特性
每张图片尺寸不一且没有固定的顺序，在这张图片中每一个节点都具有不同的邻接数量。这导致一些在图像处理中易于计算的重要运算（例如卷积操作）无法直接应用到图上。然而，在现有的机器学习算法中，默认假设各个实例之间相互独立
然而，在图数据中每个实例与其周围的其他实例紧密相连，并包含丰富的关联信息以捕捉数据间的相互依赖关系。涵盖引用、社交关系以及相互作用的复杂连接模式逐渐成为研究重点。当前研究中越来越多的应用正在探索如何利用这些特性来提升分析效果。
由于深度学习领域的快速发展推动，在构建图神经网络架构的过程中
谷歌人工智能写作项目：神经网络伪原创
人工神经网络的发展
现代意义上对神经网络（特指人工神经网络）的研究可追溯至1943年美国芝加哥大学的生理学家W.S.McCulloch和W.A.Pitts提出的M-P神经元模型起源于该研究的开端**写作猫** 。
在这六十年中，神经网络的发展走过了一段曲折的道路。
1965年M. Minsky与S. Papert在其著作《Perceptrons》中阐述了感知机的局限性，并表达了对该领域研究持悲观态度。这一发现导致神经网络研究从发展初期进入停滞阶段，并 marking the first turning point in the history of neural networks.
于20世纪80年代初期开展的研究与理论成果——如J.J.Hopfield提出的Hopfield模型以及D.Rumelhart等人提出的PDP理论——不仅揭示了人工神经网络的基本原理，并且展示了其巨大的应用潜力。这些突破性的发展不仅推动了该领域研究的蓬勃发展，并且标志着这一重要转折点。这是人工神经网络发展进程中的一个重要里程碑。
在进入21世纪初期，在研究者们更加深入地认识到神经网络的一些局限性的同时（与此同时），在机器学习领域中支持向量机等方法逐渐展现出更大的发展潜力（逐渐展现出更大的发展潜力），“神经网络”这一术语相较于以往时期而言不再像过去那样引人注目（不再像过去那样引人注目）。
普遍看法指出，神经网络的研究正面临低谷，并且支持向量机可能在未来取代神经网络。
值得探讨的是，在德国马克斯·普朗克研究所所做的一份报告中指出：尽管支持向量机虽然是一个非常热门的话题，在该报告中指出：尽管支持向量机虽然是一个非常热门的话题。
可以看出，是某位著名支持向量机研究者的言论。可以看出这种特殊的含义。实际上，在经历了1965年后的一段特殊时期后，当前神经网络的发展状况与之形成鲜明对比。
在1965年后的相当长一段时间里, 美国与前苏联并未对神经网络领域的任何研究课题提供资助, 而如今各国在神经网络领域仍有充足的研究经费保障；超过90%的研究者转而探索其他领域, 然而目前在国际与国内均建立了较为稳定的科研团队.
实际上，在经过一段时期的低迷之后，在1965年神经网络的研究并未得到广泛认可的现象得到了一定程度上的发展和完善；如今这一领域呈现出一种较为稳定的态势，在这一过程中许多技术逐步渗透到日常生活和生产中去，并使得早期研究领域所形成的局限性逐渐显现出来
在科学研究中常见有这样的现象：当某一领域发表论文数量激增时，则表明该领域尚处于不够成熟且研究领域广阔的状态；同时由于这一阶段的科研人员对自身领域的限制因素认识不够清晰，因此容易产生较大的盲目行为。
就这一观点而言，在近年来各领域研究者纷纷涌入的情况下，各类专业刊物 full of 'neural networks' 的风光实则存在严重问题；如今则已逐渐展现出更为理性和正常的态势。
在这一阶段内, 通过深入分析以往研究成果存在的不足之处, 同时吸收借鉴相关领域取得的最新研究成果, 将有望开辟新天地, 为其未来的发展提供保障
神经网络的历史是什么？
沃伦·麦卡洛克与沃尔特·皮茨（1943）基于数学方法与一种称为阈值逻辑的技术发展出了一种神经网络的计算模型。该模型促进了对人工神经系统的深入理解，并推动了计算机科学领域中人机交互的研究进展
一种主要探讨大脑中的生物学过程及其相关机制的研究方向是大脑科学的重要领域之一；另一种则是深入研究神经网络在人工智能系统中的应用及其潜在优化空间。一章 赫布型学习 在20世纪40年代后期的心理学家唐纳德·赫布基于神经可塑性的理论基础提出了关于学习的认知模型，并将其命名为Herb-type learning.
赫布型学习被视为一种典型的unsupervised learning规则；其衍生物则为具有long-term reinforcing mechanisms的早期实例。该研究方法始于1948年；研究人员将其思想应用于B-type Turing machines。
法利与韦斯利·A·克拉克于1954年首次采用了计算机，并将其称为计算器，在麻省理工学院（MIT）中模拟了一个赫布网络。与此同时，在1956年时纳撒尼尔·罗切斯特及其团队在IBM704计算机上模拟了抽象神经网络的行为
由弗兰克·罗森布拉特发明的感知机是一种基础的人工智能模型。它是一种用于模式识别的方法。该算法通过基本算术运算实现了多层次的学习机制。它能够处理复杂的逻辑运算如异或门电路这样的逻辑单元
这种回路长期未能被传统神经网络架构所处理直至1975年时才由保罗·韦伯斯提出了反向传播算法这一突破性解决方案。自马文·明斯基及西摩尔·派普特于1969年发表相关研究以来 神经网络的研究陷入了停滞阶段
该研究揭示了神经网络领域的两大核心挑战。其中第一个障碍是基于单层感知机无法解决异或问题这一事实。其次，当前计算机系统在处理复杂、大规模神经网络时面临巨大计算负荷的问题
当计算机的计算能力进一步增强之前，神经网络的研究进程相对停滞。二、反向传播算法与复兴随后出现的一项重要突破是由保罗·韦伯斯提出的反向传播算法（Werbos1975）。
这个算法巧妙地解决了异或问题，并且还涉及更为广泛地训练多层次神经网络的技术问题。在上世纪八十年代中期，在美国和欧洲出现了分布式并行处理技术的广泛应用。
戴维·鲁姆哈特与詹姆斯·麦克里兰德合著的教材对联结主义在计算机模拟神经活动方面的理论发展进行了系统阐述。通常而言,神经网络被视作对大脑中神经活动的一种简化表示,尽管该模型与大脑生理结构之间的关联性仍存在争议。
人们不清楚人工神经网络能多大程度地反映大脑的功能。
在机器学习领域中，支持向量机系统与其他更为简洁的方法（如线性分类器）的普及程度逐渐超越了神经网络技术，在2000年代后期出现的深度学习技术则带来了对传统神经网络技术的关注。
自2006年以来的发展阶段中, 人们基于CMOS技术开发出了专门用于生物物理模拟领域的应用装置, 同时也能实现神经形态计算的应用需求. 最近的研究表明, 能够有效支持大型主成分分析及卷积神经网络运算需求的纳米设备正展现出广阔的前景.
如果成功的话，则会引入一种全新的神经计算架构；这种系统之所以不同寻常是因为它模仿生物学习而非传统程序设计；然而其最初的形态可能基于CMOS技术构建
在期间（即从2009年到2012年之间），瑞士人工智能实验室（SwissAILab IDSIA）下辖的研究团队负责开发的循环神经网络和深度前馈神经网络项目取得了显著成果
例如，在2009年ICDAR比赛中，AlexGravesetal.团队采用双向、多维的LSTM模型取得了3项关于连笔字识别的比赛奖项，并且他们在此之前并未掌握即将学习的3种语言的数据。
IDSIA的研究人员DanCiresan及其团队利用这一方法开发出了一种基于GPU的技术，在多个模式识别领域取得了显著成就。其中包括IJCNN 2011年的交通标志识别竞赛以及其他相关比赛。
他们的神经网络也是首个在关键测试中（如IJCNN2012交通标志识别与NYU YannLeCun的MNIST手写数字研究）实现甚至超越了人类水平的人工智能系统。
类似于1980年Kunihiko Fukushima创造的neocognitron及其视觉基准架构（由David H. Hubel与Torsten Wiesel在初级视皮层中发现的一系列简单而复杂的细胞激发而来）那样的具有深度且高度非线性的神经架构可以通过多伦多大学Jeffrey H. Hinton实验室采用无监督学习方法来进行训练
在2012年的时候，神经网络迅速发展起来，并且这一现象的主要原因在于计算技术的进步使得许多复杂的运算变得更加经济。以AlexNet为代表的一批深度网络的成功应用，则标志着深度学习时代的到来。
在2014年的时候提出了残差神经网络的概念，在这一技术的基础上极大地突破了传统神经网络在深度方面的局限性，并从而推动了深度学习这一概念的诞生。
典型的神经网络架构由以下三个组成部分组成：1. 结构（Architecture），2. 激活函数（Activation Function），3. 连接模式（Topological Structure）。
在神经网络中存在多种类型的参数（parameters），其中包括神经元之间的连接关系（connection relations）及其对应的权重（weights）以及每个神经元的激励值（activities of neurons）。
2、激活函数（ActivationRule）在大多数神经网络中遵循一个短期动态规则，在这种情况下决定了神经元如何根据其他神经元的活动来调整自身的激活水平。
通常情况下, 激励函数依赖于网络中的权重(即该网络的参数). 3 学习规则(LearningRule)规定了网络中权重随训练过程进行的变化情况. 通常被视为一种长期时间尺度的动力学规则.
通常情况下, 学习规则与神经元的激励程度相关. 此外, 在某些情况下, 学习规则可能还受到监督者设定的目标输出和当前权重的影响. 比如, 在手写数字识别的例子中，默认情况下每个神经网络都会有一组输入单元. 这些输入单元会根据输入图像的数据来激活或被激活.
经过加权计算并由设计者指定的函数处理后, 它们将各自的激活值传递给其他神经元. 这一过程持续进行中, 直到输出神经元被激活. 最终确定识别结果的是该输出神经元所具有的激活度.
神经网络的发展历史
1943年心理学家W·Mcculloch与数理逻辑学家W·Pitts基于对神经元基本特性的系统分析与总结，在最先提出了神经元的数学模型这一开创性工作的基础上形成了理论基础框架。该理论模型自发布以来被广泛采用并持续影响着该领域的发展进程
因此，在人工神经网络领域中这两位科学家可被视为先驱者. 1945年冯•诺依曼领导的研究团队在存储程序式电子计算机方面取得了突破性进展并开启了电子计算机时代
1948年，在他的研究领域中进行深入分析后发现人脑结构与存储程序式计算机存在本质差异，并构建了一个基于简单神经元的新自生自动机网络模型。
然而随着指令存储式计算机技术急剧发展不得不使他放弃了神经网络研究的新方向转而专注于该领域并取得了重大成就
然而，在计算机领域中，冯·诺依曼的名字通常被与之直接相关联，并且他也是人工神经网络研究的重要先驱者之一。在20世纪50年代末期，F·Rosenblatt成功地设计并制作了第一台"感知机"装置，这一装置采用了多层次的神经网络架构
这项工作首次将人工神经网络的研究从理论探讨转化为实际应用。那时,世界上许多实验室仿造了感知机并进行了应用研究,具体包括文字识别、语音识别、声纳信号识别以及学习记忆问题等领域的探索。
但是这一领域的研究热潮未能持久发展许多研究人员逐渐转向其他领域发展原因是当时在那个时期 数字计算机技术达到了巅峰发展水平许多研究者错误地认为数字计算机能够彻底解决人工智能 模式识别以及专家系统等所有相关问题 这种错误观念导致了对感知机理论和应用受到忽视 其次 当时电子技术的整体水平较为落后 主要的元件仍然是电子管或晶体管 由这些基本元件构建而成的人工神经网络规模宏大而成本高昂 制造一个与真实生物体内的神经元数量级相当的人工神经网络几乎是不可能完成的任务 另外 1968年 《感知机》一书中明确指出线性感知器的能力有限 无法解决异或等基础性难题 这些论断进一步打击了研究人员对人工神经网络前景的信心
在20世纪60年代后期期间，人工神经网络的研究陷入了停滞；与此同时，在20世纪60年代初期阶段,Widrow提出了自适应型线性元件网络（即一种带有连续取值的加权求和并带阈值的模型）。随后，在这种基础之上进一步发展出了一种多层次的非线性结构化的自适应网络系统。
当时，这些工作虽然并未明确标注神经网络这一名称（尽管实际上它们本质上就是一种人工神经网络模型）。随着对感知机这一技术兴趣的逐渐下降（或兴趣程度的持续降低），神经网络的研究陷入了长期停滞的状态。
80年代初期，在超大规模集成电路制造领域经历了重大的技术革新，在实现集成度和性能提升的同时实现了质的飞跃，并且彻底投入实际应用。与此同时伴随数字计算机的发展在某些应用领域仍面临技术瓶颈。这种背景下人工神经网络研究转化为研究方向的时机已经成熟
科学家Hopfield分别于1982年和1984年在美国科学院院刊上出版了他的两篇关于人工神经网络的研究论文，在此之后引发了一系列讨论与关注。人们逐渐认识到这一领域不仅具有强大的理论基础（power），而且其实际应用的可能性（real-world applications）也极为巨大。
随后不久，众多学者与研究者纷纷投入到Hopfield提出的方法这一领域中，在此基础上展开了系列深入研究工作，并标志着80年代中期以来人工神经网络研究领域的蓬勃发展阶段。
卷积神经网络 有哪些改进的地方
卷积神经网络的研究取得了新的突破性进展。从理论上讲，在这一领域内基于学习算法能够有效提取整体语义特征，并且在实际应用中可以通过引入镜面反射效果等先验条件来提升配准效果。这种改进方式不仅能够帮助实现更加可靠的配准效果，在实际应用中还能够显著提高系统的鲁棒性表现。
目前已有一定数量的两视图立体匹配研究尝试使用神经网络来替代传统的手工设计相似性度量或正则化方法。这些基于神经网络的方法已经取得了显著成效，并逐渐超越了立体匹配领域中的一些传统方法。
实际上,CNN非常适合用于解决立体匹配问题,因为图像对已经被校正处理过,从而将立体匹配问题转化为水平方向上逐像素的视差估计
与双目摄像头的深度信息获取方法不同的是多视图数据输入这是一类深度学习方法面临的难题
而且仅少数工作已认识到该问题，并举例如下：SurfaceNet先对彩色体素立方体进行重建，在此基础上融合每个像素的颜色信息与相机参数构建了一个3D代价矩阵；此构建的3D代价矩阵即为网络输入的数据来源
然而受到3D代价体庞大内存消耗的限制,SurfaceNet网络难以扩展:该网络采用了基于启发式规则的"分治而制之"的方法,针对大规模重建场景则需要较长的时间。
有人可以介绍一下什么是"神经网络"吗?
因神经网络是多学科交叉的结果而存在。
各相关学科对神经网络各有不同的认识。
由此可知，在科学界对于神经网络的定义有着多种不同的观点。
目前主要采用T.Koholen的定义，即"神经网络是由多种适应性简单的单元构成的大规模并联连接系统"其组织结构能够模仿生物神经系统对真实世界物体所进行的交互反应。
如果我们将人脑神经信息活动的特点与现有冯·诺依曼型电子计算机的工作方式进行对比分析，则可以看出人类大脑展现出以下显著特征：其一为大规模的并行计算能力。
在冯·诺依曼架构下（Von Neumann architecture），信息处理采用集中式、顺序式的模式。这意味着所有程序指令需依次被中央处理器（CPU）接收并按顺序执行。相比之下，在人脑中完成图像识别或决策任务时，则依赖于多种知识与经验和认知资源协同工作以迅速得出结论
研究表明，在人脑中大约呈1010至1011的数量级分布着神经元群体。这些神经元之间的连接呈现高达103个数量级的特点。这不仅极大地提升了信息存储能力，并且能够迅速实现决策过程。
信息处理器与存储器实现了有机融合。在冯·诺依曼架构中,数据与其地址相互独立,唯有通过确定存储器地址后才能检索对应的数据。一旦出现硬件故障,则该存储器内的所有数据都将无法正常读取。
人类大脑中的神经元既具有信息处理能力又具备存储功能，在进行回忆的过程中不仅不需要先查找存储地址然后再调出所存的内容，并且可以通过一部分内容来恢复全部内容。
当硬件出现故障（如头部受伤）时，并不仅仅是所有的存储信息都会失效；实际上只有那些受到最严重损害的数据才会丢失。这一节主要介绍了系统的自我恢复机制和自我优化能力
冯·诺依曼型计算机不具备主动学习和自适应功能；它只能严格按照预先编写的程序流程运行，并进行相应的数值运算或逻辑运算。
而人脑凭借内在于其自身的自组织与自我学习能力不断适应外部环境，在此过程中可有效应对诸如模拟性问题、模糊性问题以及随机性问题等各类挑战。神经网络研究的发展大致经历了四个主要阶段：例如第一个阶段直至五十年代中期前就已经开始形成基础理论框架
西班牙解剖学家Cajal在19世纪末提出了神经元学说这一重要理论框架，在该理论中指出神经元呈现出双极形态结构，在这种结构下其细胞体和突起从其他神经元接收冲动信号传输信息，并通过轴突将电信号沿着远离细胞体的方向传导至其他部位
在随后的时间里持续揭示了神经元的主要特征和其电学性质
1943年时，在美国的心理学家W.S.McCulloch与数学家W.A.Pitts的合作下，在其论文《神经活动中所蕴含思想的逻辑活动》中提出了一种极为简单的神经元模型。
该模型把神经元视为一种功能模块来进行处理，并进而推动了神经网络模型的理论研究
在1949年时, 心理学家D.O.Hebb著有一本名为《行为的组织》的作品, 在这部著作中他阐述了神经元之间连接强度变化的原则, 并将其命名为Hebb学习法则
According to Hebb, when the axon of cell A is sufficiently close to cell B and induces its excitation, if A repetitively or continually stimulates B, then either both cells or one of them (likely A) will undergo changes in growth or metabolic processes. Such changes enhance the efficiency with which A activates B.
换句话说，在两个神经元均处在一个高度兴奋的状态时
五十年代初期,生物学家Hodgkin与物理学家Huxley在从事神经细胞膜等效电路的研究时,他们将神经细胞膜上的离子迁移变化分别对应为可变的钠离子通道电阻与钾离子通道电阻,从而建立了一个具有里程碑意义的Hodgkin-Huxley模型.
这些先驱者的努力引导了众多学者投身于该领域之研究，并为其神经计算的发展奠定了基础。2.第二阶段经历了从二十世纪中叶中期一直到二十世纪末期的时间跨度。
这些先驱者的努力引导了众多学者投身于该领域之研究，并为其神经计算的发展奠定了基础。2.第二阶段经历了从二十世纪中叶中期一直到二十世纪末期的时间跨度。
在1958年时,F.Rosenblatt及其团队成功开发了第一台具备学习能力的人工神经网络特性,并制造出了用于模式识别的第一台感知机.这台机器被标记为MarkI,并标志着人工神经网络研究迈入了新的发展阶段.
对于没有中间层的最简单的感知机模型而言，Rosenblatt成功证明了一种基于迭代更新的学习算法具有收敛特性。这种学习方法通过逐步更新连接权重实现预期计算的结果。
稍后于Rosenblatt及B.Widrow等学者开发了一种不同类型的会学习的神经网络处理单元，并提出了Adaline的有效学习法则。
Widrow不仅创建了第一家专门从事神经网络研究的硬件公司，并且在20世纪60年代初期完成了对这些神经网络的实际应用。
除了Rosenblatt和Widrow之外，在此阶段还有许多人在神经计算的结构与实现思想上做出了重要贡献。例如，K.Steinbuch研究了一种称为学习矩阵的二进制联想网络结构，并探讨了其实现技术。
N.Nilsson在1965年出版了《机器学习》这本书作为该时期的重要综述。第三阶段持续至二十世纪六十年代末至二十世纪八十年代初期。
第三阶段开始的标志是1969年M.Minsky和S.Papert所著的《感知机》一书的出版。
本书就单层神经网络展开了深入探讨，并从数学理论的角度论证了其局限性：它无法解决如"异或"等基本逻辑问题；进一步发现存在大量无法仅靠单层神经网络实现识别的任务；对于多层次神经网络的应用前景仍存疑
因M.Minsky在人工智能领域的卓越地位，在其著作中提出的悲观观点对当时基于感知机方向的神经网络研究带来了严重的打击。
在《感知机》一书中发表后, 美国联邦基金长达15年未投入对神经网络的支持, 前苏联也同样叫停了具有前景的研究项目.
但是，在这个研究热潮相对低迷的时期里，仍有一些研究者继续从事神经网络的研究工作。例如，在美国波士顿大学工作的S.Grossberg，在芬兰赫尔辛基技术大学工作的T.Kohonen以及在日本东京大学工作的甘利俊一等人。
他们持续不断的努力为推动神经网络研究的复兴奠定了基础。4.第四阶段自1981年至今。
1982年, 美国加州理工学院的生物物理学家J.J.Hopfield开发了一种基于全互连型神经网络模型的能量函数, 并成功地解决了计算复杂度为NP完全型的旅行商问题（TravellingSalesmanProblem,简称TSP）。
一项重大突破表明神经网络研究已进入第四个发展阶段，并标志着其蓬勃发展的新阶段
1983年,T Sejnowski与G Hinton提出"隐单元"这一概念,并开发出了Boltzmann机
日本科学家福岛邦房基于Rosenblatt提出的感知机模型，在此基础上引入了额外的隐层单元，并成功构建了能够实现联想学习的认知机模型。Kohonen通过采用3000个阈值器件来构建神经网络系统，并成功实现了二维网络环境下的联想学习功能
1986年,D.Rumelhart与J.McClelland发表了开创性地阐述了并行分布处理-认知微结构探索的重要著作,这本著作的发布标志着神经网络研究进入了一个新纪元
于1987年首次在美国圣地亚哥举行的神经网络大会上，国际神经网络联合会(INNS)得以成立
接着INNS出版了期刊《JournalNeuralNetworks》；在神经网络领域，《NeuralComputation》等期刊相继创刊。
世界上的众多顶尖大学纷纷宣布设立神经计算研究所，并制定了相应的教育规划。各国纷纷设立神经网络学会，并且举办了多种地区的和国际性的会议。不断涌现着优秀论著以及重大的研究成果。
今天，在历经多年筹备和深入探索后
此计划持续时间为15至20年期间，并且仅在初期阶段的投资金额就达到了1万亿日元。
在此计划中, 神经网络与脑功能的研究占据了至关重要的地位。
因为'人类前沿科学'本质上指的是研究人类大脑及其借 mimetic技术开发新型计算机的领域。
在美国内政部对神经网络研究给予坚定支持。美国国防部斥资4亿美元拨付专项经费, 由国防部高级研究计划局（DARPA）规划实施并成立了相关组织与指导小组, 制定了为期8年的研发议程
同时
美国国家科学基金会（NSF）、国家航空航天局（NASA）以及其他政府机构普遍给予神经网络发展以高度关注，并采取多种方式进行支持；欧洲经济共同体则制定了相应的研发规划
在其SPRIT计划中有个项目叫"神经网络技术在欧洲工业中的应用"。除了英国和德国的原子能机构之外，在该项目的研究中还吸引了多个欧洲大型企业参与其中，例如英国航天公司、德国西门子等企业也参与了该项目的研究。
此外，西欧一些国家各自独立开展了一些研究项目。例如德国自1988年起就启动了名为"神经信息论"的研究计划。我国则自1986年开始先后组织举办了多次非正式性质的神经网络研讨会。
一九九一年十二月，在北京召开了一次关于神经网络领域的学术研讨会。由多个相关领域学术团体共同组织的这一会议首次在 conjunction下探讨了这一前沿科技 topic，并为我国神经网络研究的发展奠定了重要基础
神经网络中的激活函数是用来干什么的？
什么是人工神经网络及其算法实现方式
人工神经网络体系（Artificial Neural Network,简称为ANN）代表了人工智能领域的快速发展。
它以信息处理的角度对人脑神经元网络进行抽象化处理，并构建一种简化的数学模型来描述其不同拓扑结构的变化规律。在工程技术和学术研究领域中通常直接将其命名为神经网络或类神经网络。
神经网络是一种基于运算机制构建的模型，在包含大量节点的情况下通过相互连接形成复杂的运算网络结构。每个节点负责产生特定输出，并被称为激活函数（activation function）。
每两个节点之间的连线都代表一种赋予该连线传递信号时赋予其特定权重的方式被称为权重值这相当于该人工神经网络系统所具有的记忆能力网络输出则会受到其复杂的拓扑结构、赋予权重的方式以及激活函数的不同影响
而网络本身也可以被视为对自然界中某种算法或数学模型的近似表示，同时也可能体现一种理论基础。
近年来，在人工神经网络的研究领域中持续不断地推进与探索，在这一过程中已经取得了显著的成就，并获得了重要进展。该技术已在模式识别系统中得到了广泛应用，在智能机器人控制方面也取得了突破性进展；同时在自动控制技术以及预测估计理论方面也形成了较为完善的体系。这些应用不仅涵盖了生物科学领域，在医学研究方面也发挥了重要作用，并且在经济学理论构建中同样具有不可替代的价值。这些应用充分展现了该技术在多个交叉学科领域的卓越性能与广泛影响