# AI开发者大会笔记：人工智能的第三次浪潮
发布时间
阅读量：
阅读量
人工智能的第三次浪潮
从感知到认知
人工智能发展
算法发展
预训练模型BERT
近几年，在自然语言处理中广泛运用
视频到视频合成
自监督学习
通过大量的数据，就可以识别出来物体，比如猫!!!，不需要标记样本。
面向图数据的自监督学习
下个十年：认知、推理
两个问题：
- 一个规模宏大的知识体系
- 对知识的理解能力：基于认知科学的机器学习领域中，采用透明化的机器学习方法（采用基于推理算法的设计）
认知图谱
人脑双系统
认知图谱的推理模型
下一个三十年：意识
Manuel Blum
意识：全局工作空间理论 GWT
1980年,认知神经科学家 Bernard Baars 提出了全球空间模型的概念
有意识学习
所谓有意识学习是一种目标导向的机器学习方法，在给定的数据集上训练相应的分类器利用生成的分类器进行判别分析后所得出的结果表现为一个简化的短期记忆机制然而这种简化的短期记忆机制存在明显的局限性：主要体现在数据量有限以及缺乏相关的背景知识支持。
该系统具备快速匹配能力：例如通过眼睛识别屋内物体、苹果、桌子和板凳等细节信息后，能够迅速完成分类。
无意识学习
无意识学习对应着长期记忆模型，长期记忆模型有点类似半监督或者无监督学习模型，或者当下比较流行的预训练和自监督学习；无意识处理对应多种长期记忆，所以无意识可以考虑多个不同的处理器，这些处理器之间有连接，也可以没有，很多时候是并行处理，但是针对特定任务，比如有意识思考某个问题时候，形成特定连接，包括无意识处理器（无监督模型）和有意识处理器（有监督模型）之间的连接，这里可以考虑成fine-true。当然连接权重可以通过外界反馈强化学习来实现。无意识处理器之间的连接以及和有意识处理器之间的连接可以类比为注意力机制。
最后值得强调的是，在构建与实现长期记忆方面需要注意一些关键点。人脑实际上是以模型图的形式存储信息而非概念图。每一个长期记忆都有可能构成一个层次结构，并能够生成具体的样本实例。具体的学习方法包括有监督学习、无监督学习以及强化学习等多种策略，在构建过程中可能会采用层次聚类的方式进行组织，并最终通过有监督/无监督/强化/注意力机制/fine-tune等技术手段来完成GWT（Generic Weight Transfer）模型的具体设计与应用
全部评论 (0)
还没有任何评论哟~