matlab BP神经网络
BP网络的训练函数
训练方法 训练函数
梯度下降法 traingd
有动量的梯度下降法 traingdm
自适应lr梯度下降法 traingda
自适应lr动量梯度下降法 traingdx
弹性梯度下降法 trainrp
Fletcher-Reeves共轭梯度法 traincgf
Ploak-Ribiere共轭梯度法 traincgp
Powell-Beale共轭梯度法 traincgb
量化共轭梯度法 trainscg
拟牛顿算法 trainbfg
一步正割算法 trainoss
Levenberg-Marquardt trainlm
BP网络训练参数
在Matlab中，如果要创建一个具有两个隐含层、且神经元数分别为5、3的前向BP网络，使用旧的语法可以这样写：
net2 = newff(P, T, [5 3]);
不过，为了得到与书本示例接近的结果，接下来需要清除net2.divideFcn等属性再训练，否则结果相去甚远，且远不止一个数量级。
net2.divideFcn = '';
net2.inputs{1}.processFcns = {}; % 1是输入层所在网络层编号
net2.outputs{3}.processFcns = {}; % 3 是输出层所在网络层编号
clear all
P = [-1 -1 2 2; 0 5 0 5];
T = [-1 -1 2 2];
%% 新式语法
net2 = newff(P,T,5,{'tansig', 'purelin'}, 'traingd'); % 隐含层有5个神经元
net2.trainParam.goal = 1e-5;
net2.trainParam.epochs = 300;
net2.trainParam.lr = 0.05;
net2.trainParam.showWindow = 1;
net2 = train(net2,P,T);
Y2 = sim(net2,P);
disp(['新式语法 mse: ' num2str(mse(T-Y2))]);
训练窗口：
程序输出：
新式语法 mse: 10.7499
newff.m分成三大块：主程序、新版实现子函数 new_5p1()、旧版实现子函数 new_5p0()。通过仔细比较新旧这两个子函数，发现新版设置了 net.divideFcn 属性，其值为’dividerand’。该函数把样本数据三分为训练集、验证集和测试集，默认比例是6:2:2。于是在我的程序中清除该属性再训练：
% 例10-3，新写法，改进
clear all
P = [-1 -1 2 2; 0 5 0 5];
T = [-1 -1 2 2];
%% 新式语法
net2 = newff(P,T,5,{'tansig', 'purelin'}, 'traingd'); % 隐含层有5个神经元
net2.trainParam.goal = 1e-5;
net2.trainParam.epochs = 300;
net2.trainParam.lr = 0.05;
net2.trainParam.showWindow = 1;
net2.divideFcn = ''; % 为和书本一致，对于样本极少的情况，不要再三分了
net2 = train(net2,P,T);
Y2 = sim(net2,P);
disp(['新式语法，改进 mse: ' num2str(mse(T-Y2))]);
训练窗口：
程序输出：
新式语法，改进 mse: 9.8129e-006
实例
newff函数的使用
Syntax
net = newff(P,T,[S1 S2...S(N-l)],{TF1 TF2...TFNl}, BTF,BLF,PF,IPF,OPF,DDF)
Description
newff(P,T,[S1 S2...S(N-l)],{TF1 TF2...TFNl}, BTF,BLF,PF,IPF,OPF,DDF) takes several arguments
比如输入input（6 1000），输出output为（4 1000），那么
旧版定义：net=newff(minmax(input),[49,14,4],{'tansig','tansig','tansig'},'traingdx');
新版定义：net=newff(input,output, [49,14], {'tansig','tansig','tansig'},'traingdx');
比如输入input（6*1000），输出output为（4*1000），那么
旧版定义：net=newff(minmax(input),[14,4],{'tansig','purelin'},'trainlm');
新版定义：net=newff(input,output,14,{'tansig','purelin'},'trainlm');
newff(P,T,[S1 S2...S(N-l)],{TF1 TF2...TFNl}, BTF,BLF,PF,IPF,OPF,DDF) takes several arguments
举个例子，下面命令将创建一个二层网络。它的输入是两个元素的向量，第一层有三个神经元(3)，第二层有一个神经元(1)。第一层的传递函数是tan-sigmoid，输出层的传递函数是linear。
输入向量的第一个元素的范围是-1到2[-1 2]，输入向量的第二个元素的范围是0到5[0 5]，训练函数是traingd。
net=newff([-1 2; 0 5],[3,1],{'tansig','purelin'},'traingd');
view(net)
程序流程图
输入数据图
图1 输入数据图
网络模型设置如下
图2 网络模型搭建
网络模型参数如下
图2 网络模型设置
得到的预测结果如下
图4:前馈预测结果
本次实验程序如下：
clear;
clc;
X=-1:0.1:1;
D=[-0.9602 -0.5770 -0.0729 0.3771 0.6405 0.6600 0.4609...
0.1336 -0.2013 -0.4344 -0.5000 -0.3930 -0.1647 -.0988...
0.3072 0.3960 0.3449 0.1816 -0.312 -0.2189 -0.3201];
figure;
plot(X,D,'*'); %绘制原始数据分布图
net = newff(X,D,[5 3 1]);
%net = newff([-1 1],[5 1],{'tansig','tansig'});%tansig(n)=2/(1+exp(-2*n))-1各层传递函数
net.trainParam.epochs = 1000; %训练的最大次数
net.trainParam.goal = 0.005; %全局最小误差
net.trainParam.lr=0.1;%学习率
% 网络训练
net = train(net,X,D);
view(net)
O = sim(net,X); %预测输出
figure;
plot(X,D,'*',X,O); %绘制训练后得到的结果和误差曲线
V = net.iw{1,1};%输入层到中间层权值
theta1 = net.b{1};%中间层各神经元阈值
W = net.lw{2,1};%中间层到输出层权值
theta2 = net.b{2};%输出层各神经元阈值