SGD随机梯度下降算法，和最常用的GD相比，GD每一次迭代都是所有样本都一起进行计算，而SGD是每一次迭代中每个样本分别进行计算，梯度算法的最终目标是减少cost值，训练出最优的参数值，GD每一次迭代都让所有样本去优化参数，一次迭代进行一次优化，而SGD一次只让一个样本去优化参数。
贴一下代码：
#SGD（w初始化使用 2/sqrt（l-1））
def SGD_model(X,Y,layer_dims,iter_times,alphs):
costs = []
m = X.shape[1]
n = X.shape[0]
np.random.seed(3)
parameters = initialize_parameters(layer_dims)
for i in range(0,iter_times):
for j in range(0,m):
A,caches=forward_propagation(X[:,j].reshape(n,1),parameters)
cost=cpmpute_cost(A,Y[:,j].reshape(1,1))
grads=back_propagation(Y[:,j].reshape(1,1),caches,parameters)
parameters=update_parameters(parameters,grads,alphs)
costs.append(cost)
if i%100 == 0:
print(cost)
return costs,parameters
测试一下：
n=train_data_finalX.shape[0]
layer_dims=[n,20,7,5,1]
costs,parameters=SGD_model(train_data_finalX,train_data_finalY,layer_dims,500,0.0003)
y_pred_train=predict(train_data_finalX,parameters)
print('train acc is ',np.mean(y_pred_train == train_data_finalY)*100,'%')
y_pred_test=predict(test_data_finalX,parameters)
print('test acc is ',np.mean(y_pred_test == test_data_finalY)*100,'%')#可以看到cost减低的是很快的，这里打印出来的cost并不是每一次的cost值，只是挑着打印了几个
#这个cost也不是所有样本cost值加起来得到的，其实还是单个样本的cost值
#过拟合现象还是很严重的
0.6967667264512503
0.3580429544797275
0.1366511629971142
0.013014664339787691
0.005059855441099931
train acc is 100.0 %
test acc is 84.0 %
特别要注意的是，可能会遇到cost值不降低，或者降低到一定值以后就不变了，这种情况预测值得到的可能都是0，可以试试这几个解决办法：
- w参数初始化，不要选择在random以后乘以0.01，如果激活函数使用的是tanh函数，使用（1/sqrt（上一层单元数）），如果使用的是relu则试试（2/sqrt（上一层单元数）），参数初始化对结果有很大的影响力度。
- 学习因子设置的小一点
- 如果出现严重的过拟合现象，可以试试增加隐藏层，或者隐藏层单元数
