00001
00002
00003
00004
00005
00006
00007
00008
00009
00010
00011
00012
00013
00014
00015
00016
00017
00018
00019
00020
00021
00022
00023
00024
00025
00026
00027
00028
00029
00030
00031
00032
00033
00034
00035
00036
00037
00038
00039
00040
00041
00042
00043
#include "ExpVariable.h"
00044
#include "RowAtPositionVariable.h"
00045
#include "SoftmaxLossVariable.h"
00046
#include "Var_operators.h"
00047
00048
namespace PLearn {
00049
using namespace std;
00050
00051
00054
PLEARN_IMPLEMENT_OBJECT(SoftmaxLossVariable,
00055
"ONE LINE DESCR",
00056
"NO HELP");
00057
00058 SoftmaxLossVariable::SoftmaxLossVariable(
Variable* input1,
Variable* input2)
00059 :
inherited(input1, input2, 1, 1)
00060 {
00061
build_();
00062 }
00063
00064
void
00065 SoftmaxLossVariable::build()
00066 {
00067 inherited::build();
00068
build_();
00069 }
00070
00071
void
00072 SoftmaxLossVariable::build_()
00073 {
00074
if(input2 && !input2->isScalar())
00075
PLERROR(
"In RowAtPositionVariable: position must be a scalar");
00076 }
00077
00078 void SoftmaxLossVariable::recomputeSize(
int& l,
int& w)
const
00079
{ l=1; w=1; }
00080
00081 void SoftmaxLossVariable::fprop()
00082 {
00083
int classnum = (
int)input2->valuedata[0];
00084
real input_index = input1->valuedata[classnum];
00085
real sum=0;
00086
for(
int i=0; i<input1->nelems(); i++)
00087
sum +=
safeexp(input1->valuedata[i]-input_index);
00088 valuedata[0] = 1.0/
sum;
00089 }
00090
00091
00092 void SoftmaxLossVariable::bprop()
00093 {
00094
int classnum = (
int)input2->valuedata[0];
00095
real input_index = input1->valuedata[classnum];
00096
real vali = valuedata[0];
00097
for(
int i=0; i<input1->nelems(); i++)
00098 {
00099
if (i!=classnum)
00100
00101 input1->gradientdata[i] = -gradientdata[i]*vali*vali*
safeexp(input1->valuedata[i]-input_index);
00102
else
00103 input1->gradientdata[i] = gradientdata[i]*vali*(1.-vali);
00104 }
00105 }
00106
00107
00108 void SoftmaxLossVariable::bbprop()
00109 {
00110
PLERROR(
"SofmaxVariable::bbprop() not implemented");
00111 }
00112
00113
00114 void SoftmaxLossVariable::symbolicBprop()
00115 {
00116
Var gi = -g *
Var(
this) * Var(
this) *
exp(input1-input1(input2));
00117 Var gindex =
new RowAtPositionVariable(g * Var(
this), input2, input1->
length());
00118 input1->accg(gi+gindex);
00119 }
00120
00121
00122
00123 void SoftmaxLossVariable::rfprop()
00124 {
00125
if (rValue.
length()==0)
resizeRValue();
00126
00127
int classnum = (
int)input2->valuedata[0];
00128
real input_index = input1->valuedata[classnum];
00129
real vali = valuedata[0];
00130
real sum = 0;
00131
for(
int i=0; i<input1->nelems(); i++)
00132 {
00133
real res =vali * input1->rvaluedata[i];
00134
if (i != classnum)
00135
sum -= res * vali*
safeexp(input1->valuedata[i]-input_index);
00136
else sum += res * (1 - vali);
00137 }
00138 rvaluedata[0] =
sum;
00139 }
00140
00141
00142
00143 }
00144
00145