00001
00002
00003
00004
00005
00006
00007
00008
00009
00010
00011
00012
00013
00014
00015
00016
00017
00018
00019
00020
00021
00022
00023
00024
00025
00026
00027
00028
00029
00030
00031
00032
00033
00034
00035
00036
00037
00038
00039
00040
00041
00042
00043
#include "MatrixSoftmaxLossVariable.h"
00044
00045
namespace PLearn {
00046
using namespace std;
00047
00048
00050
PLEARN_IMPLEMENT_OBJECT(MatrixSoftmaxLossVariable,
00051
"ONE LINE DESCR",
00052
"NO HELP");
00053
00054 MatrixSoftmaxLossVariable::MatrixSoftmaxLossVariable(
Variable* input1,
Variable* input2)
00055 :
inherited(input1, input2, input2->length(), input2->width())
00056 {
00057
build_();
00058 }
00059
00060
void
00061 MatrixSoftmaxLossVariable::build()
00062 {
00063 inherited::build();
00064
build_();
00065 }
00066
00067
void
00068 MatrixSoftmaxLossVariable::build_()
00069 {
00070
if (input2 && !input2->isVec())
00071
PLERROR(
"In MatrixSoftmaxLossVariable: position must be a vector");
00072 }
00073
00074
00075 void MatrixSoftmaxLossVariable::recomputeSize(
int& l,
int& w)
const
00076
{
00077
if (input2) {
00078 l = input2->
length();
00079 w = input2->
width();
00080 }
else
00081 l = w = 0;
00082 }
00083
00084
00085 void MatrixSoftmaxLossVariable::fprop()
00086 {
00087
for (
int i=0; i<input2->
length(); i++)
00088 {
00089
int classnum = (
int)input2->valuedata[i];
00090
real input_index = input1->matValue[classnum][i];
00091
real sum=0;
00092
for(
int j=0; j<input1->
length(); j++)
00093
sum +=
safeexp(input1->matValue[j][i]-input_index);
00094 valuedata[i] = 1.0/
sum;
00095 }
00096 }
00097
00098
00099 void MatrixSoftmaxLossVariable::bprop()
00100 {
00101
for (
int i=0; i<input2->
length(); i++)
00102 {
00103
int classnum = (
int)input2->valuedata[i];
00104
real input_index = input1->matValue[classnum][i];
00105
real vali = valuedata[i];
00106
for(
int j=0; j<input1->
length(); j++)
00107 {
00108
if (j!=classnum){
00109 input1->matGradient[j][i] = -gradientdata[i]*vali*vali*
safeexp(input1->matValue[j][i]-input_index);}
00110
else
00111 input1->matGradient[j][i] = gradientdata[i]*vali*(1.-vali);
00112 }
00113 }
00114 }
00115
00116
00117 void MatrixSoftmaxLossVariable::bbprop()
00118 {
00119
PLERROR(
"MatrixSoftmaxLossVariable::bbprop() not implemented");
00120 }
00121
00122
00123 void MatrixSoftmaxLossVariable::symbolicBprop()
00124 {
00125
PLERROR(
"MatrixSoftmaxLossVariable::symbolicBprop() not implemented");
00126 }
00127
00128
00129 void MatrixSoftmaxLossVariable::rfprop()
00130 {
00131
PLERROR(
"MatrixSoftmaxLossVariable::rfprop() not implemented");
00132 }
00133
00134
00135
00136 }
00137
00138