首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >梯度下降的θ值是什么意思?

问梯度下降的θ值是什么意思?
EN

Stack Overflow用户
提问于 2015-02-25 07:30:24
回答 1查看 1.3K关注 0票数 1

我有所有的组件,只是不太确定这是我的输出:

代码语言:javascript
复制
Theta-->: 0.09604203456288299, 1.1864676227195392

我该怎么解释呢?什么意思?

实际上,我只是从this description中修改了这个示例。但我不确定它是否真的适用于我的问题。我试图对一组文档执行二进制分类。这些文档被呈现为表格的文字风格特征向量:

示例:

代码语言:javascript
复制
Document 1 = ["I", "am", "awesome"]
Document 2 = ["I", "am", "great", "great"]

字典是:

代码语言:javascript
复制
["I", "am", "awesome", "great"]

因此,作为向量的文档如下所示:

代码语言:javascript
复制
Document 1 = [1, 1, 1, 0]
Document 2 = [1, 1, 0, 2]

这是我的梯度下降代码:

代码语言:javascript
复制
public static double [] gradientDescent(final double [] theta_in, final double alpha, final int num_iters, double[][] data ) 
{
    final double m = data.length;   
    double [] theta = theta_in;
    double theta0 = 0;
    double theta1 = 0;
    for (int i = 0; i < num_iters; i++) 
    {                        
        final double sum0 = gradientDescentSumScalar0(theta, alpha, data );
        final double sum1 = gradientDescentSumScalar1(theta, alpha, data);                                   
        theta0 = theta[0] - ( (alpha / m) * sum0 ); 
        theta1 = theta[1] - ( (alpha / m) * sum1 );                        
        theta = new double [] { theta0, theta1 };
    }
    return theta;
}


//data is the feature vector
//this theta is weight
protected static double [] matrixMultipleHthetaByX( final double [] theta, double[][] data ) 
{
    final double [] vector = new double[ data.length ];
    int i = 0;                 
    for (final double [] d : data) 
    {
        vector[i] = (1.0 * theta[0]) + (d[0] * theta[1]);            
        i++;
    } // End of the for // 
    return vector;
}


protected static double gradientDescentSumScalar0(final double [] theta, final double alpha, double[][] data ) 
{        
    double sum = 0;
    int i = 0;
    final double [] hthetaByXArr = matrixMultipleHthetaByX(theta, data ); 
    for (final double [] d : data) 
    {
        final double X = 1.0;
        final double y = d[1];
        final double hthetaByX = hthetaByXArr[i];    
        sum = sum + ( (hthetaByX - y) * X );
        i++;
    } // End of the for //
    return sum;
}
protected static double gradientDescentSumScalar1(final double [] theta, final double alpha, double[][] data ) 
{        
    double sum = 0;
    int i = 0;
    final double [] hthetaByXArr = matrixMultipleHthetaByX(theta, data );
    for (final double [] d : data) 
    {
        final double X = d[0];
        final double y = d[1];            
        final double hthetaByX = hthetaByXArr[i];         
        sum = sum + ( (hthetaByX - y) * X );
        i++;
    } // End of the for //
    return sum;
}

public static double [] batchGradientDescent( double [] weights, double[][] data ) 
{
    /*
     * From tex:
     * \theta_j := \theta_j - \alpha\frac{1}{m} \sum_{i=1}^m ( h_\theta (x^{(i)})
     */
    final double [] theta_in = weights;
    double [] theta = gradientDescent(theta_in, alpha, iterations, data );
    lastTheta = theta;
    System.out.println("Theta-->: " + theta[0] + ", " + theta[1]);
    return theta;
}

我这样叫它:

代码语言:javascript
复制
   final int globoDictSize = globoDict.size(); // number of features

   double[] weights = new double[globoDictSize + 1];
   for (int i = 0; i < weights.length; i++) 
   {
       //weights[i] = Math.floor(Math.random() * 10000) / 10000;
       //weights[i] = randomNumber(0,1);
       weights[i] = 0.0;
   }


   int inputSize = trainingPerceptronInput.size();
   double[] outputs = new double[inputSize];
   final double[][] a = Prcptrn_InitOutpt.initializeOutput(trainingPerceptronInput, globoDictSize, outputs, LABEL);



       for (int p = 0; p < inputSize; p++) 
       {

           Gradient_Descent.batchGradientDescent( weights, a );
       }

如何验证此代码是否正在执行我想要的操作?它不应该输出一个预测的标签什么的吗?我听说我也可以应用一个错误函数,比如hinge loss,它是在调用批处理梯度下降作为独立组件之后出现的,不是吗?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2015-02-25 21:32:42

您的代码很复杂(我曾经用八倍频程实现批处理梯度下降,而不是OO编程语言)。但就我在您的代码中所看到的(使用此符号是常见的)而言,Theta是一个参数向量。梯度下降算法收敛后,返回最优Theta向量。之后,您可以使用公式计算新示例的输出:

theta_transposed * X,

其中theta_trasponsed是θ的转置向量,X是输入特征的向量。

另外,您提到的示例是一个回归任务(它是关于线性回归的)。当您描述的任务是一个分类问题时,您需要为输入集指定一个标签,而不是预测某个值(一些数字权重、长度、smth )。它可以用许多不同的算法来完成,但不需要使用线性回归,这是在您发布的文章中描述的。

我还需要提到的是,这是绝对不清楚的分类,你试图执行。在你的阅历中,你有一袋文字描述(字数矩阵)。但是分类标签在哪里呢?是多输出分类吗?还是多等级的?还是二进制?

我真的建议你上一门关于毫升的课程。也许在古瑟拉。这是一个很好的:https://www.coursera.org/course/ml,它也涵盖梯度下降的全部实现。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/28713492

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档