The method of maximum likelihood estimates θ by finding the value of θ that maximizes [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]. This is the maximum likelihood estimator (MLE) of θ:
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
and since maxima are unaffected by monotone transformations, one can
take the logarithm of this expression to turn it into a sum:
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
For the normal distribution [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] which has probability density function
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
the corresponding probability density function for a sample of n independent
identically distributed normal random variables (the likelihood) is
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
or more conveniently:
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة],
where [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] is the sample mean.
This family of distributions has two parameters: θ=(μ,σ), so we maximize the
likelihood, [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة], over both parameters
simultaneously, or if possible, individually.
Since the logarithm is a continuous strictly increasing function over the range
of the likelihood, the values which maximize the likelihood will also
maximize its logarithm. Since maximizing the logarithm often requires
simpler algebra, it is the logarithm which is maximized below. (Note:
the log-likelihood is closely related to information entropy and Fisher information.)
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
which is solved by
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة].
This is indeed the maximum of the function since it is the only
turning point in μ and the second derivative is strictly less than
zero. Its expectation value is equal to the parameter μ of the given distribution,
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
which means that the maximum-likelihood estimator [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] is unbiased.
Similarly we differentiate the log likelihood with respect to σ and equate to zero:
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
which is solved by
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة].
Inserting [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] we obtain
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة].
To calculate its expected value, it is convenient to rewrite the expression in terms of zero-mean random variables (statistical error) [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]. Expressing the estimate in these variables yields
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة].
Simplifying the expression above, utilizing the facts that [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] and [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة], allows us to obtain
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة].
This means that the estimator [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] is biased (However, [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] is consistent).
Formally we say that the maximum likelihood estimator for θ = (μ,σ2) is:
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
In this case the MLEs could be obtained individually. In general
this may not be the case, and the MLEs would have to be obtained
simultaneously.
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
and since maxima are unaffected by monotone transformations, one can
take the logarithm of this expression to turn it into a sum:
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
For the normal distribution [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] which has probability density function
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
the corresponding probability density function for a sample of n independent
identically distributed normal random variables (the likelihood) is
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
or more conveniently:
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة],
where [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] is the sample mean.
This family of distributions has two parameters: θ=(μ,σ), so we maximize the
likelihood, [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة], over both parameters
simultaneously, or if possible, individually.
Since the logarithm is a continuous strictly increasing function over the range
of the likelihood, the values which maximize the likelihood will also
maximize its logarithm. Since maximizing the logarithm often requires
simpler algebra, it is the logarithm which is maximized below. (Note:
the log-likelihood is closely related to information entropy and Fisher information.)
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
which is solved by
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة].
This is indeed the maximum of the function since it is the only
turning point in μ and the second derivative is strictly less than
zero. Its expectation value is equal to the parameter μ of the given distribution,
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
which means that the maximum-likelihood estimator [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] is unbiased.
Similarly we differentiate the log likelihood with respect to σ and equate to zero:
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
which is solved by
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة].
Inserting [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] we obtain
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة].
To calculate its expected value, it is convenient to rewrite the expression in terms of zero-mean random variables (statistical error) [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]. Expressing the estimate in these variables yields
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة].
Simplifying the expression above, utilizing the facts that [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] and [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة], allows us to obtain
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة].
This means that the estimator [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] is biased (However, [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] is consistent).
Formally we say that the maximum likelihood estimator for θ = (μ,σ2) is:
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
In this case the MLEs could be obtained individually. In general
this may not be the case, and the MLEs would have to be obtained
simultaneously.
عدل سابقا من قبل kamar_ellel في الجمعة مارس 13, 2009 5:10 pm عدل 1 مرات
