Definition
Suppose we are trying to estimate the parameter [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] using an estimator [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] (that is, some function of the observed data). Then the bias of [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] is defined to be
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
In words, this would be "the expected value of the estimator [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] minus the true value [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]." This may be rewritten as
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
which would read "the expected value of the difference between the estimator and the true value" (the expected value of [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] is precisely [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] ). An estimator is said to be unbiased if the bias is zero.
Examples
Estimating variance
Suppose X1, ..., Xn are independent and identically distributed (i.i.d) normal random variables with expectation μ and variance σ2. Let
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
be the "sample average", and let
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
be a "sample variance".
Then S2 is a "biased estimator" of σ2 because
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
In other words, the expected value of the sample variance does not equal the population variance, unless multiplied by the normalization factor.
Estimating a Poisson probability
A far more extreme case of a biased estimator being better than any unbiased estimator is well-known: Suppose X has a Poisson distribution with expectation λ. It is desired to estimate
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
(For example, when incoming calls at a telephone switchboard are
modeled as a Poisson process, and λ is the average number of calls per
minute, then e−2λ is the probability that no calls arrive in the next two minutes.)
Since the expectation of an unbiased estimator δ(X) is equal to the estimand, i.e.
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة],
the only function of the data constituting an unbiased estimator is
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة].
To see this, note that when decomposing e − λ from the above expression for expectation, the sum that is left is a Taylor Series expansion of e − λ as well, yielding e − λe − λ = e − 2λ (see Characterizations of the exponential function).
The (biased) maximum likelihood estimator
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
is far better than this unbiased estimator. Not only is its value
always positive, but it is also more accurate in the sense that its mean squared error (MSE)
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
is smaller; compare the unbiased estimator's MSE of
1 − e − 4λ.
The MSEs are functions of the true value λ. The bias of the maximum-likelihood estimator is:
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
Maximum of a discrete uniform distribution
The bias of maximum-likelihood estimators can be substantial. Consider a case where n tickets numbered from 1 through to n are placed in a box and one is selected at random, giving a value X. If n is unknown, then the maximum-likelihood estimator of n is X, even though the expectation of X is only (n + 1)/2; we can only be certain that n is at least X and is probably more. In this case, the natural unbiased estimator is 2X − 1.
Suppose we are trying to estimate the parameter [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] using an estimator [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] (that is, some function of the observed data). Then the bias of [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] is defined to be
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
In words, this would be "the expected value of the estimator [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] minus the true value [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]." This may be rewritten as
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
which would read "the expected value of the difference between the estimator and the true value" (the expected value of [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] is precisely [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] ). An estimator is said to be unbiased if the bias is zero.
Examples
Estimating variance
Suppose X1, ..., Xn are independent and identically distributed (i.i.d) normal random variables with expectation μ and variance σ2. Let
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
be the "sample average", and let
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
be a "sample variance".
Then S2 is a "biased estimator" of σ2 because
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
In other words, the expected value of the sample variance does not equal the population variance, unless multiplied by the normalization factor.
Estimating a Poisson probability
A far more extreme case of a biased estimator being better than any unbiased estimator is well-known: Suppose X has a Poisson distribution with expectation λ. It is desired to estimate
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
(For example, when incoming calls at a telephone switchboard are
modeled as a Poisson process, and λ is the average number of calls per
minute, then e−2λ is the probability that no calls arrive in the next two minutes.)
Since the expectation of an unbiased estimator δ(X) is equal to the estimand, i.e.
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة],
the only function of the data constituting an unbiased estimator is
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة].
To see this, note that when decomposing e − λ from the above expression for expectation, the sum that is left is a Taylor Series expansion of e − λ as well, yielding e − λe − λ = e − 2λ (see Characterizations of the exponential function).
The (biased) maximum likelihood estimator
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
is far better than this unbiased estimator. Not only is its value
always positive, but it is also more accurate in the sense that its mean squared error (MSE)
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
is smaller; compare the unbiased estimator's MSE of
1 − e − 4λ.
The MSEs are functions of the true value λ. The bias of the maximum-likelihood estimator is:
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
Maximum of a discrete uniform distribution
The bias of maximum-likelihood estimators can be substantial. Consider a case where n tickets numbered from 1 through to n are placed in a box and one is selected at random, giving a value X. If n is unknown, then the maximum-likelihood estimator of n is X, even though the expectation of X is only (n + 1)/2; we can only be certain that n is at least X and is probably more. In this case, the natural unbiased estimator is 2X − 1.
ممكن طلب لو سمحتى