Classical central limit theorem
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
Pictures of a distribution being "smoothed out" by summation (showing original density of distribution and three subsequent summations). (See Illustration of the central limit theorem for further details.)
The central limit theorem is also known as the second fundamental theorem of probability. (The Law of large numbers is the first.)
Let X1, X2, X3, ... Xn be a sequence of n independent and identically distributed (i.i.d) random variables each having finite values of expectation µ and variance σ2 > 0. The central limit theorem states that as the sample size n increases[3] [4]σ2 / n irrespective of the shape of the original distribution.
, the distribution of the sample average of these random variables
approaches the normal distribution with a mean µ and variance
Let the sum of n random variables be Sn, given by
Sn = X1 + ... + Xn. Then, defining a new random variable
the distribution of Zn converges towards the standard normal distribution N(0,1) as n approaches ∞ (this is convergence in distribution).[3] This is often written as
where
is the sample mean.
This means: if Φ(z) is the cumulative distribution function of N(0,1), then for every real number z, we have
or,
[edit] Proof of the central limit theorem
For a theorem of such fundamental importance to statistics and applied probability, the central limit theorem has a remarkably simple proof using characteristic functions. It is similar to the proof of a (weak) law of large numbers. For any random variable, Y, with zero mean and unit variance (var(Y) = 1), the characteristic function of Y is, by Taylor's theorem,
where o (t2 ) is "little o notation" for some function of t that goes to zero more rapidly than t2. Letting Yi be (Xi − μ)/σ, the standardized value of Xi, it is easy to see that the standardized mean of the observations X1, X2, ..., Xn is
By simple properties of characteristic functions, the characteristic function of Zn is
But, this limit is just the characteristic function of a standard
normal distribution, N(0,1), and the central limit theorem follows from
the Lévy continuity theorem, which confirms that the convergence of characteristic functions implies convergence in distribution.
Relation to the law of large numbers
The law of large numbers as well as the central limit theorem are partial solutions to a general problem: "What is the limiting behavior of Sn as nasymptotic series is one of the most popular tools employed to approach such questions. approaches infinity?" In mathematical analysis,
Suppose we have an asymptotic expansion of f(n):
dividing both parts by [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] and taking the limit will produce a1 - the coefficient at the highest-order term in the expansion representing the rate at which f(n) changes in its leading term.
Informally, one can say: "f(n) grows approximately as [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]". Taking the difference between f(n) and its approximation and then dividing by the next term in the expansion we arrive to a more refined statement about f(n):
here one can say that: "the difference between the function and its approximation grows approximately as [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]"
The idea is that dividing the function by appropriate normalizing
functions and looking at the limiting behavior of the result can tell
us much about the limiting behavior of the original function itself.
Informally, something along these lines is happening when Sn is being studied in classical probability theory. Under certain regularity conditions, by The Law of Large Numbers, [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] and by The Central Limit Theorem, [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]ξ is distributed as N(0,σ2) which provide values of first two constants in informal expansion: where
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
It could be shown[citation needed] that if X1, X2, X3, ... are i.i.d. and [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] for some [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] then [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] hence [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
is the largest power of n which if serves as a normalizing function
would provide a non-trivial (non-zero) limiting behavior. Interestingly
enough, The Law of the Iterated Logarithm
tells us what is happening "in between" The Law of Large Numbers and
The Central Limit Theorem. Specifically it says that the normalizing
function [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] intermediate in size between n of The Law of Large Numbers and [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] of the central limit theorem provides a non-trivial limiting behavior.
Theorem. Suppose that [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] is stationary and α-mixing with [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] and that [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] and [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]. Denote [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] then the limit [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] exists, and if [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] then [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] converges in distribution to N(0,1).
In fact, [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] where the series converges absolutely.
The assumption [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] cannot be omitted, since the asymptotic normality fails for [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] where Yn are another stationary sequence.
For the theorem in full strength see (Durrett 1996, Sect. 7.7(c), Theorem (7.8)); the assumption [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] is replaced with [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] and the assumption αn = O(n − 5) is replaced with [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] Existence of such δ > 0 ensures the conclusion.
Martingale central limit theorem
Main article: Martingale central limit theorem
Theorem. Let a martingale Mn satisfy
then [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] converges in distribution to N(0,1) as n tends to infinity.
See (Durrett 1996, Sect. 7.7, Theorem (7.4)) or (Billingsley 1995, Theorem 35.12).
Caution: The restricted expectation E(X;A) should not be confused with the conditional expectation [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
Pictures of a distribution being "smoothed out" by summation (showing original density of distribution and three subsequent summations). (See Illustration of the central limit theorem for further details.)
The central limit theorem is also known as the second fundamental theorem of probability. (The Law of large numbers is the first.)
Let X1, X2, X3, ... Xn be a sequence of n independent and identically distributed (i.i.d) random variables each having finite values of expectation µ and variance σ2 > 0. The central limit theorem states that as the sample size n increases[3] [4]σ2 / n irrespective of the shape of the original distribution.
, the distribution of the sample average of these random variables
approaches the normal distribution with a mean µ and variance
Let the sum of n random variables be Sn, given by
Sn = X1 + ... + Xn. Then, defining a new random variable
the distribution of Zn converges towards the standard normal distribution N(0,1) as n approaches ∞ (this is convergence in distribution).[3] This is often written as
where
is the sample mean.
This means: if Φ(z) is the cumulative distribution function of N(0,1), then for every real number z, we have
or,
[edit] Proof of the central limit theorem
For a theorem of such fundamental importance to statistics and applied probability, the central limit theorem has a remarkably simple proof using characteristic functions. It is similar to the proof of a (weak) law of large numbers. For any random variable, Y, with zero mean and unit variance (var(Y) = 1), the characteristic function of Y is, by Taylor's theorem,
where o (t2 ) is "little o notation" for some function of t that goes to zero more rapidly than t2. Letting Yi be (Xi − μ)/σ, the standardized value of Xi, it is easy to see that the standardized mean of the observations X1, X2, ..., Xn is
By simple properties of characteristic functions, the characteristic function of Zn is
But, this limit is just the characteristic function of a standard
normal distribution, N(0,1), and the central limit theorem follows from
the Lévy continuity theorem, which confirms that the convergence of characteristic functions implies convergence in distribution.
Relation to the law of large numbers
The law of large numbers as well as the central limit theorem are partial solutions to a general problem: "What is the limiting behavior of Sn as nasymptotic series is one of the most popular tools employed to approach such questions. approaches infinity?" In mathematical analysis,
Suppose we have an asymptotic expansion of f(n):
dividing both parts by [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] and taking the limit will produce a1 - the coefficient at the highest-order term in the expansion representing the rate at which f(n) changes in its leading term.
Informally, one can say: "f(n) grows approximately as [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]". Taking the difference between f(n) and its approximation and then dividing by the next term in the expansion we arrive to a more refined statement about f(n):
here one can say that: "the difference between the function and its approximation grows approximately as [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]"
The idea is that dividing the function by appropriate normalizing
functions and looking at the limiting behavior of the result can tell
us much about the limiting behavior of the original function itself.
Informally, something along these lines is happening when Sn is being studied in classical probability theory. Under certain regularity conditions, by The Law of Large Numbers, [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] and by The Central Limit Theorem, [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]ξ is distributed as N(0,σ2) which provide values of first two constants in informal expansion: where
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
It could be shown[citation needed] that if X1, X2, X3, ... are i.i.d. and [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] for some [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] then [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] hence [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
is the largest power of n which if serves as a normalizing function
would provide a non-trivial (non-zero) limiting behavior. Interestingly
enough, The Law of the Iterated Logarithm
tells us what is happening "in between" The Law of Large Numbers and
The Central Limit Theorem. Specifically it says that the normalizing
function [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] intermediate in size between n of The Law of Large Numbers and [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] of the central limit theorem provides a non-trivial limiting behavior.
Theorem. Suppose that [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] is stationary and α-mixing with [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] and that [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] and [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]. Denote [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] then the limit [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] exists, and if [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] then [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] converges in distribution to N(0,1).
In fact, [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] where the series converges absolutely.
The assumption [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] cannot be omitted, since the asymptotic normality fails for [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] where Yn are another stationary sequence.
For the theorem in full strength see (Durrett 1996, Sect. 7.7(c), Theorem (7.8)); the assumption [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] is replaced with [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] and the assumption αn = O(n − 5) is replaced with [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] Existence of such δ > 0 ensures the conclusion.
Martingale central limit theorem
Main article: Martingale central limit theorem
Theorem. Let a martingale Mn satisfy
- [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] in probability as n tends to infinity,
- for every [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] as n tends to infinity,
then [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] converges in distribution to N(0,1) as n tends to infinity.
See (Durrett 1996, Sect. 7.7, Theorem (7.4)) or (Billingsley 1995, Theorem 35.12).
Caution: The restricted expectation E(X;A) should not be confused with the conditional expectation [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]