Normal distribution
Probability density function [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
The continuous probability density function of the normal distribution is the Gaussian function
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
where σ > 0 is the standard deviation, the real parameter μ is the expected value, and
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
is the density function of the "standard" normal distribution: i.e., the normal distribution with μ = 0 and σ = 1. The integral of [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] over the real line is equal to one as shown in the Gaussian integral article.
As a Gaussian function with the denominator of the exponent equal to 2, the standard normal density function [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] is an eigenfunction of the Fourier transform.Cumulative distribution function
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
The cumulative distribution function (cdf) of a probability distribution, evaluated at a number (lower-case) x, is the probability of the event that a random variable (capital) X with that distribution is less than or equal to x. The cumulative distribution function of the normal distribution is expressed in terms of the density function as follows:
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
The standard normal cdf is just the general cdf evaluated with μ = 0 and σ = 1:
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
The standard normal cdf can be expressed in terms of a special function called the error function, as
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
and the cdf itself can hence be expressed as
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]Generating functions
[edit] Moment generating function
The moment generating function is defined as the expected value of exp(tX). For a normal distribution, the moment generating function is
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
as can be seen by completing the square in the exponent.
[edit] Cumulant generating function
The cumulant generating function is the logarithm of the moment generating function: g(t) = μt + σ²t²/2. Since this is a quadratic polynomial in t, only the first two cumulants are nonzero.
[edit] Characteristic function
The characteristic function is defined as the expected value of exp(itX), where i is the imaginary unit. So the characteristic function is obtained by replacing t with it in the moment-generating function.
For a normal distribution, the characteristic function is
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]Properties
Some properties of the normal distribution:
If [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] and [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] are independent normal random variables, then:
If [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] are independent standard normal variables, then [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] has a chi-square distribution with n degrees of freedom.If [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] are independent standard normal variables, then the sample mean [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] and sample variance[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] are independent. This property characterizes normal distributions (and helps to explain why the F-test is non-robust with respect to non-normality!)
[edit] Standardizing normal random variables
As a consequence of Property 1, it is possible to relate all normal random variables to the standard normal.
If X ~ N(μ,σ2), then
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
is a standard normal random variable: Z ~ N(0,1). An important consequence is that the cdf of a general normal distribution is therefore
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
Conversely, if Z is a standard normal distribution, Z ~ N(0,1), then
X = σZ + μ
is a normal random variable with mean μ and variance σ2.
The standard normal distribution has been tabulated (usually in the
form of value of the cumulative distribution function Φ), and the other
normal distributions are the simple transformations, as described
above, of the standard one. Therefore, one can use tabulated values of
the cdf of the standard normal distribution to find values of the cdf
of a general normal distribution.Moments
The first few moments of the normal distribution are:
Number Raw moment Central moment Cumulant
All cumulants of the normal distribution beyond the second are zero.
Higher central moments (of order 2k with μ = 0) are given by the formula
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
Probability density function [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
The continuous probability density function of the normal distribution is the Gaussian function
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
where σ > 0 is the standard deviation, the real parameter μ is the expected value, and
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
is the density function of the "standard" normal distribution: i.e., the normal distribution with μ = 0 and σ = 1. The integral of [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] over the real line is equal to one as shown in the Gaussian integral article.
As a Gaussian function with the denominator of the exponent equal to 2, the standard normal density function [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] is an eigenfunction of the Fourier transform.Cumulative distribution function
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
The cumulative distribution function (cdf) of a probability distribution, evaluated at a number (lower-case) x, is the probability of the event that a random variable (capital) X with that distribution is less than or equal to x. The cumulative distribution function of the normal distribution is expressed in terms of the density function as follows:
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
The standard normal cdf is just the general cdf evaluated with μ = 0 and σ = 1:
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
The standard normal cdf can be expressed in terms of a special function called the error function, as
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
and the cdf itself can hence be expressed as
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]Generating functions
[edit] Moment generating function
The moment generating function is defined as the expected value of exp(tX). For a normal distribution, the moment generating function is
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
as can be seen by completing the square in the exponent.
[edit] Cumulant generating function
The cumulant generating function is the logarithm of the moment generating function: g(t) = μt + σ²t²/2. Since this is a quadratic polynomial in t, only the first two cumulants are nonzero.
[edit] Characteristic function
The characteristic function is defined as the expected value of exp(itX), where i is the imaginary unit. So the characteristic function is obtained by replacing t with it in the moment-generating function.
For a normal distribution, the characteristic function is
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]Properties
Some properties of the normal distribution:
- If [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] and a and b are real numbers, then [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] (see expected value and variance).
- If [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] and [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] are independent normal random variables, then:
- Their sum is normally distributed with [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] (proof).
Interestingly, the converse holds: if two independent random variables
have a normally-distributed sum, then they must be normal themselves —
this is known as Cramér's theorem. - Their difference is normally distributed with [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة].
- If the variances of X and Y are equal, then U and V are independent of each other.
- The Kullback-Leibler divergence, [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
- Their product XY follows a distribution with density p given by
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة] where K0 is a modified Bessel function of the second kind. - Their ratio follows a Cauchy distribution with [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]. Thus the Cauchy distribution is a special kind of ratio distribution.
[edit] Standardizing normal random variables
As a consequence of Property 1, it is possible to relate all normal random variables to the standard normal.
If X ~ N(μ,σ2), then
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
is a standard normal random variable: Z ~ N(0,1). An important consequence is that the cdf of a general normal distribution is therefore
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]
Conversely, if Z is a standard normal distribution, Z ~ N(0,1), then
X = σZ + μ
is a normal random variable with mean μ and variance σ2.
The standard normal distribution has been tabulated (usually in the
form of value of the cumulative distribution function Φ), and the other
normal distributions are the simple transformations, as described
above, of the standard one. Therefore, one can use tabulated values of
the cdf of the standard normal distribution to find values of the cdf
of a general normal distribution.Moments
The first few moments of the normal distribution are:
Number Raw moment Central moment Cumulant
| 0 | 1 | 1 | |
| 1 | μ | 0 | μ |
| 2 | μ2 + σ2 | σ2 | σ2 |
| 3 | μ3 + 3μσ2 | 0 | 0 |
| 4 | μ4 + 6μ2σ2 + 3σ4 | 3σ4 | 0 |
| 5 | μ5 + 10μ3σ2 + 15μσ4 | 0 | 0 |
| 6 | μ6 + 15μ4σ2 + 45μ2σ4 + 15σ6 | 15σ6 | 0 |
| 7 | μ7 + 21μ5σ2 + 105μ3σ4 + 105μσ6 | 0 | 0 |
| 8 | μ8 + 28μ6σ2 + 210μ4σ4 + 420μ2σ6 + 105σ8 | 105σ8 | 0 |
Higher central moments (of order 2k with μ = 0) are given by the formula
[ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذه الصورة]