Интервальные оценка коэффициентов регрессии
ЛЕКЦИЯ 5
Анализ точности оценки коэффициентов регрессии. Стандартные ошибки регрессии и коэффициентов регрессии. Проверка гипотез относительно коэффициентов регрессии. Интервальные оценки коэффициентов регрессии. Показатели качества уравнения регрессии. Коэффициент детерминации. Критерий Фишера. Интервалы прогноза по уравнению регрессии.
§5.2. АНАЛИЗ ТОЧНОСТИ ОЦЕНОК КОЭФФИЦИЕНТОВ
РЕГРЕССИИ
5.2.1. Оценка дисперсии случайного отклонения s 2
Проведем статистический анализ построенного уравнения регрессии, т.е. выясним насколько надёжны полученные оценки коэффициентов регрессии; как хорошо полученное уравнение регрессии описываем имеющиеся статистические данные, может быть следует изменить спецификацию модели; оценить точность прогноза, т.е. построить доверительный интервал для зависимой переменной. Для того чтобы провести такой статистический анализ модели, нужно, как мы видели в предыдущей лекции, знать закон распределения случайной величины e. При построении уравнения регрессии МНК такой информации не требовалось (в этом одно из преимуществ МНК), однако для проведения статистического анализа такая информация востребована. В дальнейшем мы будем работать в рамках нормальной классической регрессионной модели, т.е. выполняются все условия Гаусса-Маркова и, в частности, e подчиняется нормальному закону распределения. Вообще говоря, выполнимость этих условий ещё надо проверить, в данной лекции мы будем предполагать, что эти условия априори выполняются.
Сформулированные выше статистические свойства МНК-оценок коэффициентов регрессии справедливы и без предположения о нормальности случайного отклонения e. Однако, даже располагая информацией о состоятельности, несмещённости и оптимальности оценок, мы не можем решить задачи о построении доверительных интервалов для истинных значений рассматриваемых параметров, так же как и для неизвестных значений функции регрессии. Необходимой базой для решения этих задач является знание законов распределения вероятностей используемых оценок. Именно в рамках нормальной классической линейной регрессионной модели можно решить вопросы о значимости коэффициентов регрессии и построении для них доверительных интервалов, о качестве построенного уравнения регрессии в целом, о точности прогноза по этому уравнению.
В силу того, что случайные отклонения ei по выборке определены быть не могут, при анализе надежности оценок коэффициентов регрессии они заменяются отклонениями 
значений yi переменной Y от оцененной линии регрессии. Не следует путать эмпирические отклонения ei с теоретическими отклонениями ei. И те и другие являются случайными величинами, однако разница состоит в том, что эмпирические отклонения, в отличие от теоретических, наблюдаемы.
Кажется вполне естественной гипотеза, что оценка s 2 связана с суммой квадратов остатков регрессии 
. В самом деле,
,
где 
, 
. Тогда
Вычислим математическое ожидание 
.
.
Используя соотношение 
, получаем
,
.
.
Отсюда следует, что
. (5.34)
Отметим, что в математической статистике для получения несмещенной оценки дисперсии случайной величины соответствующую сумму квадратов отклонений от средней делят не на число наблюдений n, на число степеней свободы n–m, равное разности между числом независимых наблюдений случайной величины n и числом связей, ограничивающих свободу их измерения, т.е. число m уравнений, связывающих эти наблюдения. Поэтому в знаменателе выражения (5.34) стоит число степеней свободы n–2, т.к. две степени свободы теряются при определении двух параметров прямой из системы нормальных уравнений.
5.2.2.Проверка гипотез относительно коэффициентов
регрессии
Эмпирическое уравнение регрессии определяется на основе конечного числа статистических данных. Поэтому коэффициенты эмпирического уравнения регрессии являются случайными величинами, изменяющимися от выборки к выборке. Наиболее важной на начальном этапе статистического анализа построенной модели является задача установления значимости коэффициентов регрессии. Данный анализ осуществляется по схеме статистической проверки гипотез.
Можно показать, что в случае классической нормальной линейной регрессионной модели оценка дисперсии S 2 случайных отклонений является независимой от b0 и b1 случайной величиной. Это позволяет построить статистики для проверки статистических гипотез.
, (5.35)
, (5.36)
. (5.37)
Величины 
и 
называются стандартными ошибками коэффициентов регрессии коэффициентов b0 и b1, соответственно.
, (5.38)
которая при справедливости H0 имеет распределение Стьюдента с числом степеней свободы k=n–2. Следовательно, H0 отклоняется на основании данного критерия, если
, (5.39)
где a – требуемый уровень значимости. При невыполнении (5.39) считается, что нет оснований для отклонения H0.
Наиболее важной на начальном этапе статистического анализа построенной модели является проверка гипотезы H0:b1=0 при альтернативной гипотезе H1:b1¹0. Гипотеза в такой постановке называется гипотезой о статистической значимости коэффициента регрессии. При этом, если гипотеза H0 принимается, то есть все основания считать, что величина Y не зависит от X. В этом случае говорят, что коэффициент b1 статистически незначим. При отклонении гипотезы H0 коэффициент b1 считается статистически значимым, что указывает на наличие линейной зависимости между Y и X. В данном случае рассматривается двусторонняя критическая область, т.к. важным является именно отличие от нуля коэффициента регрессии, а он может быть как положительным, так и отрицательным.
Поскольку полагается, b1=0, то формальная значимость оцененного коэффициента регрессии b1 проверяется при помощи критерия
, (5.40)
который называется t-статистикой (t-тестом).
По аналогичной схеме на основе t-статистики проверяется гипотеза о статистической значимости коэффициента b0:
. (5.41)
Отметим, что для парной регрессии более важным является анализ статистической значимости коэффициента b1, т.к. именно в нем скрыто влияние объясняющей переменной X на зависимую переменную Y.
Отметим также, что значения критериев (5.40) и (5.41) приводят всеми компьютерными пакетами в результатах регрессии. В учебниках и монографиях по эконометрике наблюдаемые значения t-критерия Стьюдента (или стандартные ошибки) указываются вместе с уравнением регрессии под соответствующим коэффициентом:
или 
.
Пример 5.3. Проверить значимость коэффициентов регрессии, полученных в
примере 5.1 (см. лекцию 4).
Решение. По данным таблицы 5.2 найдем оценку дисперсии случайного отклонения, т.е. квадрат стандартной ошибки регрессии:
.
и 
.
Следовательно, наблюдаемое значение t-критерия Стьюдента коэффициента b1 равно
.
Критическое значение t-критерия Стьюдента на уровне значимости a=0,05 равно
.
Поскольку 
, то нулевая гипотеза отвергается в пользу альтернативной при выбранном уровне значимости. Это подтверждает статистическую значимость коэффициента регрессии b1.
Аналогично проверяется статистическая значимость коэффициента b0:
и 
.
Тогда наблюдаемое значение t-критерия Стьюдента коэффициента b0 будет равно
.
Поскольку 
, то нет оснований отклонять гипотезу о статистической незначимости коэффициента b0.
Таким образом, результаты анализа можно представить в виде
или 
. â
Интервальные оценка коэффициентов регрессии
Предположение о нормальном распределении случайных отклонений ei с нулевым математическим ожиданием и постоянной дисперсией, т.е. 
, позволяет получать не только наилучшие линейные несмещенные точечные оценки (BLUE-оценки) b0 и b1 коэффициентов b0 и b1 коэффициентов линейного уравнения регрессии, но и находить их интервальные оценки.
Здесь исходят из того, что случайные величины b0 и b1 при указанных выше предположениях имеют нормальные распределения:
, 
.
и 
и 
(5.42)
будут иметь t-распределение Стьюдента с k=n–2 степенями свободы.
Для построения доверительных интервалов с помощью таблиц критических точек распределения Стьюдента по доверительной вероятности g=1–a и числу степеней свободы k=n–2 определяют критическое значение 
, удовлетворяющее условию
. (5.43)
Подставив сюда каждую из формул (5.36), получим
; 
.
После преобразований выражений, стоящих в скобках, имеем:
,
.
Таким образом, доверительные интервалы для коэффициентов регрессии будут иметь следующий вид
, 
, (5.44)
которые с вероятностью g=1–a накрывают определяемые параметры b0 и b1.
Пример 5.4. Найти интервальные оценки для примера 5.1, 5.3 с уровнем надёжности a=0,05.
Решение. В примерах 5.1-5.2 было найдено:
, 
, 
, 
, 
.
Тогда по формулам (5.46) находим для коэффициента b0:
; 
.
Таким образом, с вероятностью 0,95 коэффициент регрессии b0 принимает значения из интервала 
. Поскольку ноль также попадает в этот интервал, то, как и следовало ожидать, коэффициент b0 не является значимым.
Для коэффициента b1 получаем следующие результаты:
; 
.
Таким образом, с вероятностью 0,95 коэффициент регрессии b1 принимает значения из интервала 
. Поскольку D1 значительно меньше b1, то точность прогноза, связанного с этим коэффициентом будет достаточно высокой. â
Тест по «Теории вероятности и математической статистике»
Автор работы: Пользователь скрыл имя, 30 Мая 2013 в 16:34, тест
Описание работы
Файлы: 1 файл
Externat_Teoria_veroyatnostey_i_matematicheskaya (9).docx
Какая статистика используется при проверке гипотезы о равенстве генеральных дисперсий двух нормальных совокупностей H0:σ21=σ22
Какая функция используется в интегральной теореме Муавра-Лапласа?
Какая функция используется в локальной теореме Муавра-Лапласа?
Ответ: функция Гаусса
Какая функция используется в локальной теореме Муавра-Лапласа?
Ответ: функция Гаусса
Какие выборочные характеристики используются для расчѐта статистики FН при проверке гипотезы о равенстве генеральных дисперсий:
Ответ: исправленные выборочные дисперсии
Какие значения может принимать функция плотности вероятности непрерывной случайной величины:
Ответ: любые неотрицательные значения
Какие значения может принимать функция распределения случайной величины:
Какие из этих элементов комбинаторики представляют собой неупорядоченные подмножества (порядок следования элементов в которых не важен)?
Ответ: число сочетаний
Каким методом обычно определяются оценки коэффициентов двумерного линейного уравнения регрессии?
Ответ: методом наименьших квадратов
Каким моментом является выборочная дисперсия S2?
Ответ: центральным моментом 2-го порядка
Каким моментом является средняя арифметическая?
Ответ: начальным моментом 1-го порядка
Какова вероятность выпадения «орла» при подбрасывании монеты?
Какова вероятность выпадения «решки» при подбрасывании монеты?
Какое из этих понятий не является элементом комбинаторики?
Ответ: число испытаний Бернулли
Какое из этих распределений случайной величины является дискретным?
Какое из этих распределений случайной величины является непрерывным?
Когда при проверке гипотезы о значении генеральной дисперсии H0: σ2 = σ2 0 против H1: σ2= σ2 1 следует выбирать правостороннюю критическую область:
Когда при проверке гипотезы о значении генеральной дисперсии H0: σ2 = σ2 0 против H1: σ2= σ2 1 следует выбирать двустороннюю критическую область:
Когда при проверке гипотезы о значении генеральной дисперсии H0: σ2 = σ2 0 против H1: σ2= σ2 1 следует выбирать левостороннюю критическую область:
Когда при проверке гипотезы о значении генеральной средней H0: μ=μ0 против H1: μ=μ1 следует выбирать двустороннюю критическую область:
Когда при проверке гипотезы о значении генеральной средней H0: μ=μ0 против H1: μ=μ1 следует выбирать левостороннюю критическую область:
Когда при проверке гипотезы о значении генеральной средней H0: μ=μ0 против H1: μ=μ1 следует выбирать правостороннюю критическую область:
Ответ: гипотеза, противоположная нулевой
Коэффициент детерминации между х и у показывает:
Ответ: долю дисперсии у, обусловленную влиянием х
Коэффициент детерминации является:
Ответ: квадратом выборочного коэффициента корреляции
Критерий Бартлетта и критерий Кохрана применяются в случае:
Ответ: сравнения более 2 генеральных дисперсий
Критерий Бартлетта и критерий Кохрана применяются:
Ответ: при проверке гипотезы о равенстве генеральных дисперсий
Линейное относительно аргумента уравнение регрессии имеет вид:
Монета была подброшена 10 раз. «Герб” выпал 4 раза. Какова частость (относительная частота) выпадения «герба”?
На основании 20 наблюдений выяснено, что выборочная доля дисперсии случайной величины у, вызванной вариацией х, составит 36%. Известно, что коэффициент регрессии – отрицательный. Чему равен выборочный парный коэффициент корреляции:
На основании 20 наблюдений выяснено, что выборочная доля дисперсии случайной величины у, вызванной вариацией х, составит 36%. Известно, что коэффициент регрессии – положительный. Чему равен выборочный парный коэффициент корреляции:
На основании 20 наблюдений выяснено, что выборочная доля дисперсии случайной величины у, вызванной вариацией х, составит 36%. Чему равен выборочный парный коэффициент корреляции:
На основании 20 наблюдений выяснено, что выборочная доля дисперсии случайной величины у, вызванной вариацией х, составит 49%. Чему равен выборочный парный коэффициент корреляции:
На основании 20 наблюдений выяснено, что выборочная доля дисперсии случайной величины у, вызванной вариацией х, составит 64%. Известно, что коэффициент регрессии – отрицательный. Чему равен выборочный парный коэффициент корреляции:
На основании 20 наблюдений выяснено, что выборочная доля дисперсии случайной величины у, вызванной вариацией х, составит 64%. Известно, что коэффициент регрессии – положительный. Чему равен выборочный парный коэффициент корреляции:
На основании 20 наблюдений выяснено, что выборочная доля дисперсии случайной величины у, вызванной вариацией х, составит 64%. Чему равен выборочный парный коэффициент корреляции:
На основании 20 наблюдений выяснено, что выборочная доля дисперсии случайной величины у, вызванной вариацией х, составит 81%. Чему равен выборочный парный коэффициент корреляции:
Несмещенная оценка остаточной дисперсии в двумерной регрессионной модели рассчитывается по формуле:
Ответ: выдвинутая гипотеза, которую нужно проверить
Нулевую гипотезу отвергают, если:
Ответ: наблюдаемые значения статистики критерия попадают в критическую область
От чего зависит точность оценивания генеральной доли или вероятности при построении доверительного интервала в случае большого объѐма выборки?
Ответ: от доверительной вероятности, частости и объѐма выборки
От чего зависит точность оценивания генеральной средней при построении доверительного интервала в случае известной генеральной дисперсии?
Ответ: от доверительной вероятности, генеральной дисперсии и объѐма выборки
От чего зависит точность оценивания генеральной средней при построении доверительного интервала в случае неизвестной генеральной дисперсии?
Ответ: от доверительной вероятности, выборочной дисперсии и объѐма выборки
От чего зависит число степеней свободы в распределении Стьюдента?
Ответ: от объѐма выборки
Оценку коэффициента регрессии при x двумерного линейного уравнения регрессии Y по X находят по формуле:
Ответ: наличие отрицательной линейной функциональной связи
Парный коэффициент корреляции между переменными равен 1. Это означает:
Ответ: наличие положительной линейной функциональной связи
Перечислите основные свойства точечных оценок:
Ответ: несмещенность, эффективность и состоятельность
По какому принципу выбирается критическая область?
Ответ:вероятность попадания в нее должна быть минимальной, если верна нулевая гипотеза и максимальной в противном случае
По результатам выборочных наблюдений были получены выборочные коэффициенты регрессии: byx= 0,5; bxy= 1,62. Чему равен выборочный коэффициент детерминации?
По результатам выборочных наблюдений были получены выборочные коэффициенты регрессии: byx= 0,5; bxy= 1,62. Чему равен выборочный парный коэффициент корреляции?
Полиномиальное относительно аргумента уравнение регрессии имеет вид:
При вынесении постоянной величины за знак дисперсии эту величину:
Ответ: возводят в квадрат
При вынесении постоянной величины за знак математического ожидания эту величину:
Ответ: просто выносят за скобки
При интервальной оценке генеральных коэффициентов регрессии используется:
Ответ: распределение Стьюдента
При интервальном оценивании математического ожидания при известном значении генеральной дисперсии используют:
Ответ: нормальное распределение
При интервальном оценивании математического ожидания при неизвестном значении генеральной дисперсии используют:
Ответ: распределение Стьюдента
При использовании критерия Бартлетта рассматриваются выборки:
Ответ: разного объема
При использовании критерия Кохрана рассматриваются выборки:
Ответ: равного объема
При помощи какого критерия проверяется значимость коэффициента корреляции?
Ответ: распределения Фишера-Иейтса
При помощи какого критерия проверяется значимость уравнения регрессии?
При помощи какого распределения строится интервальная оценка для генерального коэффициента корреляции?
Ответ: Z-преобразования Фишера
При помощи какого распределения строится интервальная оценка для генеральных коэффициентов регрессии?
Ответ: распределения Стьюдента
При построении доверительного интервала для генеральной дисперсии при больших объѐмах выборки используют
Ответ: нормальный закон распределения
При построении доверительного интервала для генеральной дисперсии при малых объѐмах выборки используют
Ответ: распределение Пирсона
При построении доверительного интервала для генеральной доли или вероятности при больших объѐмах выборки используют
Ответ: нормальный закон распределения
При построении доверительного интервала для генеральной доли или вероятности при малых объѐмах выборки используют
Ответ: биномиальное распределение
При проверке гипотезы о виде неизвестного закона распределения используется:
Ответ: критерий согласия Пирсона
При проверке гипотезы о значении вероятности события нулевая гипотеза отвергается, если:
Ответ: наблюдаемое значение по модулю больше критического
При проверке гипотезы о значении генеральной средней нулевая гипотеза отвергается, если:
Ответ: наблюдаемое значение по модулю больше критического
При проверке гипотезы о значении генеральной средней при известной дисперсии используется:
Ответ: нормальный закон распределения
При проверке гипотезы о значении генеральной средней при неизвестной генеральной дисперсии используется:
Ответ: распределение Стьюдента
При проверке гипотезы о значимости уравнения регрессии H0: β1=0 оказалось, что Fнабл & gt; Fкр. Справедливо следующее утверждение:
Ответ: Уравнение регрессии значимо, т.к. нулевая гипотеза отвергается с вероятностью ошибки α
При проверке гипотезы о равенстве вероятностей в случае биномиального распределения H0:p1=p2=…=pk используется:
Ответ: распределение Пирсона
При проверке гипотезы о равенстве генеральных дисперсий двух нормальных совокупностей используется:
Ответ: F-распределение Фишера-Снедекора
При проверке гипотезы о равенстве генеральных дисперсий нескольких нормальных совокупностей H0: σ21 = σ2 2=…= σ2 k в случае одинаковых объѐмов выборки используется:
Ответ: критерий Кохрана
При проверке гипотезы о равенстве генеральных дисперсий нескольких нормальных совокупностей H0: σ21 = σ2 2=…= σ2 k в случае разных объѐмов выборки используется:
Ответ: критерий Бартлетта
При проверке гипотезы о равенстве генеральных средних двух нормальных совокупностей нулевая гипотеза не отвергается, если:
Ответ: наблюдаемое значение по модулю меньше или равно критическому
При проверке гипотезы о равенстве генеральных средних двух нормальных совокупностей с известными генеральными дисперсиями используется:
Ответ: нормальный закон распределения
При проверке гипотезы о равенстве генеральных средних двух нормальных совокупностей с неизвестными генеральными дисперсиями используется:
