"Прогнозирование по регрессионной модели" Файл
реклама
О статистике и статистических данных Рассмотрим способ нахождения зависимости частоты заболеваемости жителей города бронхиальной астмой от качества воздуха. Любому человеку понятно, что такая зависимость существует. Очевидно, что чем хуже воздух, тем больше больных астмой. Но это качественное заключение. Его недостаточно для того, чтобы управлять уровнем загрязненности воздуха. Для управления требуются более конкретные знания. Нужно установить, какие именно примеси сильнее всего влияют на здоровье людей, как связана концентрация этих примесей в воздухе с числом заболеваний. Такую зависимость можно установить только экспериментальным путем: путем сбора многочисленных данных, их анализа и обобщения. В таких ситуациях на помощь приходит статистика: наука о сборе, измерении и анализе массовых количественных данных. Существуют медицинская статистика, экономическая статистика, социальная статистика и другие. Математический аппарат статистики разрабатывает раздел науки под названием «Математическая статистика». Рассмотрим пример из области медицинской статистики. Известно, что наиболее сильное влияние на бронхиальнолегочные заболевания оказывает угарный газ — оксид углерода. Поставив цель определить эту зависимость, специалисты по медицинской статистике проводят сбор данных. Они собирают сведения из разных городов о средней концентрации угарного газа в атмосфере и о заболеваемости астмой (число хронических больных на 1000 жителей). Полученные данные можно свести в таблицу, а также представить в виде точечной диаграммы (рис. 1). Статистические данные всегда являются приближенными, усредненными. Поэтому они носят оценочный характер. Однако они верно отражают характер зависимости величин. И еще одно важное замечание: для достоверности результатов, полученных путем анализа статистических данных, этих данных должно быть много. Рис. 1. Табличное и графическое представление статистических данных Из полученных данных можно сделать вывод, что при концентрации угарного газа до 3 мг/куб. м его влияние на заболеваемость астмой несильное. С дальнейшим ростом концентрации наступает резкий рост заболеваемости. А как построить математическую модель данного явления? Очевидно, нужно получить формулу, отражающую зависимость числа хронических больных Р от концентрации угарного газа С. На языке математики это называется функцией зависимости Р от С: Р(С). Вид такой функции неизвестен, ее следует искать методом подбора по экспериментальным данным. Понятно, что график искомой функции должен проходить близко к точкам диаграммы экспериментальных данных. Строить функцию так, чтобы ее график точно проходил через все данные точки (рис. 2а), не имеет смысла. Во-первых, математический вид такой функции может оказаться слишком сложным. Во-вторых, уже говорилось о том, что экспериментальные значения являются приближенными. Отсюда следуют основные требования к искомой функции: она должна быть достаточно простой для использования ее в дальнейших вычислениях; график этой функции должен проходить вблизи экспериментальных точек так, чтобы отклонения этих точек от графика были минимальны и равномерны (рис. 2б). Полученную функцию, график которой приведен на рис. 2б, принято называть в статистике регрессионной моделью. Рис. 2. Два варианта построения графической зависимости по экспериментальным данным Коротко о главном Статистика: наука о сборе, измерении и анализе массовых количественных данных. Статистические данные носят приближенный, усредненный характер, получаются путем многократных измерений. Регрессионная модель - это функция, описывающая зависимость между количественными характеристиками сложных систем. Вид регрессионной функции определяется путем подбора по экспериментальным данным. Вопросы и задания 1. а) Что такое статистика? б) Являются ли результаты статистических расчетов точными? в) Что такое регрессионная модель? 2. Какие из следующих величин можно назвать статистическими: температура вашего тела в данный момент, средняя температура в вашем регионе за последний месяц; максимальная скорость, развиваемая данной моделью автомобиля; среднее число осадков, выпавших в вашем регионе в течение года. Метод наименьших квадратов Получение регрессионной модели происходит в два этапа: подбор вида функции; вычисление параметров функции. Первая задача не имеет строгого решения. Здесь может помочь опыт и интуиция исследователя, а возможен и "слепой" перебор из конечного числа функций и выбор лучшей из них. Чаще всего выбор производится среди следующих функций: y ax b линейная функция ; y ax 2 bx c квадратичная функция ; y a ln( x ) b логарифмич еская функция ; y aebx экспоненциальная функция ; y axb степенная функция . Квадратичная функция называется в математике полиномом второй степени. Иногда используются полиномы и более высоких степеней, например, полином третьей степени имеет вид: y ax 3 bx 2 cx d . Во всех этих формулах х - аргумент, у - значение функции, а, Ь, с, d - параметры функций. Ln(*) - натуральный логарифм, е - константа, основание натурального логарифма. Если вы выбрали (сознательно или наугад) одну из предлагаемых функций, то следующим шагом нужно подобрать параметры (а, b, с и пр.) так, чтобы функция располагалась как можно ближе к экспериментальным точкам. Что значит "располагалась как можно ближе"? Ответить на этот вопрос - значит предложить метод вычисления параметров. Такой метод был предложен в XVIII веке немецким математиком К. Гауссом. Он называется методом наименьших квадратов (МНК). Суть его заключается в следующем: искомая функция должна быть построена так, чтобы сумма квадратов отклонений у-координат всех экспериментальных точек от у-координат графика функции была бы минимальной. Он очень широко используется в статистической обработке данных и встроен во многие математические пакеты программ. Важно понимать следующее: методом наименьших квадратов по данному набору экспериментальных точек можно построить любую (в том числе и из рассмотренных выше) функцию. А вот будет ли она нас удовлетворять, это уже другой вопрос — вопрос критерия соответствия. На рис. 3 изображены три функции, построенные методом наименьших квадратов. а) б) в) Рис. 3 Использование метода наименьших квадратов Данные рисунки получены с помощью MS Excel. График регрессионной модели называется трендом. Английское слово trend можно перевести как общее направление, или тенденция. Уже с первого взгляда хочется отбраковать вариант линейного тренда. График линейной функции — это прямая. Полученная по МНК прямая отражает факт роста заболеваемости от концентрации угарного газа, но по этому графику трудно что-либо сказать о характере этого роста. А вот квадратичный и экспоненциальный тренды ведут себя очень правдоподобно. Теперь пора обратить внимание на надписи, присутствующие на графиках. Во-первых, это записанные в явном виде искомые функции — регрессионные модели: линейная функция: y 46 ,331x 99 ,881 ; экспоненциальная функция: y 3 ,4302e0 ,7555x ; квадратичная функция: y 21,845 x 2 106 ,97 x 150 ,21 . На графиках присутствует еще одна величина, полученная в результате построения трендов. Она обозначена как R2. В статистике эта величина называется коэффициентом детерминированности. Именно она определяет, насколько удачной является полученная регрессионная модель. Коэффициент детерминированности всегда заключен в диапазоне от 0 до 1. Если он равен 1, то функция точно проходит через табличные значения, если 0, то выбранный вид регрессионной модели предельно неудачен. Чем R2 ближе к 1, тем удачнее регрессионная модель. Из трех выбранных моделей значение R2 наименьшее у линейной. Значит, она самая неудачная (нам и так это было понятно). Значения же R2 у двух других моделей достаточно близки (разница меньше одной 0,01). Если определить погрешность решения данной задачи как 0,01, по критерию R2 эти модели нельзя разделить. Они одинаково удачны. Здесь могут вступить в силу качественные соображения. Например, если считать, что наиболее существенно влияние концентрации угарного газа проявляется при больших величинах, то, глядя на графики, предпочтение следует отдать квадратичной модели. Она лучше отражает резкий рост заболеваемости при больших концентрациях примеси. Интересный факт: опыт показывает, что если человеку предложить на данной точечной диаграмме провести на глаз прямую так, чтобы точки были равномерно разбросаны вокруг нее, то он проведет линию, достаточно близкую к той, что дает МНК. Коротко о главном Метод наименьших квадратов используется для вычисления параметров регрессионной модели. Этот метод содержится в математическом арсенале электронных таблиц (в том числе и в MS Excel). Выбор типа регрессионной модели пользователь производит сам, а МНК позволяет построить функцию такого типа, наиболее близкую к экспериментальным данным. Характеристикой построенной модели является параметр R2 детерминированности. Чем его значение ближе к 1, тем модель лучше. — коэффициент Может оказаться, что несколько моделей имеют близкий параметр R2. В этом случае пользователь выбирает из них наиболее подходящую, исходя из эмпирических соображений. Вопросы и задания 1. а) Для чего используется метод наименьших квадратов? б) Что такое тренд? в) Как располагается линия экспериментальных точек? тренда, построенная по МНК, относительно г) Может ли тренд, построенный по МНК, пройти выше всех экспериментальных точек? 2. а) В чем смысл параметра R2? Какие значения он принимает? б) Какое значение примет параметр R , если тренд точно проходит через экспериментальные точки? 3. По данным из следующей таблицы постройте с помощью MS Excel линейную, квадратичную, экспоненциальную и логарифмическую регрессионные модели. Определите параметры, выберите лучшую модель. Построение регрессионных моделей с помощью табличного процессора Опишем алгоритм получения с помощью MS Excel регрессионных моделей по МНК с построением тренда. Сначала следует ввести табличные данные и построить точечную диаграмму, как это показано на рис. 1 (можно игнорировать все лишние детали — надписи, легенду, — чтобы получилось так, как на рис. 3а, в качестве подписи к оси ОХ выбрать текст «Линейный тренд»). Далее следует: => щелкнуть мышью по полю диаграммы; => Макет => Добавить линию тренда; => выбрать «Линейный тренд»; => Линия тренда =>Дополнительные параметры => установить галочки на флажках «показывать уравнения на диаграмме» и «поместить на диаграмму величину достоверности аппроксимации R2», щелкнуть по кнопке ОК. Диаграмма готова. Она будет точно такой, как на рис. 3а. Аналогично можно получить и другие типы трендов. Квадратичный тренд получается путем выбора полиномиального типа функции с указанием степени 2. Заметим, что MS Excel дает возможность пользователю самому задавать тип регрессионной модели, а не ограничиваться предлагаемым меню из шести функций. Однако для большого числа практических ситуаций этих функций бывает вполне достаточно. Продолжение линии тренда за границы области данных, приведенных в исходной таблице, называется экстраполяцией. Для получения такого рисунка нужно добавить в описанный выше алгоритм еще одно действие: => на вкладке «Макет» в области «Прогноз» в строке «вперед на» установить 2 единицы. Здесь имеются в виду единицы используемого масштаба по горизонтальной оси. Компьютерный практикум: Получение регрессионных моделей в MS Excel Цель работы: освоение способов построения по экспериментальным данным регрессионной модели и тренда средствами MS Excel. Используемые программные средства: табличный процессор MS Excel. Задание 1. Выполните все действия, описанные выше с данными медицинской статистики: построение таблицы, получение точечной диаграммы, построение разного типа трендов. Задание 2. В следующей таблице приводится прогноз средней дневной температуры на последнюю неделю мая в различных городах европейской части России. Города упорядочены по алфавиту. Указана также географическая широта этих городов. Построить несколько вариантов регрессионных моделей (не менее трех), отражающих зависимость температуры от широты города. Выбрать наиболее подходящую функцию. Прогнозирование по регрессионной модели Мы получили регрессионную математическую модель и можем прогнозировать процесс путем вычислений. Теперь можно оценить уровень заболеваемости астмой не только для тех значений концентрации угарного газа, которые были получены путем измерений, но и для других значений. Это очень важно с практической точки зрения. Например, если в городе планируется построить завод, который будет выбрасывать в атмосферу угарный газ, то, рассчитав возможную концентрацию газа, можно предсказать, как это отразится на заболеваемости астмой жителей города. Существует два способа прогнозов по регрессионной модели. Если прогноз производится в пределах экспериментальных значений независимой переменной (в нашем случае это значение концентрации угарного газа — С), то это называется восстановлением значения. Прогнозирование за пределами экспериментальных данных называется экстраполяцией. Имея регрессионную модель, легко прогнозировать, производя расчеты с помощью электронной таблицы. Выберем для нашего примера в качестве наиболее подходящей квадратичную зависимость. Построим следующую электронную таблицу: Подставляя в ячейку А2 значение концентрации угарного газа, в ячейке В2 будем получать прогноз заболеваемости. Вот пример восстановления значения: Заметим, что число, получаемое по формуле в ячейке В2, на самом деле является дробным. Однако не имеет смысла считать число людей, даже среднее, в дробных величинах. Дробная часть удалена — в формате вывода числа указано 0 цифр после запятой. Экстраполяционный прогноз выполняется аналогично. Табличный процессор дает возможность производить экстраполяцию графическим способом, продолжая тренд за пределы экспериментальных данных. Как это выглядит при использовании квадратичного тренда для С = 7, показано на рис. 4. Рис. 4 Квадратичный тренд с экстраполяцией В ряде случаев с экстраполяцией надо быть осторожным. Применимость всякой регрессионной модели ограничена, особенно за пределами экспериментальной области. В нашем примере при экстраполяции не следует далеко уходить от величины 5 мг/куб. м. Вполне возможно, что далее характер зависимости существенно меняется. Слишком сложной является система «экология — здоровье человека», в ней много различных факторов, которые связаны друг с другом. Полученная регрессионная функция является всего лишь моделью, экспериментально подтвержденной в диапазоне концентраций от 2 до 5 мг/куб. м. Что будет вдали от этой области, мы не знаем. Всякая экстраполяция держится на гипотезе: "предположим, что за пределами экспериментальной области закономерность сохраняется". А если не сохраняется? Квадратичная модель в данном примере в области малых значений концентрации, близких к 0, вообще не годится. Экстраполируя ее на С = 0 мг/куб. м, получим 150 человек больных, то есть больше, чем при 5 мг/куб. м. Очевидно, это нелепость. В области малых значений С лучшее работает экспоненциальная модель. Кстати, это довольно типичная ситуация: разным областям данных могут лучше соответствовать разные модели. Коротко о главном Регрессионная модель может использоваться для прогнозирования значений параметров в точках, не являющихся экспериментальными. Расчет зависимой величины в пределах экспериментальных значений независимого параметра называется восстановлением значения; за пределами - экстраполяцией. При экстраполяции нельзя далеко уходить от экспериментальной области. За ее пределами характер зависимости может измениться. Вопросы и задания 1. а) Что подразумевается под восстановлением значения по регрессионной модели? б) Что такое экстраполяция? 2. Соберите данные о средней дневной температуре в вашем город за последнюю неделю (10 дней, 20 дней). Оцените, годится ли использование линейного тренда для описания характера изменения температуры со временем. Попробуйте путем графической экстраполяции предсказать температуру через 2-5 дней. 3. Придумайте свои примеры практических задач, для которых имело бы смысл выполнение восстановления значений и экстраполяционных расчетов. Компьютерный практикум: Прогнозирование по регрессионным моделям Цель работы: освоение приемов прогнозирования количественных характеристик системы по регрессионной модели путем восстановления значений и экстраполяции. Используемые программные средства: табличный процессор MS Excel. Задание 1. Воспроизвести все расчеты, по прогнозированию уровня заболеваемости бронхиальной астмой. Задание 2. Используя данные прогноз температуры в городах России, рассчитать прогноз средней температуры для следующих городов: Сочи - 43,5 гр. с. ш., Москва - 55,7 гр. с. ш., Санкт-Петербург - 60 гр. с. ш., Мурманск - 69 гр. с. ш.
