В чем разница между линейной регрессией и логистической регрессией?

• Линейный регрессионный выход как вероятности

  Заманчиво использовать линейный выход регрессии как вероятности, но это ошибка, потому что выход может быть отрицательным и больше 1, тогда как вероятность не может. Поскольку регрессия может фактически создавать вероятности, которые могут быть меньше 0 или даже больше 1, была введена логистическая регрессия.

  Источник: http://gerardnico.com/wiki/data_mining/simple_logistic_regression

  

• результат

  В линейной регрессии результат (зависимая переменная) является непрерывным. Он может иметь любое из бесконечного числа возможных значений.

  В логистической регрессии результат (зависимая переменная) имеет только ограниченное число возможных значений.

• Зависимая переменная

  Логистическая регрессия используется, когда переменная ответа является категоричной по своей природе. Например, да / нет, true / false, красный / зеленый / синий, 1-й / 2-й / 3-й / 4-й и т. Д.

  Линейная регрессия используется, когда переменная ответа непрерывна. Например, вес, высота, количество часов и т. Д.

• Уравнение

  Линейная регрессия дает уравнение, которое имеет вид Y = mX + C, означает уравнение со степенью 1.

  Однако логистическая регрессия дает уравнение, которое имеет вид Y = e ^X + e ^-X

• Коэффициент интерпретации

  В линейной регрессии интерпретация коэффициентов независимых переменных довольно проста (т. Е. Удерживая все остальные переменные постоянными, с увеличением единицы в этой переменной, ожидается, что зависимая переменная будет увеличиваться / уменьшаться на ххх).

  Однако в логистической регрессии зависит от семейства (биномиальный, пуассоновский и т. Д.) И ссылки (log, logit, inverse-log и т. Д.), Которые вы используете, интерпретация различна.

• Техника минимизации ошибок

  Линейная регрессия использует обычный метод наименьших квадратов для минимизации ошибок и достижения наилучшего соответствия, в то время как логистическая регрессия использует метод максимального правдоподобия для достижения решения.

  Линейную регрессию обычно решают путем минимизации ошибки наименьших квадратов модели к данным, поэтому большие ошибки наказываются квадратично.

  Логистическая регрессия - это как раз наоборот. Использование функции логистической потери приводит к тому, что большие ошибки наказываются асимптотически постоянной.

  Рассмотрим линейную регрессию по категориальным результатам {0, 1}, чтобы понять, почему это проблема. Если ваша модель прогнозирует, что результат равен 38, когда истина равна 1, вы ничего не потеряли. Линейная регрессия попыталась бы уменьшить это 38, логистика не будет (столько же) ² .

В линейной регрессии результат (зависимая переменная) является непрерывным. Он может иметь любое из бесконечного числа возможных значений. В логистической регрессии результат (зависимая переменная) имеет только ограниченное число возможных значений.

Например, если X содержит площадь в квадратных футах домов, а Y содержит соответствующую цену продажи этих домов, вы можете использовать линейную регрессию для прогнозирования отпускной цены в зависимости от размера дома. Хотя возможна цена продажи не может быть на самом деле любой , есть так много возможных значений , которые будут выбраны линейная регрессионная модель.

Если вместо этого вы хотели предсказать, исходя из размера, будет ли дом продаваться более чем на 200 тыс. Долларов, вы бы использовали логистическую регрессию. Возможные выходы - либо «Да», то дом будет продаваться более чем на 200 тыс. Долларов, или «Нет», дома не будет.

Проще говоря, линейная регрессия - это алгоритм регрессии, который превосходит возможное непрерывное и бесконечное значение; логистическая регрессия рассматривается как алгоритм двоичного классификатора, который выводит «вероятность» ввода, принадлежащего метке (0 или 1).

Основное различие:

Линейная регрессия - это, в основном, модель регрессии, которая означает, что она даст нечеткий / непрерывный выход функции. Таким образом, этот подход дает значение. Например: задано x, что f (x)

Например, учитывая набор тренировок по различным факторам и цену собственности после обучения, мы можем предоставить необходимые факторы для определения того, какова будет цена на недвижимость.

Логистическая регрессия - это, в основном, алгоритм двоичной классификации, что означает, что здесь будет дискретно оцененный выход для функции. Например: для заданного x, если f (x)> threshold, классифицируйте его как 1, иначе классифицируйте его как 0.

Например, учитывая набор размеров опухоли головного мозга в качестве данных для обучения, мы можем использовать размер в качестве входных данных, чтобы определить, является ли его бенином или злокачественной опухолью. Поэтому здесь вывод сдержанный либо 0, либо 1.

* здесь функция в основном является функцией гипотезы

Они оба очень похожи в решении решения, но, как говорили другие, одна (Логистическая регрессия) предназначена для прогнозирования категории «fit» (Y / N или 1/0), а другая (линейная регрессия) предназначена для прогнозирования ценность.

Поэтому, если вы хотите предсказать, есть ли у вас рак Y / N (или вероятность), используйте логистику. Если вы хотите узнать, сколько лет вы будете жить, используйте Linear Regression!