Бонус 1. Пределы, или как приблизиться к ответу, не трогая его

Вступление

Вау, урок не через 2 месяца?!?! Сегодня я начну серию бонусных уроков, которая поможет понять матан, который ОЧЕНЬ пригодится нам в будущих темах, а именно мы поговорим про производные, но, чтобы понять производные, нам придётся поизучать пределы.

Для решения СЛАУ они нам пока не понадобятся, зато позже без них будет непросто понять, откуда берутся производные, а значит, и градиентный спуск.

Не пугайтесь. Сегодня мы скорее будем смотреть на графики и задавать странные вопросы, чем решать страшные уравнения.

А что, если мы почти пришли?

Возьмём самую обычную функцию:

$$f(x)=x+1.$$

Если подставить $x=1$, получим $f(1)=2$. Всё просто. Но теперь рассмотрим чуть менее дружелюбную конструкцию:

$$f(x)=\frac{x^2-1}{x-1}.$$

Что произойдёт при $x=1$? В числителе и знаменателе получим ноль. А делить на ноль нельзя. Значит, в этой точке функция не определена.

Но кто сказал, что нам обязательно нужно подставлять ровно единицу? Посмотрим, что происходит рядом с ней:

Чем ближе $x$ к единице, тем ближе значение функции к двойке. Причём с обеих сторон.

Вот мы и добрались до главной идеи.

ПРЕДЕЛ ФУНКЦИИ — это число, к которому приближаются значения функции, когда её аргумент приближается к некоторой точке.

Записывается это так:

$$\lim_{x\to1}\frac{x^2-1}{x-1}=2.$$

Читается: «предел функции при $x$, стремящемся к единице, равен двум».

ВАЖНО: предел говорит о поведении функции рядом с точкой, а не обязательно в самой точке. Функция может даже быть не определена в этой точке, и это не помешает пределу существовать.

А можно без гадания по таблице?

Разумеется! Заметим, что:

$$x^2-1=(x-1)(x+1).$$

Тогда для $x\ne1$ можно сократить дробь:

$$\frac{(x-1)(x+1)}{x-1}=x+1.$$

А значит, вблизи единицы наша функция ведёт себя точно так же, как $x+1$. Поэтому её предел равен $2$.

Получается, что неопределённость вида $\frac{0}{0}$ - это не ответ «ноль» и не приговор задаче. Это сигнал, что нужно разобраться, как функция ведёт себя рядом с точкой.

А предел существует всегда?

Нет. Математика не была бы математикой, если бы всё было настолько удобно.

Возьмём функцию:

$$f(x)=\frac1x.$$

И попробуем приблизиться к нулю.

Если приближаться к нулю справа ($x>0$), значения функции растут без границ. А если слева ($x<0$), они уменьшаются без границ:

$$\lim_{x\to0^+}\frac1x=+\infty, \qquad \lim_{x\to0^-}\frac1x=-\infty.$$

Это односторонние пределы. Знаки $+$ и $-$ возле нуля показывают, с какой стороны мы к нему приближаемся.

Поскольку поведение функции с разных сторон не совпадает, обычного двустороннего предела при $x\to0$ здесь нет.

И ещё одна тонкость: $+\infty$ и $-\infty$ в этой записи не обычные действительные числа. Они описывают неограниченный рост или убывание.

А зачем нам всё это в ML?

Вспомним нашу прямую из урока про линейную регрессию. Мы хотели подобрать её коэффициенты так, чтобы ошибки стали как можно меньше.

Но как узнать, в какую сторону нужно изменить коэффициент, чтобы ошибка уменьшилась?

Для этого нам понадобится понятие скорости изменения функции. Представьте, что мы сделали очень маленький шаг по графику и хотим узнать, насколько при этом изменилось значение функции. А если шаг делать всё меньше и меньше?..

Вот здесь-то и появляется производная, которая определяется с помощью предела.

В следующем бонусном уроке мы увидим, как обычная секущая превращается в касательную, почему производная связана с её наклоном и как это в итоге поможет обучать модель.

О боже, домашка, неееет :(

Попробуйте без калькулятора найти два предела:

$$\lim_{x\to3}(2x+1), \qquad \lim_{x\to2}\frac{x^2-4}{x-2}.$$

Подсказка: во втором примере дробь тоже можно сократить —-но только до подстановки.

Заключение

Сегодня мы познакомились с пределом, выяснили, почему «значение в точке» и «поведение около точки» - не одно и то же, и увидели, что иногда предел вообще не существует.

Пока это может казаться абстрактной математикой. Но совсем скоро из этой идеи родится инструмент, с помощью которого мы будем заставлять нашу модель уменьшать собственные ошибки.

В следующей серии: производные. И да, там снова будут графики.

Спасибо за внимание! Если увидели ошибку — пишите в комментариях. Пока предел моего терпения к математике ещё не достигнут.

Рекомендуйте канал своим друзьям, знакомым и пишите @vsos_ai, чтобы он наконец прорекламил мой ТГК, как обещал.