Основы нейросетей

Заметил, что когда нужно разобраться в какой-либо айтишной теме, то на английском описание лучше и на треть короче, чем русский текст. На-русском, обычно, объясняют от общего к частному, т.е. методом дедукции, как Шерлок Холмс завещал. Сначала дают кучу формул, а потом цифры. Это очень неудобно, особенно для тех, у кого слабо развито абстрактное мышление. На английском наоборот, дают от частного к общему, т.е. индукцию. Сначала на пальцах считают цифры, а затем говорят какие формулы за этим стоят и почему формулы именно такие.

Наверно есть плюсы в обоих подходах. В дедуктивном подходе (условно, советском), если школьник не врубается в тему, он отваливается на уроке и на него не тратят время. Те же, кто прошел дальше, идут во всякие физматы, становятся перельманами, уезжают преподавать матан в американские университеты, получают нобелевку и отказываются от нее, сходят с ума и уезжают жить назад в Купчино и т.п. В индуктивном же подходе (американском) кривая обучения более пологая, больше людей можно научить. Опять же, это подходит для эмигрантов со слабым знанием языка. Сильно прокачаться в теории сложно, но быстро овладеть практическими знаниями вполне.

Есть такая байка про русского программиста в США. Он заметил, что данные записываются в одну таблицу, а потом прибавляются в нее же и нужно выдать результат. Он переписал функцию и просто выдал наружу return х*х; И все такие – вау! Гениальный русский придумал ФОРМУЛУ! Хотя смех смехом, но знакомого программиста с руками оторвали в какую-то контору в США, когда ему дали простую задачу найти элемент массива по условию, а он такой "ба, так это же задача на сортировку графа по теореме такой то!", применил алгоритм и вуаля. А не стал писать свой велосипед, что ОЧЕНЬ ценится в ИТ.

Ура! Заново понял, что такое производная и обратный процесс – интегрирование (восстановление функции по её производной). Геометрический смысл производной – тангенс угла наклона касательной к графику функции в заданной точке. Т.е. мера "крутизны" графика функции, насколько быстро она ускоряется. Так все просто! Все эти:

Для производной: (х^2)' = 2х, т.е. степень "х" становится множителем и степень уменьшается на 1.

Для интеграла: d(х^2)= (х^3)/3, т.е. интеграл f(х) – это найти такое значение функции, производная которой равна нашей (нашему родимому интегралу)

… а для сложных функций вообще чума: https://ru.wikipedia.org/wiki/Производная_функции#Таблица_производных

Эта как по телику когда говорят "В последний квартал уменьшились темпы снижения роста вывода капитала заграницу". Чтобы понять, что сказал диктор, надо всего-то, взять 5ую производную от денежного потока.

Надо копать дальше. Делать анализ 0..9 для MNIST. Для простого примера текущий код ОК, но вообще, выбрал плохую архитектуру структуры данных. Неудобно обновлять кучу массивов.