Machine Learning 102. На пальцах о развитии нейросетей и о том, почему прогресс часто связан с практическими «костылями».

Machine Learning 102: как устроены нейросети, если объяснять концептуально и «на пальцах»

Константин Бузановский разобрал эволюцию нейронных сетей — от самых первых проб до нынешних моделей. Его мысль: многие скачки в машинном обучении появляются не из «внезапных озарений», а из практичных обходных решений, которые закрывали конкретные прикладные проблемы.

Далее Константин прошёлся по ключевым этапам развития ИИ.

Он объяснил, что любая большая нейросеть собирается из простых линейных «маленьких» нейронок, выстроенных в слои. Также он выделил три причины, из‑за которых нейросети со временем разрослись до гигантских размеров.

Поскольку современные LLM очень большие, для работы с ними применяют отдельные методы.

И ещё один вывод: с 2017 года не появилось ни одного по‑настоящему нового принципиального типа слоя. Вместо этого индустрия продолжает решать задачи за счёт наращивания вычислений — и этот подход всё ещё даёт результат.
https://vas3k.club/post/20548/