[Theory for AI] Линейная алгебра. Ортогонализация Грама-Шмидта
Представим, что у вас есть датасет с двумя переменными, которые почти линейно зависимы (так называемая коллинеарность). При обучении модели на таких данных можно столкнуться с переобучением или плохой обобщаемостью — например, одна из переменных может получить близкий к нулю вес. Как же заставить модель эффективно использовать всю информацию, содержащуюся в признаках? Ответ прост: проведите их ортогонализацию!