Представим, что у вас есть датасет с двумя переменными, которые почти линейно зависимы (так называемая коллинеарность). При обучении модели на таких данных можно столкнуться с переобучением или плохой обобщаемостью — например, одна из переменных может получить близкий к нулю вес. Как же заставить модель эффективно использовать всю информацию, содержащуюся в признаках? Ответ прост: проведите их ортогонализацию!
Первый пост из этой серии статей. Первые три задачи будут разминочными перед настоящим адом :)
Описание задачи:
В контексте машинного обучения, особенно при работе с последовательностями, необходимо эффективно обрабатывать данные переменной длины в параллельных вычислениях. Для этого можно дополнять короткие последовательности «пустыми» значениями до нужной длины, однако при этом расходуются дополнительная память для хранения и ценные вычислительные ресурсы на обработку «пустых» значений. В качестве альтернативы можно использовать взаимодополнение последовательностей, чтобы свести «пустые» значения к минимуму или избежать их вовсе. Ваша задача — упаковать $n$ объектов разных размеров в минимальное количество контейнеров с фиксированной вместимостью $c$.
Сегодня предлагаю поговорить про регуляризацию в классическом машинном обучении. Существует два вида регуляризации: Data regularization и Weight regularization. Оба этих метода направлены в основном на увеличение обобщающей способности модели.
Алгоритм разработан командой из DeepMind (подразделение Google, занимающиеся ИИ и известным проектами, такими как AlphaGo, AlphaZero, AlphaTensor и др.). Однако, учитывая их любовь к экспериментам со скрещиванием нейросетей и математических моделей, не удивительно, что этот алгоритм также получил эволюционное развитие.