Исследователи из Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ вместе с международной командой нашли способ сократить ресурсы, необходимые для машинного обучения. Они разработали новый метод оценки неопределенности для стохастического градиентного спуска (SGD). Результаты опубликованы в CNews. Об этом пишет издание Самара онлайн 24.
Стохастические алгоритмы, в том числе SGD, активно применяются в оптимизации и машинном обучении. Ключевая характеристика их решений — доверительный интервал. Он показывает диапазон, где с высокой вероятностью находится истинное решение. Традиционные методы его вычисления требуют сложных статистических оценок и могут быть затратными по времени и ресурсам.
Ученые проанализировали популярный подход к оценке доверительных интервалов для усредненного SGD. Этот подход не требует повторного обучения модели и сложных вычислений. Они доказали, что метод корректно воспроизводит распределение усредненного решения SGD без явной оценки предельной ковариации.
Марина Шешукова, младший научный сотрудник лаборатории стохастических алгоритмов, пояснила: математическое доказательство позволяет пересмотреть подход к эмпирическим методам оценки точности в машинном обучении. Это особенно важно в таких областях, как медицина и финансы.