Исследователи разработали размерность Патнаика-Пирсона — метрику, которая измеряет внутреннюю размерность данных, создаваемых нейронными сетями. Этот показатель связывает современные теории обучения с поведением трансформеров, сообщает Naked Science. Эту информацию сообщает сайт Мой Альметьевск.
Внутренняя размерность показывает, насколько сложные данные обрабатывает модель. Традиционные методы, например анализ ближайших соседей, часто ненадежны. Новый подход сопоставляет статистические моменты и свойства распределения Парето, что повышает точность.
Анализ показал: для пространств с примерно тысячей измерений размерность Патнаика-Пирсона составляет около 0,6. Это значит, что данные концентрируются в пространстве, близком к двумерному, что упрощает обучение.
Исследование выявило связь нового метода с концепцией саморегуляризации для тяжелохвостых распределений. Показатель размерности напрямую связан с параметром, используемым в методе саморегуляризации.
Архитектура трансформеров опирается на механизм самовнимания, который вычислительно затратен. Внутренняя размерность данных может уменьшаться по мере прохождения информации через слои модели, что позволяет разрабатывать более эффективные архитектуры.