Нейросеть от МТИ заменит дата-аналитиков

Новая автоматизированная система от ученых из МТИ работает в 100 раз быстрее живых аналитиков. Ее разработчики говорят, что анализ данных уже показал свою практическую важность, а сделать его еще эффективнее может только автоматизация и машинное обучение, пишет MIT News.

Сегодняшний анализ данных помогает решать целый ряд проблем. С ним магазины могут узнать, когда и какие программы лояльности эффективнее всего применять. Банки способны отследить подозрительные транзакции в автоматическом режиме. А деканаты университетов могут получить картину того, сколько студентов, предположительно, не дотянут до следующего семестра. Это эффективный инструмент, но на каждом этапе его работы требуется человек. Именно он выбирает лучший, по его мнению, алгоритм для конкретной ситуации, а потом мучается вопросом: «А что, если бы я использовал другой алгоритм? Может, задачу получилось бы решить проще и эффективнее?».

В частности для борьбы с муками выбора команда из МТИ разработала ИИ-систему Auto-Tuned Models (ATM). Она сама выбирает лучший метод из десятков возможных. Система не всегда работает лучше человека. Чтобы сравнить ATM с людьми, исследователи протестировали систему против живых пользователей на платформе openml.org. ATM проанализировала 47 наборов данных с платформы и смогла составить решение, превосходящее человеческое в 30% случаев. В оставшихся она работала либо не хуже, либо незначительно отставая от человека. Но это, если говорить о качестве. По скорости человек уже не может сравниться с ней. С задачами, на которые у человека ушло бы 100 дней, ИИ справлялся за сутки.

Система параллельно сравнивает сотни и даже тысячи различных моделей, используя облачные вычисления. Она оценивает каждую из моделей, постепенно отдавая самым многообещающим больше вычислительных мощностей, а неэффективные оставляя за бортом. В итоге выявляются лучшие и худшие. Но ученые говорят, что ИИ не просто слепо выдает какой-то алгоритм, он предоставляет распределение, получившееся во время теста. С ним ученые могут сравнить каждый конкретный алгоритм, определить затраты, необходимые для него и более рационально подойти к выбору. В результате проблема «А что, если?» становится менее глобальной.

Источник