21 декабря 2020 г.

В рамках технологического конкурса Up Great ПРО//ЧТЕНИЕ завершился первый цикл испытаний и объявлены победители номинаций «Грамматика» и «Грамматика.Eng».

Конкурс Up Great ПРО//ЧТЕНИЕ направлен на создание ИИ-ассистента, способного помогать учителям выявлять логические, фактические, стилистические и другие смысловые ошибки в сочинениях школьников по русскому языку, литературе, истории, обществознанию и английскому языку. Цель конкурса — стимулирование развития технологий сильного искусственного интеллекта и поддержка сообщества разработчиков в области машинного обучения.

В первом цикле конкурса приняли участие более 180 команд разработчиков. По результатам квалификации до испытаний были допущены 11 команд, показавших эффективные решения. В рамках испытаний ИИ-ассистенты проверили по 500 эссе и сочинений ЕГЭ на русском языке и столько же — на английском. Автоматизированная платформа сопоставила тексты, проверенные ИИ-ассистентами и реальными педагогами, и выявила наиболее качественные решения.

Победители специальных номинаций «Грамматика» и «Грамматика. Eng», чьи ИИ-системы корректно определили наибольшее количество грамматических и речевых ошибок, разделили призовой фонд в 20 млн руб.

Итоги номинации «Грамматика» для текстов на русском языке:

  1. «Ракета» (разработчики из МФТИ и МГУ им. Ломоносова) — 1-ое место, 7 млн руб.
  2. «Антиплагиат» (разработчики «Антиплагиат») — 2-ое место*
  3. Chemist (разработчики из МФТИ) — 3-е место, 2 млн руб.
  4. NugumanovTeam (разработчики из Уфы) — 4-ое место, 1 млн руб.

* В соответствии с регламентом конкурса одна команда может претендовать на призовой фонд только в одной из номинаций. Команда «Антиплагиат» заняла 2-ое место как в номинации «Грамматика», так и в номинации «Грамматика.ENG». По решению команды денежный приз вручается в номинации «Грамматика.ENG»

Итоги номинации «Грамматика.ENG» для текстов на английском языке:

  1. «НейроЧтение» (разработчики DeepPavlov) — 1-ое место, 7 млн руб.
  2. «Антиплагиат» (разработчики «Антиплагиат») — 2-ое место, 2 млн руб.
  3. «Наносемантика» (разработчики «Нейросети Ашманова» и сервиса ОРФО) — 3-е место, 1 млн руб.

В рамках основной задачи конкурса пока ни одна команда не достигла результата, соответствующего уровню педагогов. Участники смогут вновь побороться за призовой фонд конкурса в размере 200 млн руб. на испытаниях второго цикла, запланированных на весну 2021 года. В ходе анализа текстов на русском языке лучший промежуточный результат показала команда «Антиплагиат» (уровень точности — 57,8%). Для английского языка наиболее качественное решение продемонстрировала команда «НейроЧтение» (уровень точности — 84,5%). В числе лидеров оказалась и команда из Санкт-Петербурга Seedh AI, а также команды «Ракета» и «Наносемантика». На данном этапе ИИ-ассистенты участников наиболее успешно справились с выявлением лексических, грамматических и речевых ошибок. Наибольшие сложности возникают при определении логических ошибок.

Решения участников планируются к пилотному внедрению и эксплуатации в 2021-22 гг. в ряде школ в разных регионах России.

Юрий Молодых, глава оргкомитета технологического конкурса Up Great ПРО//ЧТЕНИЕ, рассказывает: «Результаты испытаний показали, что задача по созданию ИИ-ассистента, способного выявлять все типы смысловых ошибок в текстах, вполне решаема на базе существующих технологий. Команды показали эффективные решения, которые уже сейчас могут использоваться как эффективный помощник учителя в школе. Такой помощник сможет облегчить ежедневную рутинную работу педагога, позволив учителям сконцентрировать свои усилия на наиболее важных и сложных педагогических задачах, формировании логического и критического мышления».

Михаил Бурцев, заведующий Лабораторией нейронных систем и глубокого обучения МФТИ, команда «НейроЧтение», поделился: «Мы очень рады, что удалось создать лучшую систему для проверки эссе на английском и занять первое место в номинации по английской грамматике. В этом нам помогла наша библиотека DeepPavlov, на ней был построен оркестратор аннотаторов ошибок и навыков по их исправлению. Высокая скорость обработки сочинения — всего 5-6 секунд — подтвердила, что библиотека готова работать с большими объемами данных в условиях реальной индустриальной нагрузки. И, конечно, командная работа нашей лаборатории и поддержка Физтеха были мощнейшими факторами на пути к победе. Надеюсь, что мы сможем и в дальнейшем принять участие в конкурсе, хотя для преодоления поставленного технологического барьера может понадобиться не один год».

Юрий Чехович, исполнительный директор «Антиплагиат», сказал: «Мы впервые участвовали в конкурсе, который не касался области нашей основной компетенции — обнаружения заимствований в текстах. И, конечно, мы рады, что результаты нашего решения для русского языка подтвердили компетенции команды „Антиплагиат“. Уверен, что нам по силам на предстоящих этапах преодолеть технологический барьер, то есть создать решение, которое будет оценивать письменные работы не хуже живого преподавателя».

Технологический конкурс Up Great ПРО//ЧТЕНИЕ организован РВК, Фондом «Сколково» и АСИ в рамках реализации Национальной технологической инициативы, при поддержке АНО «Школьная лига Роснано» и ДВФУ. Технический партнер конкурса — Центр компетенций НТИ по направлению «Искусственный интеллект» на базе МФТИ.

Источник: Пресс-служба организаторов конкурса Up Great