1 октября 2024 г.
Сергей Лукашкин, директор научно-образовательного центра «Цифровые технологии в образовании» ВШМ СПбГУ — о том, что важного происходит в сфере ИИ-технологий и каким видят их будущее главные визионеры эпохи.
«ИИ-пузырь» вот-вот лопнет?
После небывалого хайпа вокруг генеративного ИИ все чаще звучат прогнозы о том, что «ИИ-пузырь» может вот-вот лопнуть — как это было с доткомами в конце 90-х-начале нулевых. Все это подогревается общим кризисом, падением акций IT-компаний на
Тревожный сигнал уже прозвучал — в свежем отчете Nvidia: в нем компания рассказала о 122%-м росте прибыли — против 200% в предыдущие годы, а основные поставщики чипов для Nvidia понесли рекордные убытки. Рынок сразу же отреагировал падением акций ИТ-гиганта и других корпораций. Если так пойдет и дальше, инвесторы и предприниматели могут потерять интерес к нейросетям, а ведь для обучения и развития LLM нужны огромные ресурсы.
Но есть и хорошие новости. Во-первых, волной кризиса доткомов смыло, в первую очередь, нежизнеспособные компании, которые расплодились на фоне хайпа, чтобы собрать рекордные инвестиции. Тогда как настоящие гиганты — вроде Apple, Google и Microsoft — выстояли, а вслед за ними лидерство на рынке захватили Netflix, Amazon и другие. Во-вторых, нейросети по-прежнему останутся стимулом для инноваций и прорывов, а ушедшие стартапы станут источником ценных кадров для оставшихся.
ChatGPT-5 — новый «квантовый скачок»?
OpenAI готовится к выходу GPT-5 (он же Strawberry), который обещает стать настоящим прорывом по сравнению с предыдущими моделями. Среди его главных фишек отмечают следующие:
- результат в 90%++ на тесте MATH — то есть чемпионский уровень при решении задач математических олимпиад;
- существенное улучшение логических и дедуктивных способностей при решении алгоритмических головоломок;
- способность решать более сложные задачи программирования — например, оптимизация кода;
- алгоритмы для долгосрочного планирования и имитации стратегического мышления.
За счет этих улучшений разработчики надеются, во-первых, обойти конкурентов, а во-вторых — сформировать датасет из более качественных данных для дообучения новой модели ИИ, которая пока находится в стадии разработки. В этом компании помогут сами пользователи ChatGPT, которые будут оценивать и ранжировать полученные от нейросети ответы.
Все это заметно приближает нас к AGI, который сможет «думать» и принимать решения самостоятельно. Пока что одним из главных препятствий остаются так называемые галлюцинации больших языковых моделей (LLM): то есть типичные ошибки, которые совершают нейросети при решении задач, генерации текстов, видео и изображений. Например, выдают неконтролируемые результаты, причины которых непонятны даже разработчикам: оценивают слишком поверхностно, нарушают привычную логику, анатомию и пропорции. Эти ошибки особенно критичны в тех случаях, когда ИИ отвечает за важные бизнес-процессы: общение с клиентами, обработку персональных и платежных данных.
SLM: меньше, да лучше
Один из главных способов для борьбы с галлюцинациями ИИ — это качество датасетов для обучения. Многие LLM обучаются на данных, которые никак не фильтруются и не ранжируются, потому что это требует огромных затрат. На помощь приходят SLM — малые языковые модели, которые Microsoft назвала одним из главных ИИ-трендов 2024 года.
В отличие от больших языковых моделей (LLM), обученных на огромных массивах данных, SLM используют небольшие объемы, но лучшего качества, поэтому работают точнее. Под «небольшими объемами» обычно понимают от 1 до 10 млн параметров, тогда как LLM работают со 100+ млн.
Чтобы добиться более качественных данных, используют дистилляцию, обрезку и квантование, а также — более эффективные нейронные архитектуры, которые помогают оптимизировать работу SLM. В итоге получаются сравнительно недорогие нейросети, с которыми можно работать даже со смартфона, при этом данные будут максимально релевантны для вашей области и задач. Свои SLM уже есть у той же Microsoft, Google, OpenAI, Meta*.
ИИ наступает программистам на пятки
О том, что ИИ заменит разработчиков, говорили давно. Но теперь появился реальный кейс, который убедит даже отъявленных скептиков: ИИ-ассистент сэкономил компании Amazon 4500 лет разработки и около 260 млн долл. Речь об ассистенте Amazon-Q на базе genAI, который не просто выполнил работу вместо живых программистов, но и выдал результат, где в 79% кейсов не обнаружили ни одной ошибки. Если раньше компания тратила 50 рабочих дней на релиз одного обновления, то теперь ИИ справляется с этим за несколько часов — при минимальной помощи разработчиков.
Остается открытым вопрос, заменит ли ИИ топ-менеджмент в бигтехе? Такие разговоры тоже велись: Мустафа Сулейман, соучредитель Google DeepMind, заявил, что в ближайшие пять лет ИИ сможет сам создавать компании и управлять ими в качестве СЕО. При этом ИИ-директоры будут обходиться дешевле, чем живые и приносить больше прибыли. Гонконгский разработчик онлайн-игр NetDragon Websoft уже посадил ИИ на место гендиректора, и в итоге акции компании выросли на 10%. Коммерческий директор IBM Роб Томас возражает: «ИИ не заменит управленцев. Но их точно заменят те, кто использует ИИ в своей работе».
В ожидании сингулярности
Футуролог и техноевангелист Курцвейл в своей последней книге «Сингулярность все ближе» заявляет, что среди нас уже есть человек, который доживет до 1000 лет. И все благодаря биотехнологиям, в том числе на базе ИИ. Главные перспективы Курцвейл видит в технологиях, которые позволят отключить в наших клетках механизм, из-за которого они накапливают всевозможные сбои во время размножения. Это позволит нашему организму оставаться молодым максимально долго и приблизит нас к бессмертию.
Первым шагом на пути к этому, по мнению футуролога, станут прорывные биотехнологии
Источник: Сергей Лукашкин, директор научно-образовательного центра «Цифровые технологии в образовании» ВШМ СПбГУ
