Полет технологической фантазии
ИИ пока далек от человеческого интеллекта, однако попытки приблизить технологии к творческим возможностям людей не прекращаются. Для этого развиваются технологии генеративного ИИ (Generative Artificial Intelligence). Исследователи не теряют надежды обучить ИИ творческим способностям, ведь в работе писателя, художника или аниматора рутины хватает.
Под генеративным ИИ, согласно Gartner, понимается метод машинного обучения, при котором нейросеть изучает массив данных (фотографии, видео или текст) и на основе анализа создает собственный контент. Аналитики Gartner называют генеративный ИИ в числе стратегических технологических трендов 2022 года. К 2025 году Gartner ожидает, что на генеративный ИИ будет приходиться 10% всех производимых данных, тогда как сегодня его доля не превышает 1%.
От ввода СМС до генерации текста
Пожалуй, впервые масштабная генерация текста стала доступна в 90-х годах. Речь идет о подсказках при наборе СМС на клавиатуре телефона. Однако применение искусственного интеллекта в процессе генерации текста началась сравнительно недавно.
В 2018 году американская компания OpenAI создала первый алгоритм обработки естественного языка GPT (Generative Pre-trained Transformer). Алгоритм работает по принципу автодополнения: вы вводите начало текста, а программа генерирует наиболее вероятное его продолжение.
По словам профессора Santa Fe Institute, главы AI-подразделения Google Маргарет Митчелл, развитие генеративного ИИ стало возможным благодаря новым технологиям. «Особенно в этом процессе помогает использование суперкомпьютеров и огромных объемов данных. С помощью Интернета ИИ имеет доступ к огромному количеству созданных человеком текста и изображений», – сказала она.
В настоящее время доступно третье поколение GPT. В отличие от GPT-2 количество используемых параметров увеличилось более чем в 100 раз: с 1,5 до 175 млрд. Обучение модели происходило на суперкомпьютере Microsoft Azure AI. По состоянию на сентябрь 2020 года GPT-3 была самой крупной и продвинутой языковой моделью в мире. Правда, ориентирована она на решение задач на английском языке.
Как искусственный интеллект учит русский язык
Однако русский язык более сложен с точки зрения структуры. Первое качественное и масштабное решение для генерации текста на русском языке представил «Сбер» на AI Journey – 2020. Речь идет о русскоязычной нейросети ruGPT-3. ruGPT-3 (Generative Pre-trained Transformer) может создавать очень сложные, осмысленные тексты по одному запросу на «человеческом» языке. Среди возможностей RuGPT-3 – создание текстов любой направленности: от новостей до пародий, от технической документации до романов. RuGPT-3 умеет исправлять грамматические ошибки, поддерживать диалог и писать программный код.
В 2020 году на момент
премьеры количество ее параметров достигало 760 млрд. В январе 2022 года была
представлена обновленная версия решения с 1,3 млрд параметрами.