20 Ноября 2024 12:34 20 Ноя 2024 12:34 |

Поделиться

Как RobotMIA запустила более 400 роботов в облаке Selectel

Инфраструктура для голосовых роботов

Компания RobotMIA с 2017 г. специализируется на технологиях машинного обучения, искусственного интеллекта и понимании естественного языка. Профиль компании — разработка голосовых роботов для call-центров. Продукты компании используются в ритейле, логистике, медицине и других сферах.

Изначально компания размещала свои сервисы на инфраструктуре небольшого провайдера. По мере развития бизнеса ее аренда становилась все более дорогой. Кроме того, новые крупные клиенты стали требовать соблюдения соответствия требованиям российского законодательства и размещения серверов как можно ближе к своему местоположению.

RobotMIA начала поиск другого провайдера. После изучения имеющихся на рынке предложений выбор пал на компанию Selectel.

Как выбрать провайдера

RobotMIA сформулировала четкие требования: высокая производительность инфраструктуры, возможность настройки геораспределения запросов в зависимости от трафика, обеспечение работы с большими языковыми моделями, оптимальное хранение большого объема данных и оперативная техническая поддержка. И, конечно, RobotMIA хотелось найти надежного партнера, предлагающего услуги с оптимальным соотношением цены и качества.

Производительность инфраструктуры

Голосовые роботы компании RobotMIA работают на основе нейросетей, обучаемых под задачи каждого клиента. Эти роботы «живут» внутри диалоговой платформы и действуют по скрипту. Во время звонка транскрибатор переводит голос абонента в текст, который анализируется нейросетью. Текст позволяет роботу принять решение, что делать дальше: ответить голосом, обратиться к API, отправить СМС и т.д.

Для клиентов в данном случае важно, чтобы робот отвечал быстро. Адекватное время ответа — от 0,5 до 1,5 секунды. На него влияет, прежде всего, железо, на котором функционируют роботы. RPA-платформы не так требовательны к вычислительным ресурсам, как, например, большие языковые модели. Тем не менее, опыт экспериментов RobotMIA показывает, что недостаток мощностей может увеличить время ответа до неприемлемых 3-5 секунд. Это особенно важно в период пиковых нагрузок, когда у одного клиента может одновременно работать более 100 телефонных линий.

RPA-платформа компании RobotMIA развернута на облачных серверах Selectel. Одного ядра процессора, как правило, хватает, чтобы обслуживать до двух разговоров с роботом одновременно. Исходя из этого соотношения компания арендует необходимую ей инфраструктуру. Микросервисы успевают выполнить транскрибацию, геопоиск, синтез речи и другие задачи, а роботы отвечают быстро и не прекращают работу в моменты пиковых нагрузок.

Настройка геораспределения запросов

Физическая удаленность конечного пользователя от сервера — один из факторов, напрямую влияющих на удобство работы с RPA-платформой. Большинство клиентов компании RobotMIA находятся в Москве и Санкт-Петербурге, то есть близко к дата-центрам Selectel. Но есть также клиенты из Сибири и с Дальнего Востока. Иногда сигналу требуется 50-60 дополнительных миллисекунд, чтобы добраться из Москвы до этих пользователей. В целом, в случае с голосовыми роботами это не критично, но для минимального времени ответа лучше, когда клиент и сервер находятся рядом друг с другом.

Облачная платформа Selectel размещена в нескольких регионах: в Москве и Санкт-Петербурге на базе собственных дата-центров провайдера, в Новосибирске и Казахстане — на базе партнерских. Это дало возможность распределить сервисы RobotMIA по инфраструктуре Selectel в разных дата-центрах. В будущем RobotMIA планирует дополнительно использовать Direct Connect. Услуга поможет ускорить геораспределение трафика.

Работа с большими языковыми моделями

Роботы выполняют заранее заданный скрипт. С одной стороны, это исключает риск ошибок и некорректных ответов. С другой, сдерживает робота, ведь он не может сделать свой ответ еще точнее и полезнее. Более совершенными в этом плане кажутся большие языковые модели (LLM, Large Language Model).

Проблема в том, что большинство готовых решений, например ChatGPT, являются публичными и размещаются на стороне третьих лиц. Это не устраивает некоторых клиентов RobotMIA: им важно, чтобы большая языковая модель «жила» внутри закрытого контура. Кроме того, LLM гораздо более требовательны к инфраструктуре — им нужны производительные серверы с GPU как для обучения, так и для работы.

Сразу после миграции к RPA-платформе RobotMIA подключили ML-платформу Selectel. В рамках эксперимента на ней развернули среду для обучения и тестирования LLM. Компания смогла без проблем интегрировать платформу в систему своих сервисов, провести дообучение языковой модели и запустить генерацию ответов. LLM пока используется преимущественно во внутренних процессах. К тому же, компания активно экспериментирует с выбором наиболее подходящей модели.

Эксплуатация ML-платформы позволила сделать два вывода. Во-первых, нет технических ограничений для того, чтобы большая языковая модель работала в закрытом контуре, не выходя в интернет. Во-вторых, сама платформа легко интегрируется с другими сервисами и продуктами, поэтому можно развивать бизнес с помощью больших языковых моделей.

Хранение большого объема данных

Сервисы RobotMIA каждый день генерируют огромное количество данных. Прежде всего, это несколько миллионов записей звонков в сутки. Компании было важно иметь быстрый и удобный доступ к этим данным, а также настроить их автоматическое удаление. Для удобства работы требовались также понятный простой API, быстродействие и стабильность хранилища, низкая стоимость услуги и полная отчетность.

Selectel предложил использовать объектное хранилище. С одной стороны, оно позволяет хранить практически неограниченные объемы данных. С другой, гибкие настройки дают возможность экономить ресурсы. Например, задать период времени, по прошествии которого информация автоматически удаляется. Так сотрудникам компании не приходится заниматься этой работой вручную или писать какие-то специализированные скрипты.

Репутация и стоимость услуг

Немаловажным фактором при выборе провайдера стали репутация Selectel на рынке, доверие к компании со стороны крупных заказчиков, а также конкурентная цена в сочетании с высоким уровнем технической поддержки.

Таким образом, благодаря сотрудничеству с Selectel компании RobotMIA удалось создать комфортные условия для пользователей при общении с голосовыми роботами и научить роботов предоставлять пользователям максимально релевантные ответы. На сегодняшний день на RPA-платформе создано более 400 видов роботов с разными сценариями, голосами и поведением. Инфраструктура Selectel позволяет одновременно запустить несколько тысяч роботов и обеспечить их производительную работу.

Поделиться

Короткая ссылка