Бесшовная миграция AI-сервиса и клиентских проектов с зарубежного облака

О компании

Raft — ИТ-компания, занимается разработкой и интеграцией решений на базе больших языковых LLM-моделей. Ключевые направления: создание и внедрение AI-сервисов, прототипов для проверки бизнес-гипотез, профессиональный AI-консалтинг.

«Мы внедряем решения Raft в различные бизнесы, работаем как с российскими, так и с зарубежными компаниями. Следим за трендами, пробуем новые решения, дорабатываем Open Source-инструменты для AI-приложений. Сейчас у нас более 30 клиентов и 120 разработчиков»

Александр Константинов

CTO Raft 

Как Raft помогает бизнесу? 

AudioInsights — основной продукт Raft. Представляет собой сервис для анализа аудио и текстовых коммуникаций на базе искусственного интеллекта. Позволяет преобразовывать аудио в текст и оценивать диалог с помощью большой языковой модели. Помогает бизнесу оперативно выявлять отклонения в работе с новыми и действующими клиентами, оценивать работу сотрудников и, как следствие, отлаживать процессы, повышать эффективность продаж и удовлетворенность клиентов. Обеспечивает интеграцию с АТС и CRM. 

В AudioInsights является гибкой технологической платформой, где можно сконфигурировать ML-модели для анализа коммуникаций. В отличие от оператора, который в среднем может прослушать и оценить 20-30 записей в день, AudioInsights  способен обрабатывать таких заявок до нескольких десятков тысяч в месяц. Используя возможности сервиса, компании получают бизнес-метрики с качеством, гораздо лучшим, чем у людей. 

Кроме того решение поддерживает проприетарные модели OpenAI, YandexGPT, GigaChat и модели на базе LLama, Mistral.Такой подход позволяет крупным компаниям гибко настраивать нужные комбинации моделей под разные задачи в рамках одного окна. 

Помимо AudioInsights, Raft разрабатывает различные решения на базе LLM для автоматизации процессов — чат-боты, автоматизация линии поддержки, суммаризация данных, автоматизация переводов.

Задачи клиента

Raft всегда использовал облака — это простой, эффективный способ ведения и масштабирования бизнеса. Облачная инфраструктура позволяет быстро развернуть необходимую среду для разработки и тестовых окружений, ускоряет time-to-market продуктов без дополнительных финансовых вложений. 

Ранее клиент работал с технологичными гигантами Azure, GCP, Amazon, Digital Ocean и российскими провайдерами. Но с уходом иностранных вендоров зарубежные сервисы стали недоступны, возникла необходимость в миграции. Компания искала провайдера, который  смог бы предоставить решения, аналогичные зарубежным. Сюда входили Kubernetes, S3, базы данных и Apps для автоматического деплоя приложений. К тому же части клиентов требовалось надежное хранение персональных данных на территории России и соответствие ФЗ-152. 

Почему выбрали Timeweb Cloud 

«Мы познакомились с Timeweb Cloud на конференции TeamLead Conf, рассказали о проблемах и ребята предложили свои сервисы. На старте мы решили оценить и посмотреть, как всё работает. Одновременно с этим начали сотрудничать с Timeweb Cloud по части AI: тренировать модели и консультировать коллег в этом направлении. В результате случился двойной мэтч: как партнерский, так и клиентский. Нам всё понравилось. Дальше мы перенесли сервисы с зарубежной площадки в Timeweb Cloud, на миграцию ушло 2 недели»

Александр Константинов

CTO Raft 

Решение

• VDS для запуска сред и окружений
  Raft использует виртуальные серверы для развертывания сред Kubernetes — они работают как прокси с провайдерами AI-моделей Anthropic или OpenAI. 
  
  Здесь же разворачиваются тестовые окружения, включая Apache Superset с различными инстансами, которые нужны для аналитики и интеграции с приложениями. На виртуальных машинах запущены Runners для GitHub, что позволяет делать сборки и настраивать CI/CD.
• Kubernetes для собственного продукта
  Требуется для работы сервиса AudioInsights — представляет собой набор микросервисов, развернутых на базе отказоустойчивого кластера. Использует два типа окружений — для девелопмента с маленьким количеством нод и для продакшена с большим числом узлов, чтобы обеспечить стабильную работу.
• S3 для хранения файлов
  Здесь размещаются клиентские файлы, включая аудиозаписи, текстовую информацию — все, что анализируется и хранится для истории.  От S3 требуется простота, надежность хранения данных и низкая стоимость.

Мнение Raft

«Мигрировав сервисы на площадку провайдера, мы снизили эксплуатационные расходы и получили готовую облачную среду. Для нас важна доступность, наличие необходимых инструментов и понятных инструкций. Немаловажную роль играет техническая поддержка, которая может оперативно помочь. У нас возникали некоторые сложности при работе с базами данных. Команда саппорта нас консультировала и мы быстро закрывали проблемы»

Александр Константинов

CTO Raft 

Результаты 

• Перенос ключевого сервиса в облако
  AudioInsights размещается в облачной инфраструктуре Timeweb Cloud, используется большое количество микросервисов:
• Backend — это API, с которым взаимодействует интерфейс.
• Интерфейс — приложение на React.
• Коннекторы — обеспечивают связанность с CRM и различными AI-провайдерами.
• Воркеры — отвечают за основные процессы, обрабатывают очередь, которая хранится в масштабируемой базе данных. Здесь отмечается наибольшая нагрузка, в случае необходимости новые инстансы добавляются автоматически. 
• Моментальное масштабирование
  Облако Timeweb Cloud позволяет оперативно подключать новые ресурсы, быстро запускать прототипы, использовать большие и небольшие базы данных для разработки — это обходится дешевле по сравнению с зарубежными сервисами.
• Автоматизация процессов RnD
  Платформа с открытым исходным кодом MLflow, размещенная в облаке, позволяет автоматизировать решение задач собственного RnD-отдела. Команда занимается изучением и тренировкой ML-моделей.
• Реализация клиентских проектов
  В облаке Timeweb Cloud размещаются клиентские проекты и бизнес-критичные сервисы. Особо крупные клиенты работают в контуре и чаще всего используют облако для разработки и развертывания тестовых сред.

Планы

• Оптимизация процессов
  В планах Raft — развиваться дальше, как AI-ориентированная компания, увеличить число клиентов, оперативно масштабировать проекты, запускать необходимое количеств dev- и продакшн-сред. 
• Инвестиции в Open Source-модели
  Бизнес всё чаще смотрит в сторону изолированных моделей на базе Open Source. Raft планирует развивать это направление и усиливать уровень информационной безопасности.