Больше не нужно искать работу мечты — присоединяйтесь к команде Клауда

Бесшовная миграция AI-сервиса и клиентских проектов с зарубежного облака

Разработка
VDS
Выделенные серверы
Kubernetes
Logo
Logo

Задача

Перенос сервисов с площадки зарубежного провайдера в российское облако, безопасное хранение персональных данных по ФЗ-152

Решение

Предоставление облачной инфраструктуры для клиентских проектов, хранение персональных данных заказчиков в аттестованном облаке

Стек технологий

VDS, Kubernetes, S3, базы данных, Apps, балансировщик нагрузки, выделенный канал передачи данных

О компании

Raft — ИТ-компания, занимается разработкой и интеграцией решений на базе больших языковых LLM-моделей. Ключевые направления: создание и внедрение AI-сервисов, прототипов для проверки бизнес-гипотез, профессиональный AI-консалтинг.

«Мы внедряем решения Raft в различные бизнесы, работаем как с российскими, так и с зарубежными компаниями. Следим за трендами, пробуем новые решения, дорабатываем Open Source-инструменты для AI-приложений. Сейчас у нас более 30 клиентов и 120 разработчиков»

Александр Константинов

Александр Константинов

CTO Raft 

Как Raft помогает бизнесу? 

AudioInsights — основной продукт Raft. Представляет собой сервис для анализа аудио и текстовых коммуникаций на базе искусственного интеллекта. Позволяет преобразовывать аудио в текст и оценивать диалог с помощью большой языковой модели. Помогает бизнесу оперативно выявлять отклонения в работе с новыми и действующими клиентами, оценивать работу сотрудников и, как следствие, отлаживать процессы, повышать эффективность продаж и удовлетворенность клиентов. Обеспечивает интеграцию с АТС и CRM. 

В AudioInsights является гибкой технологической платформой, где можно сконфигурировать ML-модели для анализа коммуникаций. В отличие от оператора, который в среднем может прослушать и оценить 20-30 записей в день, AudioInsights  способен обрабатывать таких заявок до нескольких десятков тысяч в месяц. Используя возможности сервиса, компании получают бизнес-метрики с качеством, гораздо лучшим, чем у людей. 

Кроме того решение поддерживает проприетарные модели OpenAI, YandexGPT, GigaChat и модели на базе LLama, Mistral.Такой подход позволяет крупным компаниям гибко настраивать нужные комбинации моделей под разные задачи в рамках одного окна. 

Помимо AudioInsights, Raft разрабатывает различные решения на базе LLM для автоматизации процессов — чат-боты, автоматизация линии поддержки, суммаризация данных, автоматизация переводов.

Задачи клиента

Raft всегда использовал облака — это простой, эффективный способ ведения и масштабирования бизнеса. Облачная инфраструктура позволяет быстро развернуть необходимую среду для разработки и тестовых окружений, ускоряет time-to-market продуктов без дополнительных финансовых вложений. 

Ранее клиент работал с технологичными гигантами Azure, GCP, Amazon, Digital Ocean и российскими провайдерами. Но с уходом иностранных вендоров зарубежные сервисы стали недоступны, возникла необходимость в миграции. Компания искала провайдера, который  смог бы предоставить решения, аналогичные зарубежным. Сюда входили Kubernetes, S3, базы данных и Apps для автоматического деплоя приложений. К тому же части клиентов требовалось надежное хранение персональных данных на территории России и соответствие ФЗ-152. 

Почему выбрали Timeweb Cloud 

«Мы познакомились с Timeweb Cloud на конференции TeamLead Conf, рассказали о проблемах и ребята предложили свои сервисы. На старте мы решили оценить и посмотреть, как всё работает. Одновременно с этим начали сотрудничать с Timeweb Cloud по части AI: тренировать модели и консультировать коллег в этом направлении. В результате случился двойной мэтч: как партнерский, так и клиентский. Нам всё понравилось. Дальше мы перенесли сервисы с зарубежной площадки в Timeweb Cloud, на миграцию ушло 2 недели»

Александр Константинов

Александр Константинов

CTO Raft 

Решение

  • VDS для запуска сред и окружений
    Raft использует виртуальные серверы для развертывания сред Kubernetes — они работают как прокси с провайдерами AI-моделей Anthropic или OpenAI. 

    Здесь же разворачиваются тестовые окружения, включая Apache Superset с различными инстансами, которые нужны для аналитики и интеграции с приложениями. На виртуальных машинах запущены Runners для GitHub, что позволяет делать сборки и настраивать CI/CD.
  • Kubernetes для собственного продукта
    Требуется для работы сервиса AudioInsights — представляет собой набор микросервисов, развернутых на базе отказоустойчивого кластера. Использует два типа окружений — для девелопмента с маленьким количеством нод и для продакшена с большим числом узлов, чтобы обеспечить стабильную работу.
  • S3 для хранения файлов
    Здесь размещаются клиентские файлы, включая аудиозаписи, текстовую информацию — все, что анализируется и хранится для истории.  От S3 требуется простота, надежность хранения данных и низкая стоимость.

Мнение Raft

«Мигрировав сервисы на площадку провайдера, мы снизили эксплуатационные расходы и получили готовую облачную среду. Для нас важна доступность, наличие необходимых инструментов и понятных инструкций. Немаловажную роль играет техническая поддержка, которая может оперативно помочь. У нас возникали некоторые сложности при работе с базами данных. Команда саппорта нас консультировала и мы быстро закрывали проблемы»

Александр Константинов

Александр Константинов

CTO Raft 

Результаты 

  • Перенос ключевого сервиса в облако
    AudioInsights размещается в облачной инфраструктуре Timeweb Cloud, используется большое количество микросервисов:
    • Backend — это API, с которым взаимодействует интерфейс.
    • Интерфейс — приложение на React.
    • Коннекторы — обеспечивают связанность с CRM и различными AI-провайдерами.
    • Воркеры — отвечают за основные процессы, обрабатывают очередь, которая хранится в масштабируемой базе данных. Здесь отмечается наибольшая нагрузка, в случае необходимости новые инстансы добавляются автоматически. 
  • Моментальное масштабирование
    Облако Timeweb Cloud позволяет оперативно подключать новые ресурсы, быстро запускать прототипы, использовать большие и небольшие базы данных для разработки — это обходится дешевле по сравнению с зарубежными сервисами.
  • Автоматизация процессов RnD
    Платформа с открытым исходным кодом MLflow, размещенная в облаке, позволяет автоматизировать решение задач собственного RnD-отдела. Команда занимается изучением и тренировкой ML-моделей.
  • Реализация клиентских проектов
    В облаке Timeweb Cloud размещаются клиентские проекты и бизнес-критичные сервисы. Особо крупные клиенты работают в контуре и чаще всего используют облако для разработки и развертывания тестовых сред.

Планы

  • Оптимизация процессов
    В планах Raft — развиваться дальше, как AI-ориентированная компания, увеличить число клиентов, оперативно масштабировать проекты, запускать необходимое количеств dev- и продакшн-сред. 
  • Инвестиции в Open Source-модели
    Бизнес всё чаще смотрит в сторону изолированных моделей на базе Open Source. Raft планирует развивать это направление и усиливать уровень информационной безопасности.
21 июня 2024 г.
213
6 минут чтения
Средний рейтинг статьи: 5
VDS
Выделенные серверы
Kubernetes
S3
LLM
У вас похожая задача?
Вы можете бесплатно оценить возможности облачной
инфраструктуры и других ИТ-решений Timeweb Cloud.
Оставьте заявку, и мы свяжемся с вами, чтобы обсудить
ваш проект.
img-server
Комментарии 0