Октябрьский дайджест — видео и логи запросов в AI Gateway, PR-стенды и серверы с GPU

За окном то дождь, то первый снег — лучшее время остаться дома и разобраться с обновлениями. Тем более что новинок в октябре столько, что одной памяти на всех недостаточно. Поэтому мы выдали ее еще и AI-агентам.

Релизов хватит на пару вечеров: видео в AI Gateway, дашборд расходов, стенды для pull request и серверы с видеокартами. А в Амстердаме тем временем закончился переезд. И это только первая половина всего, что было. 

Смотрим все по порядку ↓

Переезд в Амстердаме завершен

Зона AMS-1 полностью переехала в дата-центр NorthC. Инфраструктуру перенесли один в один, с теми же конфигурациями и архитектурой.

За неполные три месяца перевезли 300 физических серверов, 65 000 виртуальных машин и оборудование примерно из 30 стоек. Десятки тысяч проектов всё это время продолжали работать. Вышло чуть дольше, чем мы рассчитывали, но быстрее, чем прошлый переезд в этой локации.

До конца года обновим магистраль и агрегацию, а в начале следующего повысим отказоустойчивость на уровне стоек. Параллельно ждем от площадки решения по расширению и смотрим дополнительные варианты размещения.

Все подробности в канале →

Сам себе режиссер

Рекламный ролик, анимация товара, вертикальное видео для соцсетей теперь делаются через AI Gateway, по тому же API и ключу, что и текст — подключили модели для видео.

• Veo 3.1 от Google — ролик сразу со звуком
• Kling 3.0 и O3 от Kuaishou — сцена из нескольких планов с одним героем
• Seedance 2.0 и 2.5 от ByteDance — динамичная реклама с движением камеры
• Gen-4.5 и Gen-4 Turbo от Runway — анимация фото товара
• Hailuo 3 и H3 Max от MiniMax — вертикальный ролик для соцсетей
• Wan 3 и Wan 3 Prime от Alibaba — длинный ролик за один проход

А для картинок добавились Seedream 5 от ByteDance и Gen-4 Image от Runway. 

Отправляете через API промпт и, если нужно, картинку, а через несколько минут забираете ролик. Картинки приходят сразу, до четырех за запрос. Чтобы сменить модель, достаточно поменять ее название в запросе. Готовое видео оплачивается за секунды ролика. 

Снять первый ролик →

Агент вас запомнит

Новый чат — больше не знакомство с нуля. У AI-агентов появилась долговременная память: важное из переписки они сохраняют и учитывают в следующих диалогах.

Агент сам находит факты или запоминает то, о чем попросите: «Запомни, что я пишу на TypeScript». В новом чате он вспомнит это без подсказок, а устаревшие факты исправит. 

Всё, что агент знает, видно во вкладке «Память». Там факты можно поправить вручную или удалить, если у вас есть права на управление агентом.

Рассказать агенту о себе →

Расходы на виду, запросы под страховкой

Почему вырос счет за AI и как сделать, чтобы он не рос дальше? Ответы искать долго не придется — вот что появилось в ИИ-сервисах:

Дашборд «Активность» — расходы, запросы и токены по всем ключам AI Gateway и агентам на одной вкладке. Видно, кто тратит больше всех и какие запросы можно перевести на модель подешевле, а в «Трендах» — что растет быстрее всего.

Логи запросов — если в общей картине что-то настораживает, в логах AI Gateway по каждому запросу видны модель, токены, стоимость и статус. 

Лимиты в рублях — чтобы оптимизировать траты, ключам и агентам можно задать суточный лимит в рублях. У ключа также есть отдельные лимиты по моделям. При 80% расхода придет уведомление, а при достижении лимита новые запросы перестанут проходить.

Batch API — на задачах, где ответ не нужен сразу, тоже получится сэкономить. Запросы уходят пакетом, до 50 000 за раз, а ответы возвращаются файлом в течение 24 часов. Токены при этом обходятся вдвое дешевле. Как отправить пакет →

Резервные модели — чтобы работа не останавливалась, к ключу можно привязать до двух запасных моделей. Если основная не ответит, запрос сам уйдет на резервную. Оплата только за модель, которая ответила.

Разобрать свои расходы →

Открыли Pull Request — получили стенд

Ревью проще, когда изменения можно не только прочитать, но и потрогать. Теперь App Platform поднимает отдельную копию приложения с кодом из ветки на каждый pull request.

Всё просто: открываете PR в GitHub → App Platform поднимает для ветки стенд → бот Timeweb Cloud Apps оставляет в PR ссылку на него и статус деплоя. Новые коммиты обновляют стенд по тому же адресу, а после закрытия PR он удаляется сам. Подробнее о PR-стендах →

Если в новой версии что-то пошло не так, разобраться можно прямо на стенде. Там появился селектор деплоев — видны все деплои со статусами, текущий можно остановить, а к любому прошлому коммиту откатиться.

Проверить ветку на стенде →

Умный, гибкий и приватный — Kubernetes

В Kubernetes три обновления: кластер можно спрятать от интернета, подключить к AI Gateway одной настройкой и развести по разным роутерам в одной сети.

Во-первых, приватный кластер. При создании кластера у мастер-нод теперь можно отключить публичный адрес. Тогда к API получится обратиться только из приватной сети, а приложения для пользователей работают как обычно. Пригодится, если этого требует политика компании. Подключаться к такому кластеру извне можно через бастион-хост. Как настроить →

Во-вторых, ИИ-коннектор. Ключ к AI Gateway для приложений в кластере больше не нужно выпускать вручную. Выбираете в настройках кластера проект, срок действия и namespaces, а коннектор создает ключ и хранит его как секрет. При перевыпуске секреты обновятся сами, без правки манифестов.

И наконец, роутеры без DHCP. Роутеру для кластера больше не нужен DHCP. Поэтому у кластеров в одной сети теперь могут быть разные роутеры, например если кластеры в разных проектах.

Спрятать API от посторонних →

Глаз да глаз за сервисами

Чтобы узнать о проблеме с сервером или базой, больше не нужно заходить в панель. В мониторинге появились бесплатные алерты: вы задаете правило, а уведомление приходит на почту, в Телеграм или Макс.

Правило настраивается в разделе «Мониторинг» → «Алерты»: выбираете сервисы, метрику, порог и то, сколько условие должно держаться. Например, на диске меньше 5 ГБ уже 5 минут или CPU загружен больше чем на 90% уже 10 минут. Подробнее об алертах →

Для баз данных работают те же метрики, что и для серверов, плюс свои: доля занятых подключений в PostgreSQL и MySQL и отставание реплики в PostgreSQL. Метрики считаются по каждой ноде кластера, и уведомление придет, если порог превысит любая из них.

А когда вы все-таки в панели, нагрузку видно прямо в списках серверов, баз и бакетов. В колонке «Суточная нагрузка» — графики за последние 24 часа, а если сервер загружен больше чем на 90%, график краснеет.

Задать первый порог →

Бэкапы добрались до выделенных серверов

У выделенных серверов появились бэкапы, и размещаются они там, откуда с сервера их не удалить, — в вашем S3.

Чтобы бэкапы заработали, скопируйте команду из панели и выполните ее на сервере, она установит агент. Дальше копии делаются по расписанию или вручную: первая полная, потом только изменения. Восстановить данные можно из панели, на место или в отдельный каталог.

Попадают копии в холодный бакет в вашем S3 с плашкой «БЭКАПЫ СЕРВЕРА». Копии в нем шифруются. Агент может только добавлять новые копии, удалить их не получится даже его ключом. Лишние копии и те, что вы удалили в панели, стирает наш сервис.

6 ₽ за ГБ в месяц — копии стоят столько же, сколько бэкапы облачных серверов. За сам бакет платить не нужно.

Подключить бэкапы к серверу →

Домены по срокам и с заметками

Раздел «Домены» теперь сам подсказывает, что продлевать первым, и помнит, зачем вы покупали каждый домен.

Список по умолчанию отсортирован по дате окончания: сверху — домены, уже удаленные регистратором, за ними — те, что истекают раньше всех. Обратный порядок включается кликом по заголовку «Автопродление». Сроки видны и у доменов, зарегистрированных у других регистраторов. Дата окончания стоит под названием, а за 60 дней до нее появится и в колонке «Автопродление», только без кнопки продления.

А чтобы через полгода не гадать, для какого проекта брали домен, к нему можно оставить комментарий в шапке. В общем списке он виден в подсказке у названия.

Для DNS тоже есть обновления. Все записи домена теперь скачиваются файлом .zone через кнопку «Импорт и экспорт». А если NS-сервер находится на самом домене, вроде ns1.example.ru для example.ru, IP-адрес для glue-записи можно указать прямо в форме настройки NS.

Разобрать свои домены →

Что где теперь в панели

Панель меняется вместе с вашими отзывами: в этот раз пересобрали навигацию и страницы сервисов. Коротко, что где теперь:

• меню аккаунта снова в правом верхнем углу
• поиск свернут в иконку в шапке
• кнопка виджета с агентом — внизу меню
• избранное — в основном меню, его можно свернуть
• «Сообщить о баге» — в меню «Поддержка»

Свернутое меню при наведении теперь не выезжает поверх страницы, а рядом с иконками появляются подписи пунктов. 

Поиск стал точнее и находит не только сервисы и документацию, но и разделы с вкладками. Например, по запросу «ssh» в выдаче появится вкладка «SSH-ключи» из «Облачных серверов», и по клику откроется сразу она.

Страницы сервисов тоже стали аккуратнее: название, кнопки и вкладки собраны в одну карточку вверху, а настройки разложены по отдельным плашкам.

А если вы работаете в нескольких аккаунтах, перелогиниваться больше не нужно. Привяжите доп. пользователя, в том числе из другого аккаунта, через «Добавить аккаунт» в меню и переключайтесь между ними прямо оттуда.

Заглянуть в обновленную панель →

Terraform: больше настроек баз в коде

Для тех, кто управляет инфраструктурой через Terraform, вышла версия провайдера 1.8.3. Главное в ней касается баз данных.

• Окно обслуживания, автоувеличение диска и защита от удаления теперь задаются в конфигурации. Число реплик меняется без пересоздания кластера.
• Расширения ставятся в PostgreSQL и RabbitMQ, а параметры топиков Kafka настраиваются из кода.
• У ресурсов баз данных и Kubernetes появился блок timeouts. Если время вышло, в ошибке виден последний статус ресурса.

Все изменения в релизе →

Что читали и лайкали

Монады, паяльник, Quake и Луна — коротко о том, что выходило в блогах в октябре.

Перевели разговорник для общения с функциональщиками: монады, функторы, каррирование и еще 60 терминов с примерами на JavaScript. Весь читать необязательно, гораздо удобнее держать под рукой — поэтому сохраняйте в закладки.

Купили тонкий клиент с мертвой памятью, взяли паяльник — и получили домашний сервер на 2 Вт, который еще и тянет OpenArena. Пришлось, правда, перепаять чип и загружать Debian обходным путем.

На каких трюках держалась 3D в играх 90-х: свет в Quake считали заранее, машины в NFS отражались в асфальте, а один чип чуть не обанкротил Nvidia.

Путь из шахты до Луны: как Маргарет Гамильтон придумала «программную инженерию», написала код, который не растерялся при посадке «Аполлона-11», а работу в MIT получила броском монеты.

*   *   *

Впереди ноябрь, а за ним итоги года, и мы соберем в них всё, что вам понравилось. Агенты запомнят ваши факты, а мы — ваши лайки и комментарии.