Perplexity раскрыла инфраструктуру быстрых эмбеддингов для поиска и AI-агентов

По данным компании, переиспользование оптимизированных ядер prefill и decode позволяет снижать задержку и стоимость поиска. Техническая архитектура впервые раскрыта публично — для индустрии это сигнал о том, как устроена «кухня» одного из ключевых конкурентов Google в сегменте AI-поиска.

Что именно раскрыто

Речь идёт о двух режимах работы инфраструктуры эмбеддингов — пакетном (batch) и онлайн (online). Эмбеддинги — это числовые представления текста, которые модель использует для поиска релевантных документов. Система обслуживает три продукта Perplexity одновременно.

Заявленный эффект оптимизации: снижение задержки и стоимости за счёт того, что одни и те же вычислительные ядра (prefill — начальная обработка запроса, decode — генерация ответа) переиспользуются между разными компонентами стека. Конкретные цифры — задержка в миллисекундах, стоимость в долларах за запрос — в опубликованном описании не приводятся.

Контекст для ниши

Для пользователей AI-поисковиков и суммаризаторов важна не сама архитектура, а её практическое следствие: скорость ответа и стабильность качества поиска. Заявленное снижение задержки означает, что Perplexity оптимизирует инфраструктуру под реальные нагрузки, а не только под демонстрационные сценарии.

Раскрытие инфраструктуры также указывает на стратегию позиционирования: компания показывает разработчикам, что её API Platform работает на промышленном стеке, а не на обёртке над чужими моделями. Для тех, кто выбирает между поставщиками AI-поиска — это аргумент в пользу зрелости решения. Сравнения и практические гиды по таким решениям публикуются на ресурсах с аналитикой технологий и повседневных советов.

Что отслеживать

• Появятся ли численные бенчмарки: задержка в мс, стоимость эмбеддинга, throughput.
• Откроет ли Perplexity часть инфраструктуры как open-source или через API.
• Как на раскрытие отреагируют конкуренты — Voyage, OpenAI, Cohere — и опубликуют ли собственные архитектурные описания.

Вердикт: пока это маркетинговый технический пост без подтверждённых метрик. Ценно как ориентир архитектуры, но бесполезно как основание для выбора решения. Ждём цифры.