Агент-копилот встречи – кейс видеоконференций

Коротко

Агент-копилот встречи – это ИИ-система, встроенная в живой видеозвонок, которая следит за ходом разговора и помогает участникам: подставляет нужный документ в нужный момент, фиксирует задачи по мере принятия решений и составляет письмо с итогами ещё до окончания звонка. Это знакомый по предыдущим урокам цикл работы агента, адаптированный под формат встречи: он распознаёт речь с помощью speech-to-text, планирует, как может помочь дальше, вызывает нужные инструменты – чтобы найти информацию или записать задачу – и либо тихо подсказывает одному из участников, либо публикует итог для всех. Ключевое инженерное ограничение, определяющее весь дизайн, – время: у копилота есть меньше секунды на реакцию, иначе он перебьёт говорящего. Поэтому всю работу делят на то, что должно выполняться в реальном времени, и то, что можно отложить до конца встречи. Та же модель легла в основу Facilitator в Microsoft 365 Copilot, Zoom AI Companion 3.0 и целой волны real-time-копилотов для продаж. Однако она сталкивается с законом о согласии на запись и запретом ЕС на анализ эмоций сотрудников – поэтому грамотный дизайн всегда раскрывает свою работу, запрашивает согласие и ни при каких условиях не оценивает, что чувствуют люди.

Почему это важно

Встречи – это сценарий, где копилот окупается особенно быстро, потому что рутинная и легко теряемая работа вокруг встречи – вести заметки, искать нужный файл, помнить, кто что обещал, писать итог – как раз та скучная задача, которую люди хотят делегировать. Если вы разрабатываете софт для видеоконференций, продаж, телемедицины или онлайн-обучения, ваши пользователи уже ждут такую помощь прямо во время звонка, а не как дополнение после него, и будут оценивать продукт по тому, насколько копилот полезен и на сколько ему можно доверять. Самостоятельно строить конвейер вам не нужно, но важно понимать достаточно, чтобы отличить грамотный дизайн от безрассудного – например, спросить, отвечает ли агент достаточно быстро, чтобы его было приятно видеть, запрашивает ли он разрешение на прослушивание и подтверждает ли человек что-то, прежде чем агент это отправит. Это второй из трёх прикладных уроков про агентов; он использует тот же скелет, что и агент-исследователь видео, но адаптирован под живой разговор, а не под записанную съёмку.

Что такое агент-копилот встречи – и чем он не является

Начнём с того, что большинство уже знает – копилота часто путают именно с этим. Notetaker (заметочник) – это инструмент, который записывает звонок, расшифровывает его и формирует итоговую сводку после завершения. То же самое делают Otter, Fireflies и встроенная функция recap в большинстве приложений для видеоконференций. Он полезен, и весь этот сегмент мы подробно разбираем в уроке про ИИ-транскрипцию встреч. Однако notetaker работает пассивно и в основном постфактум: он слушает, а затем составляет отчёт. Самостоятельно ничего не решает.

Агент-копилот встречи – это активная версия. Слово агент подчёркивает ключевое отличие: он не просто фиксирует ход обсуждения, а во время встречи преследует цель, предпринимая действия. Когда разговор заходит о цифрах прошлого квартала, копилот подхватывает тему и показывает нужные данные. Если кто-то говорит: «Пусть Мария возьмёт раскатку на себя к пятнице», копилот фиксирует это как задачу с исполнителем Марией и сроком – пятница, после чего предлагает добавить её в трекер. К концу звонка он уже готовит письмо с итогами. Notetaker помнит встречу; агент помогает её вести и действует по её итогам.

Полезно зафиксировать границу и с другой стороны. Копилот-агент – это не автономный бот, который сам подключается к вашим звонкам и принимает решения. Вся система построена на простом принципе, к которому мы ещё вернёмся: агент предлагает, человек решает. Он может набросать письмо, но отправляет его человек; может подсказать ответ на возражение, но продавец сам решает, использовать его или нет. В 2026 году именно такая форма – активная, но под контролем – вышла в продакшен в большом масштабе: агент Facilitator в Teams ведёт заметки, контролирует лёгкий тайминг и превращает произнесённые обязательства в назначенные задачи, а Zoom AI Companion 3.0 распознаёт пункты задач во время звонка и может назначить follow-up – и в обоих случаях человек сохраняет контроль над всем, что покидает переговорную.

Нажмите, чтобы увеличить

Цикл копилота

Любой агент проходит цикл – воспринять, рассудить, действовать, наблюдать – и этот цикл мы уже рассматривали в уроке про цикл агента. Копилот встречи – это тот же цикл, применённый к живому разговору, и он повторяется много раз в минуту. Пройдём один оборот медленно – и цикл станет осязаемым.

Копилот воспринимает, слушая: инструмент speech-to-text превращает живое аудио в бегущую расшифровку, помеченную по говорящему, так что у агента всегда перед глазами последние несколько фраз разговора. Он рассуждает над этой расшифровкой, задавая себе один вопрос: есть ли сейчас что-то полезное, что я мог бы сделать? Чаще всего ответ – «нет», и копилот молчит, а это само по себе навык. Когда ответ – «да», он планирует наименьший полезный шаг: «продавца только что спросили про интеграцию с Salesforce, а в наших доках есть однострочный ответ – достань его». Он действует, вызывая инструмент – ретривер – с этим запросом. Результат (фрагмент дока) попадает обратно в рабочую память агента как новое наблюдение. Копилот снова рассуждает: стоит ли это показывать и кому? Он тихо передаёт фрагмент продавцу, а не всей комнате. На следующей фразе цикл повторяется.

Обратите внимание, что на каждом обороте потребовалось три вещи: планирование, чтобы решить, стоит ли что-то делать и что именно; использование инструментов, чтобы получить или зафиксировать информацию; и память, чтобы помнить цель встречи и контекст. Это ровно те три примитива, о которых шла речь в уроке про примитивы агента: копилот встречи – это место, где они работают в реальном времени, под давлением времени. И для любого значимого действия цикл всегда завершается одинаково: агент составляет черновик, а человек его утверждает. Копилот может предложить письмо, обновление в CRM или назначенную задачу – но сам не отправляет, не сохраняет и не назначает.

Нажмите, чтобы увеличить

Пояс инструментов – что копилот реально умеет

Агент способен лишь настолько, насколько хороши данные и инструменты, которыми он располагает, и искусство заключается в том, чтобы дать несколько острых, а не много тупых. Копилоту встречи нужен небольшой пояс, и большинство инструментов – это те самые компоненты, которые мы уже разбирали ранее в этом разделе.

Первый инструмент – живой транскрайбер: потоковая модель распознавания речи, которая преобразует аудио в текст в режиме реального времени и определяет, кто произносит каждую реплику (процесс, известный как speaker diarization). Это «ухо» копилота, которое никогда не выключается – от него зависит всё остальное. В продакшене используются потоковые движки, описанные в уроке про streaming ASR.

Второй инструмент – ретривер: способ быстро найти нужную информацию о встрече – карточку клиента из CRM, слайды с данными за прошлый квартал, обсуждаемый тикет поддержки или ответ из продуктовых документов. Это та же поисковая система, что и мультимодальный RAG по архиву, только настроенная на работу с документами и записями, а не с видео. Благодаря ретриверу копилот может ответить на вопрос «что мы им квотировали в Q3?», не прерывая разговор.

Третий инструмент – писатель задач: агент замечает, что было дано обязательство («Мария отвечает за раскатку, пятница»), и превращает его в структурированную задачу с исполнителем и сроком. Сам по себе это просто текст; его ценность проявляется только со следующим инструментом.

Четвёртый инструмент – коннектор к задачам и календарю: действия, которые автоматически фиксируются в системах, которые команда реально использует – создать задачу в трекере, обновить стадию сделки в CRM, назначить follow-up-встречу в календаре. Этот инструмент превращает разговоры в реальные действия, но при этом он самый опасный, потому что напрямую изменяет рабочие системы – поэтому каждая запись проходит обязательную проверку человеком.

Пятый инструмент – ответчик, который используют только те копилоты, которые отвечают – говорят или пишут. Для говорящего копилота это голосовой синтез (потоковые движки из урока про TTS); для молчаливого – карточка в боковой панели. Именно через ответчик копилот сообщает результат. Говорит ли он вслух всем или шепчет одному – это дизайнерское решение, имеющее реальные последствия, о чём будет сказано ниже.

Шестой инструмент – писатель итогов: агент собирает расшифровку, решения, задачи и открытые вопросы и формирует краткий итог после звонка. Это вовсе не инструмент реального времени – он работает один раз, в конце, когда уже не нужно ничего ускорять. Это традиционная работа notetaker’а, которую теперь выполняет тот же агент, что помогал во время встречи.

Частая и дорогая ошибка – перегрузка инструментами: дать агенту тридцать коннекторов, потому что каждый казался полезным. Чем больше инструментов на выбор, тем чаще агент выбирает не тот или зависает при решении, и точность выбора падает по мере роста меню. Начните с шести и добавляйте седьмой только тогда, когда реальные задачи покажут, что он действительно необходим.

Нажмите, чтобы увеличить

Ограничение реального времени – почему всё решают часы

Самая важная мысль этого урока в том, что копилот встречи живёт под часами – именно они решают, что агент может сделать вживую, а что придётся отложить. Понимание временного бюджета – вот что отличает полезного копилота от того, которого хочется выключить.

Сделаем арифметику для говорящего копилота – того, что отвечает голосом в звонке. В естественном человеческом разговоре пауза между тем, как один договорил, и тем, как начал следующий, составляет около двух десятых секунды. Люди замечают паузу, если она длится больше примерно полусекунды, а как только задержка превышает одну секунду – начинают говорить поверх собеседника. То есть у говорящего копилота есть бюджет примерно в одну секунду от начала до конца, и за это время должны пройти четыре последовательных шага. Агенту нужно распознать, что вы закончили говорить, и преобразовать ваше аудио в текст (speech-to-text с детектором конца реплики, ≈ 300 мс), сгенерировать ответ (время языковой модели до первого слова, ≈ 500 мс), начать преобразовывать ответ в аудио (первый звук text-to-speech, ≈ 250 мс) и передать аудио по сети (≈ 150 мс). Складываем: 300 + 500 + 250 + 150 = 1200 мс. Это уже за чертой в одну секунду, где люди начинают перебивать – и вот почему задача такая сложная.

Это не худший сценарий, а скорее середина пути. На основе анализа миллионов реальных звонков голосовых агентов в 2025–2026 годах медианная суммарная задержка для такого каскада – трёх отдельных моделей: сначала speech-to-text, затем языковая модель, потом text-to-speech – составляет около 1,4–1,7 секунды, а самый медленный из ста циклов занимает 3–5 секунд. Есть два решения, и оба важны при проектировании. Первое – единая speech-to-speech-модель, которая принимает аудио на входе и выдаёт аудио на выходе, минуя трёхэтапную передачу; такие модели укладываются в 320–800 миллисекунд от начала до конца, что уверенно укладывается в допустимые рамки, и мы подробно разбираем их в уроке про speech-to-speech. Второе – сделать большинство копилотов молчаливыми: они показывают карточку, а не говорят, поэтому правило одной секунды к ним не применяется, и пользователь ощущает лишь подсказку, появляющуюся на удар позже нужной фразы.

Ещё две детали реального времени определяют, кажется ли говорящий копилот живым. Первая – детекция конца реплики (turn detection): нужно понять, что вы действительно закончили говорить, а не просто сделали паузу. Ответ 2026 года сочетает быструю акустическую проверку, которая фиксирует тишину, с небольшой языковой моделью (LiveKit использует около 135 миллионов параметров), анализирующей уже сказанные слова и предсказывающей, звучит ли фраза завершённой. Вторая – barge-in: возможность перебить. Когда пользователь начинает говорить, пока копилот ещё говорит, система должна мгновенно прервать свою речь, отбросить незавершённый ответ и переключиться на прослушивание. Копилот, который продолжает говорить поверх вас, хуже, чем его полное отсутствие.

Часы делят работу на две части – и это и есть весь production-дизайн. Полоса во время встречи – расшифровка, поиск, редкие живые подсказки – работает в рамках бюджета в одну секунду и делает только дешёвое и быстрое. Полоса после встречи – полный итог, отполированное письмо-ответ, обновления CRM, детальный план задач – запускается после звонка, без временных ограничений, когда агент может не торопиться и использовать более мощную и медленную модель. Пытаться выполнять работу уровня «после встречи» прямо во время встречи – самый частый способ получить копилота, который лагает и раздражает. Денежную сторону непрерывного запуска моделей можно сверить с реальной стоимостью ИИ в видеопродуктах; урок про бюджет там – денежный аналог урока про задержку здесь.

Нажмите, чтобы увеличить

Память – почему копилот обязан помнить

Копилот, который забывает всё между встречами, – это инструмент для расшифровки, а не агент. Разница в памяти: для работы с встречами копилоту нужны все четыре вида, которые мы описали в уроке про примитивы агента.

Его рабочая память – это текущая встреча: бегущая расшифровка, принятые решения, ещё открытые вопросы – и она существует в контексте модели на протяжении всего звонка. Его семантическая память – это накопленные знания, необходимые для встречи: кто клиент, что он уже купил, на какой стадии сделка в CRM, какие факты о продукте есть в документации. Его эпизодическая память – это записи прошлых встреч с теми же людьми («в прошлый раз они спорили о цене; квота, которую мы прислали, была $48 000»), чтобы копилот начинал разговор, уже зная историю. Его процедурная память – это playbook: стандартные сценарии, которым копилот следует, например, при звонке-исследовании в продажах, при поддержке или на проектном стендапе. Первые две составляют основу компетентности копилота в рамках одной встречи; вторые две – то, что создаёт ощущение, будто он работает с этим аккаунтом уже месяцами.

Эпизодическую память команды чаще всего пропускают, и именно это – причина, по которой так много инструментов для встреч кажутся беспамятными: каждый звонок начинается с нуля, и человеку приходится заново объяснять контекст, который инструмент уже должен был бы хранить. Копилот, который зачитывает: «В ваших последних двух звонках открытым оставался вопрос про security review – он закрыт?», делает ровно то, что сделал бы хороший человек-ассистент: помнит связи, а не только саму встречу.

Самое сложное – что закон не позволит копилоту

Видеоконференции – это место, где инженерия агентов напрямую сталкивается с законами о приватности: копилот слушает, как люди разговаривают, а во многих юрисдикциях запись без согласия участников запрещена. Ошибиться здесь – не мелкая ошибка. Есть три принципиальные границы, которые необходимо соблюдать, и грамотный дизайн учитывает их изначально, а не полагается на удачу.

Первая граница – согласие на запись. В США федеральный закон разрешает одной стороне разговора записывать его, но одиннадцать штатов – включая Калифорнию, Флориду, Иллинойс, Пенсильванию и Вашингтон – требуют согласия всех участников. Калифорнийский закон о вторжении в приватность (CIPA, Penal Code §§ 631 и 632) – жёсткий нормативный акт, и его штрафы вполне реальны: $5 000 за нарушение или тройной размер фактического ущерба. Подвох, удивляющий инженеров, в том, что простое присутствие бота-записывающего в списке участников не считается ни одним судом достаточным согласием – молчание не означает согласия. В 2026 году это уже не теория: консолидированный иск In re Otter.ai в Северном округе Калифорнии, с рассмотрением ходатайства об отклонении 20 мая 2026 года, как раз касается этого вопроса – записывал ли notetaker людей, которые так и не дали согласия. Безопасный дизайн предполагает получение чёткого, утвердительного согласия от всех участников до начала записи и его фиксацию в логах.

Вторая граница – правила платформ, которые в начале 2026 года резко ужесточились именно из-за проблемы согласия. В марте 2026 года Google Meet начал помечать сторонние боты-нотейтеры как потенциальный риск и по умолчанию блокировать их вход; в тот же месяц уведомление Microsoft MC1251206 объявило, что Teams будет помечать внешние боты встреч как «Unverified» в лобби и требовать, чтобы организатор явно их впускал, с полной доступностью к середине 2026 года. Инженерный вывод: эпоха тихого подключения к звонку необъявленных ботов подошла к концу. Долгосрочный путь – использовать официальные медиа-интерфейсы платформ (например, Read.ai запустился на Google Meet Media API в марте 2026 года) или внедрить копилота внутрь собственного конференц-приложения, где вы напрямую контролируете согласие и раскрытие данных.

Третья граница – EU AI Act, и он состоит из двух частей, касающихся встреч. Правило прозрачности, статья 50, обязывает сообщать людям, что они взаимодействуют с ИИ-системой, а также отдельно информировать каждого, кто подвергается анализу эмоций; эти требования вступают в силу с 2 августа 2026 года. Гораздо более жёсткое правило – статья 5, которая запрещает использование ИИ для распознавания эмоций сотрудников на рабочем месте, за исключением узких случаев, связанных с медицинскими целями или обеспечением безопасности. Этот запрет уже действует с февраля 2025 года и предусматривает штрафы до €35 млн или 7% мирового оборота компании.

Для копилота встречи это означает чёткую границу. Распознавание сказанного, выделение фактов и фиксация задач – это обычная, разрешённая помощь. А вот оценка того, насколько участники вовлечены, напряжены или убеждены, по их мимике или голосу («клиент звучал раздражённо», «этот сотрудник выглядит незаинтересованным») – это распознавание эмоций на рабочем месте, что в ЕС строго запрещено.

Ту же биометрическую границу подробно разбирает урок про распознавание лиц и EU AI Act; копилоту стоит уважать её по дизайну, оставаясь на уровне что было сказано и решено, а не что люди чувствовали.

Над всеми тремя границами лежит общий дизайн-принцип, который помогает соблюдать эти границы: агент предлагает, человек решает. Копилот составляет черновик письма, но отправляет его человек; предлагает задачу, но назначает её человек; показывает возможные ответы, но выбор остаётся за человеком. Таким образом, человек сохраняет ответственность за каждое значимое действие – а именно это и требуется регуляторами и клиентами. Поэтому каждый рисунок этого урока завершается шагом подтверждения, а не автоматическим действием.

Один разбор встречи, от начала до конца

Свяжем части одним звонком с продажами. Копилот заходит первым делом и сразу раскрывает себя, прося всех участников дать согласие на запись – он не начинает слушать, пока не получит его. Получив согласие, живой транскрайбер работает непрерывно, помечая каждого говорящего. Копилот извлекает историю аккаунта из эпизодической памяти: два предыдущих звонка, открытый вопрос по security review, квота $48 000, присланная в Q3. На десятой минуте клиент говорит: «У вас цена выше, чем у другого вендора, которого мы рассматриваем». Копилот планирует один полезный шаг, вызывает ретривер за утверждённой заметкой по работе с возражениями и сравнением ценности и показывает её продавцу – не вслух, не клиенту. Он не комментирует, звучал ли клиент раздражённо; это было бы анализ эмоций, а он не реализован. Ближе к концу кто-то говорит: «Пришлём обновлённое предложение к четвергу». Писатель задач фиксирует это как задачу – исполнитель: продавец, срок: четверг – и удерживает её. Звонок заканчивается. Теперь полоса после встречи работает без задержек: писатель итогов готовит резюме, письмо-ответ и обновление CRM, переводящее сделку в статус «предложение отправлено», и показывает всё три документа продавцу, который их редактирует и утверждает. Сработал каждый примитив; живая работа умещается в одну секунду; согласие получено; ни одна эмоция не оценена; и человек нажал каждую кнопку, с которой взаимодействовала настоящая система.

Купить, собрать или обернуть

У вас есть три честных варианта, и правильный зависит от того, насколько эта функция важна для вашего продукта. Можно купить готовый копилот – включить Microsoft 365 Copilot, Zoom AI Companion или notetaker в стиле Otter. Это самый быстрый путь и подходит, если копилот – это удобство, а не суть вашего продукта. Можно обернуть: внедрить real-time-агента в своё конференц-приложение через фреймворк вроде агентов LiveKit, как мы разбираем в уроке про ИИ-ассистента встреч на LiveKit, сохранив собственный видео-стек и контролируя согласие, раскрытие данных и доступные инструменты для агента. Или можно собрать конвейер из примитивов из этого раздела – streaming ASR, ретривер, LLM, TTS и фреймворк агента из урока про фреймворки – такой подход оправдан, когда поведение копилота и есть ваш продукт, как у специализированного коуча продаж или клинического скрайба. Большинству команд стоит начать с покупки или обёртки, чтобы понять, в чём пользователи действительно нуждаются, и собирать самостоятельно только те части, которые готовые решения делают плохо в их предметной области.

Где здесь Фора Софт

Мы создаём видеопродукты для видеоконференций, WebRTC-приложений реального времени, телемедицины, онлайн-обучения, стриминга, OTT, видеонаблюдения и AR/VR, и наш копилот для встреч органично вписывается в конференц- и real-time-работу, которую мы поставляем. Когда клиент хочет интегрировать копилота в собственные звонки, наша дизайнерская дисциплина – как раз та, что описана в этом уроке: уважать точность до секунды, держать активную работу минимальной, а ресурсоёмкие задачи оставлять на после звонка, предоставлять агенту небольшой, но эффективный набор инструментов, запрашивать согласие до начала прослушивания, раскрывать использование ИИ и ставить человека в центр каждого действия, выходящего за пределы комнаты. Мы ограничиваем копилота тем, что было сказано и решено, а не тем, что чувствовали участники, чтобы продукт соответствовал ключевым требованиям EU AI Act по умолчанию, а не через дополнительные настройки. Тот же базовый принцип работает как скрипт-помощник при приёме в телемедицине, так и ассистент учебной сессии в e-learning – без необходимости пересобирать агента под каждую отрасль.

Ключевые выводы

• Агент-копилот работает во время и после звонка, в то время как notetaker лишь составляет отчёт после завершения.
• Это цикл агента, дополненный шестью инструментами: расшифровка, извлечение данных, выявление задач, запись в системы, отправка ответов и составление резюме.
• Говорящему копилоту требуется менее секунды на реакцию – важно чётко разделять работу в реальном времени и задачи после встречи.
• Эпизодическая память позволяет копилоту включаться в процесс, уже зная контекст отношений, а не только детали текущей встречи.
• Получайте согласие всех участников на запись – наличие бота в списке участников не считается согласием.
• В ЕС анализ эмоций сотрудников запрещён – оставайтесь в рамках сказанного и принятых решений.
• Агент предлагает действия, человек принимает решения – каждое сообщение, назначение и обновление должно проходить через подтверждение.

Что почитать дальше

• Использование инструментов, память и планирование – базовые элементы агента
• ИИ-ассистент для встреч в LiveKit: архитектура и цены
• Агент-исследователь видео: кейс видеонаблюдения