Содержание статьи +
- Кратко
- Почему это важно
- Что на самом деле значит «ИИ в приложении для знакомств, соцсети или UGC»
- Две границы, определяющие всю сборку
- Где работает ИИ: в облаке, на устройстве или в комнате модераторов
- Сложная часть: модерация – это воронка, а не фильтр
- Разобранный пример: бюджет сэмплирования живого видео
- Граница платформы: когда приложение становится регулируемой платформой
- Проверить настоящего человека: возраст, liveness и дипфейки
- Три способа собрать стек безопасности
- Где на самом деле место алгоритму подбора
- Сколько на самом деле стоит построить приложение для знакомств или соцсеть
- Где здесь Фора Софт
- Главные выводы
- Что почитать дальше
Кратко
Приложение для знакомств, социальная сеть или UGC-платформа используют ИИ сразу в трёх направлениях – подбор и ранжирование контента, защита от вредоносного контента (trust & safety) и улучшение видео в реальном времени и генеративные функции. Именно вторая из этих задач определяет успех продукта.
Trust & safety – это не просто фильтр, который можно «включить»: ни один классификатор не ловит всё, поэтому строится многоуровневая система: сопоставление отпечатков уже известного запрещённого контента, ML-классификаторы для нового, жалобы пользователей и живые модераторы. Строгость каждого уровня настраивается в зависимости от степени потенциального вреда.
Через все решения проходят две ключевые границы: граница модерации (ИИ выдаёт оценку, но окончательное решение принимает человек в рамках многоуровневой системы) и граница платформы (как только вы храните чужой контент в масштабе или допускаете несовершеннолетних пользователей, вы становитесь регулируемой платформой с жёсткими обязательствами по EU Digital Services Act, UK Online Safety Act и US TAKE IT DOWN Act).
Этот плейбук помогает нетехническому человеку оценить три ключевые системы, спроектировать воронку модерации, остаться по правильную сторону закона к 2026 году и выбрать между использованием готового moderation API, построением собственного стека и обучением собственных моделей.
Почему это важно
Если вы основатель, продакт-менеджер или операционный руководитель, который оценивает приложение для знакомств, соцсеть или любой продукт, где пользователи постят фото, видео и стримы, вам скажут, что «ИИ» – это алгоритм подбора, а безопасность команда модерации добавит потом. Обе половины этой фразы неверны, и обе дорого стоят. Алгоритм подбора – простая и хорошо изученная часть; а компании штрафуют, удаляют из сторов и засуживают за систему безопасности – и в 2026 году эта система несёт обязанности, которых два года назад не было. Эта статья – понятная нетехническому человеку карта, которая нужна, чтобы оценить объём работ, поставить задачу инженерам, выбрать подрядчика и избежать двух ошибок, тихо убивающих такие продукты: выпустить один классификатор контента и слепо доверять его вердикту, и запуститься публично без машинерии модерации и отчётности, которой теперь требует закон.
Что на самом деле значит «ИИ в приложении для знакомств, соцсети или UGC»
Когда говорят «нам нужен ИИ в социальном приложении», обычно имеют в виду одну из трёх совершенно разных вещей, и первая задача любой серьёзной команды – понять, какую именно, потому что они почти не пересекаются ни по коду, ни по кривой стоимости, ни по профилю рисков.
Первое – это подбор и ранжирование: софт, который решает, кого или что показать пользователю. В приложении для знакомств это очередь рекомендаций – кого вы увидите следующим. В ленте соцсети это порядок постов. На UGC-платформе это то, что попадает в выдачу. Под капотом это рекомендательная система: софт, который учит числовой отпечаток, называемый эмбеддингом, для каждого пользователя и каждого объекта, а затем находит объекты, чей отпечаток лучше всего совпадает с вашим. Это и есть тот самый «алгоритм», о котором все говорят, и он – самая зрелая и наименее рискованная из трёх систем.
Второе – это trust & safety: софт, который не пускает внутрь вредный контент и вредных людей. Это значит распознавать незаконные изображения и видео, наготу и насилие, разжигание ненависти и травлю, спам и мошенничество, фейковые профили и ботов, и – всё чаще – ИИ-подделки реальных людей. Это же значит проверять, что пользователь – настоящий, присутствующий здесь и сейчас человек заявленного возраста. Эта функция не делает демо, но решает, переживёт ли продукт встречу с реальными пользователями и реальными регуляторами. Здесь мы проведём большую часть статьи.
Третье – это real-time и генеративные медиа: софт, который улучшает видео и звук, которые пользователи отправляют и создают. Для видео-знакомств или live-соцсети это то же семейство функций камеры и микрофона, что и в конференцсвязи – размытие фона, бьюти- и AR-эффекты, шумоподавление, живые субтитры. Для авторов это помощь в монтаже и генеративный контент. Технически это богатая область, но хорошо протоптанная, и она напрямую заимствует из миров конференцсвязи и стриминга.
Почему это различие важно в первый же день – из-за риска и денег. Подбор это зрелые облачные вычисления стоимостью в доли цента на пользователя, и риск тут в основном репутационный, не юридический. Real-time медиа работают на устройстве пользователя и почти ничего не стоят в эксплуатации. Trust & safety работает везде – на устройстве, в облаке и в комнате живых модераторов, – стоит реальную плату за элемент в масштабе и это единственная категория, где ошибка теперь является регулируемым нарушением. Считать «ИИ» одной функцией – первая и самая дорогая ошибка.
Две границы, определяющие всю сборку
Перед любым кодом через каждое решение в социальном продукте проходят две границы. Большинство провалившихся или оштрафованных проектов пересекли одну из них, не заметив.
Первая – граница модерации. Классификатор контента не знает, вреден ли снимок; он выдаёт оценку – свою лучшую догадку, что снимок относится к категории вроде «нагота» или «насилие». Эта оценка обычно верна, но иногда сильно ошибается, и, что важно, ни один единый порог не подходит для каждого вида вреда. Пересеките эту границу – примите оценку одной модели за окончательный вердикт – и вы получите систему, которая либо заваливает пользователей ложными обвинениями, либо пропускает реальный вред, а зачастую и то, и другое одновременно. Честный дизайн исходит из того, что модель – лишь один голос в многослойном процессе, а не судья.
Вторая – граница платформы. Между ролью нейтральной «трубы», которая просто передаёт биты, и ролью платформы, хранящей и рекомендующей чужой контент, проходит юридическая черта. Пересечь её можно не сменой технологии, а охватом и аудиторией: как только сервисом начинает пользоваться достаточное количество людей – особенно если к нему получают доступ несовершеннолетние – включается целый пакет обязательных требований: проактивная оценка рисков, быстрое удаление незаконного контента, проверка возраста пользователей, обязательное сообщение о материалах с насилием над детьми и публикация отчётов о прозрачности. Приложение, утверждающее: «мы просто соединяем людей», не освобождается от ответственности: закон смотрит не на то, как вы описываете свой сервис, а на то, что он реально делает и кто им пользуется.
Держите эти две границы в уме, потому что любая рекомендация ниже – это одна из них в маскировке: модель оценивает, решают система и человек (уважайте границу модерации) и охват и несовершеннолетние включают обязанности – проектируйте под них осознанно (уважайте границу платформы).
Где работает ИИ: в облаке, на устройстве или в комнате модераторов
Самое важное архитектурное решение – где выполняется каждый фрагмент ИИ, ведь именно место вычислений определяет задержку, приватность, стоимость и юридические риски. Три группы функций тянут в разные стороны – так же, как в любом продукте с реальной задержкой. (Общую версию этого компромисса мы разбираем в гайде по задержке, топологии развёртывания и real-time против batch.)
Подбор и ранжирование хотят работать в облаке. Решение, кого показать следующим, не требует миллисекундной точности – достаточно нескольких сотен миллисекунд, – а модели, которые справляются с этим хорошо, слишком велики и прожорливы для телефона. Процесс естественно делится на два этапа: быстрый этап поиска (retrieval), который сужает миллионы кандидатов до нескольких сотен по эмбеддингам-отпечаткам, и более тяжёлый этап ранжирования (ranking), который упорядочивает эти сотни по предсказанной вовлечённости. Оба этапа выполняются на серверах, рядом с данными.
Trust & safety работает везде, и в этом суть. Сопоставление отпечатков уже известного запрещённого контента и проактивные ML-классификаторы запускаются в облаке сразу при загрузке – там они могут быть тяжёлыми и точными. Часть проверок – например, фильтр наготы в прямом видео-звонке на платформе знакомств или захват верификационного селфи – выполняется на устройстве ради скорости и приватности. А самые сложные случаи разбирают модераторы, потому что некоторые суждения всё ещё требуют человека. Система безопасности, работающая только в одном из этих мест, будет неполной.
Real-time медиа хотят работать на устройстве. Размытие фона, бьюти-эффекты и шумоподавление в живом видеозвонке – это примеры real-time видеообработки, и отправка каждого кадра на сервер создаёт задержку, которую пользователь ощущает как лаг. Кроме того, это вынуждает передавать интимное видео с устройства. Современные модели для таких задач оптимизированы под работу на телефоне, поэтому вычисления происходят на краю сети – на edge. (Наш инженерный плейбук по ИИ в видеоконференцсвязи подробно разбирает эти функции.)
Поэтому дефолт 2026 года – гибрид, с одной оговоркой, специфичной для социальных продуктов: комната модераторов – не дополнение, а часть архитектуры. Закладывайте её в бюджет, нанимайте людей и создавайте для них инструменты с самого начала, потому что закон теперь предполагает её наличие.
Сложная часть: модерация – это воронка, а не фильтр
Вот система, которая решает, выживет ли продукт, – и её чаще всего недостроят. Инстинкт рисует фильтр: контент поступает на вход, модель даёт ответ «да» или «нет», а на выходе остаётся только отфильтрованный контент. Настоящий trust & safety выглядит совсем иначе. Это многоуровневая воронка, где каждый слой ловит то, что пропустил предыдущий, потому что ни один метод не способен поймать всё.
Первый слой обнаруживает уже известный запрещённый контент и при этом вовсе не использует модель, способную «угадывать». Вместо этого применяется сопоставление отпечатков: каждое изображение и видео преобразуется в короткий устойчивый код – перцептивный хеш, – который сохраняется при изменении размера и лёгком редактировании. Этот код сравнивается с базами отпечатков контента, уже признанного незаконным. Microsoft PhotoDNA и Meta PDQ – стандартные технологии для создания таких отпечатков; сервис Safer от Thorn сообщает, что только за 2025 год обнаружил почти 1,5 млн изображений и видео с материалами сексуального насилия над детьми, сверив их с базой, выросшей до 6,3 млн хешей изображений и 64 млн хешей видео. Сопоставление отпечатков – быстрый, дешёвый и почти безошибочный процесс, поэтому при его срабатывании можно действовать автоматически: заблокировать загрузку, сохранить доказательства и подать отчёт.
Второй слой ловит новый вредный контент, отпечатка которого ещё нет, и здесь работают ML-классификаторы – модели, которые оценивают изображение, кадр видео или фрагмент текста по категориям вроде наготы, насилия, ненависти, селфхарма или оружия. Эти модели эффективны, но никогда не идеальны, и именно поэтому в воронке предусмотрены дополнительные слои. Классификатор – это датчик дыма, а не судья: он настроен быть чувствительным и передаёт свои тревоги следующему уровню, а не выносит окончательный вердикт.
Третий слой – жалобы пользователей, самый дешёвый и часто самый точный сигнал, потому что люди узнают контекст – сарказм, груминг, скоординированную травлю, – который модели упускают. Четвёртый слой – живая модерация: обученные люди, которые смотрят на то, что отметили верхние слои, и выносят решение, которое модель не смогла. И пятый слой – апелляции – позволяет ошибочно наказанному пользователю оспорить решение, что в Евросоюзе уже не вежливость, а требование закона.
«Ловушка – выпустить один классификатор и полностью доверять его решению. Самая частая ошибка в социальных продуктах – подключить одну модель модерации к автоматическому «бан или пропуск» и считать задачу решённой. В результате происходят две вещи. Невинных пользователей автоматически блокируют, потому что модель ошиблась на фото с пляжа или снимке кормления грудью, и у них нет возможности подать апелляцию – что само по себе нарушает правила в ЕС. А реальный вред проходит незамеченным, потому что модель никогда не сталкивалась с такой атакой. Решение – не лучшая одиночная модель, а система-перехватчик: отпечатки для известного контента, классификаторы для нового, жалобы и люди для окончательного решения, а также порог, настроенный под степень серьёзности каждого вида вреда.»
Настройка по тяжести – это то, что отличает реальную систему от демо. Вы не применяете одну и ту же строгость ко всему. В случае материалов сексуального насилия над детьми политика – почти нулевая терпимость: максимизируйте шансы на обнаружение, допускайте больше ложных срабатываний, автоматически блокируйте при совпадении отпечатка и сообщайте о нём – ведь в США провайдеры юридически обязаны передавать найденные материалы в Национальный центр пропавших и эксплуатируемых детей (NCMEC). С спамом можно быть мягче, потому что цена пропущенного спам-сообщения куда ниже, чем цена пропущенного снимка насилия. Та же архитектура, настроенная по-разному под каждый вид вреда, – и есть всё ремесло.
Разобранный пример: бюджет сэмплирования живого видео
Живое видео – это место, где воронка упирается в жёсткую стену стоимости, и арифметика настолько проста, что её можно посчитать на салфетке – именно поэтому каждой команде стоит сделать это до того, как давать обещания вроде «мы модерируем каждый стрим».
Живое видео идёт со скоростью 30 кадров в секунду. Поэтому один час такого видео – это большое количество изображений:
60 мин × 60 с × 30 кадров = 108 000 кадров в часТеперь предположим, что вы модерируете каждый кадр с помощью облачного API для обработки изображений по стандартной ставке – 1 доллар за 1000 изображений:
108 000 кадров ÷ 1 000 × $1,00 = $108,00 в час, на один стримСто восемьдесят долларов в час за один стрим – абсурд, когда у вас одновременно идёт тысяча трансляций. Поэтому никто не может проверять каждый кадр. Вместо этого используется сэмплирование – проверка одного кадра каждые несколько секунд:
3 600 с ÷ 2 с = 1 800 кадров в час
1 800 кадров ÷ 1 000 × $1,00 = $1,80 в час, на один стримЭто в шестьдесят раз дешевле, и именно поэтому сэмплирование кадров – стандартный подход для модерации в реальном времени. Цена сэмплирования – осознанный компромисс: нарушение может продолжаться примерно две секунды, прежде чем его зафиксирует сэмплированный кадр. Для большинства политик это приемлемо при сочетании с ручной проверкой – типичное правило: сэмплировать раз в одну-две минуты и стремиться остановить нарушающий стрим в течение трёх минут. В случае фильтра наготы в звонках один-на-один сэмплирование проводится гораздо чаще. Суть в том, что «мы модерируем живое видео» – это никогда не вопрос «да/нет», а выбор частоты сэмплирования, балансирующий между стоимостью и обещанным SLA. Современные системы сокращают время обнаружения до двух-пяти секунд, обрабатывая сэмплированные кадры и транскрипцию звука параллельно через классификаторы.
Та же логика базовой ставки действует и в комнате модераторов. Представьте, что ежедневно загружается миллион материалов, из которых лишь малая часть – скажем, полпроцента, или 5 000 – действительно нарушают правила. Классификатор с полнотой (recall) 90% выявляет 4 500 таких случаев и пропускает 500, поэтому жалобы и повторные проверки всё ещё необходимы. Если этот же классификатор работает с точностью (precision) 95%, то на каждые 4 500 верных срабатываний он ошибочно помечает ещё около 237 невинных элементов. В итоге примерно 4 737 материалов в день – как нарушающих, так и нет – попадают к живым модераторам. При времени проверки в десять секунд на каждый объект это составляет более тринадцати часов работы – почти две полные смены модератора – ради обработки одной лишь этой категории контента. Именно это число объясняет, почему однозначные случаи обрабатываются автоматически, пороги настройки ориентированы на минимизацию вреда, а человеческая модерация воспринимается как постоянная статья расходов, а не непредвиденный сюрприз.
Граница платформы: когда приложение становится регулируемой платформой
Этот раздел стоит прочитать дважды, потому что здесь маркетинговое решение незаметно создаёт юридический риск, с которым инженерия не соглашалась. В 2026 году ключевыми станут три режима, а четвёртый уже на подходе.
В Евросоюзе Digital Services Act (DSA) управляет любым сервисом, который хранит и распространяет пользовательский контент. Он требует рабочей системы уведомления и реагирования, чтобы любой мог пожаловаться на незаконный контент, обоснования (statement of reasons) каждый раз, когда вы что-то удаляете или блокируете аккаунт, процесса апелляции для несогласных пользователей и – для крупнейших платформ – ежегодных оценок рисков и отчётов о прозрачности. Отчёты теперь стандартизированы: с первого гармонизированного периода платформы публикуют машиночитаемые цифры о том, сколько контента удалили и насколько точны их автоматические системы. Штраф за несоответствие – до 6% мирового годового оборота, и правоприменение перестало быть теорией: Еврокомиссия выписала штраф в €200 млн маркетплейсу Temu, а вторая волна правоприменения в 2026 году распространяет обязанности на куда более широкий круг компаний, чем гиганты.
В Великобритании Online Safety Act (OSA) обязывает сервисы, к которым могут получить доступ дети, проводить «высокоэффективные» проверки возраста и активно бороться с незаконным контентом. Регулятор Ofcom осуществляет контроль за исполнением закона: к началу 2026 года он инициировал расследования более чем по девяноста сервисам и наложил штрафы, включая £800 000 на одну платформу за отсутствие возрастной верификации. Среди приоритетов – защита детей, а также женщин и девочек от злоупотреблений интимными изображениями, что является прямым сигналом для сервисов знакомств и социальных сетей.
В США TAKE IT DOWN Act, подписанный в мае 2025 года, делает федеральным преступлением публикацию интимных изображений без согласия, включая ИИ-дипфейки опознаваемых реальных людей. Для платформ ключевая обязанность – уведомление и удаление с таймером: получив корректный запрос от жертвы, платформа обязана удалить контент и приложить добросовестные усилия по удалению его копий в течение 48 часов. Федеральная торговая комиссия (FTC) начала применять это требование с мая 2026 года, поэтому любому продукту, хранящему пользовательские изображения, нужен не просто план, а работающий и укомплектованный процесс удаления.
| Режим | Регион | Что включает | Ключевая обязанность для приложения | Макс. штраф |
|---|---|---|---|---|
| Digital Services Act | EU | Хранение/раздача UGC | Уведомление-реагирование, обоснование, апелляции, отчёты | 6% мирового оборота |
| Online Safety Act | UK | Сервис с вероятным доступом детей | «Высокоэффективные» проверки возраста, борьба с незаконным | £18 млн или 10% оборота |
| TAKE IT DOWN Act | US | Хранение изображений/видео | Удалить заявленные интимные изображения за 48 часов | Правоприменение FTC |
| EU AI Act, статья 50 | EU | Генерация синтетических медиа | Машиночитаемая метка «ИИ-сгенерировано» (с авг. 2026) | До 3% оборота |
Четвёртый режим – статья 50 EU AI Act, которая вступает в полную силу в августе 2026 года и обязывает любые системы, генерирующие синтетические изображения, видео или звук, маркировать такие материалы в машиночитаемом формате. Если ваш продукт включает генеративную функцию или позволяет публиковать контент, созданный с помощью ИИ, эти требования касаются и вас. Подробно о всей регуляторной системе мы рассказываем в статье про регуляторный инжиниринг, а о стандартах раскрытия происхождения контента – в гайде по C2PA и раскрытию ИИ.
Ещё одну границу стоит отметить – она движется: предложенный в ЕС регламент по CSAM, получивший название «Chat Control», предполагал бы обязательное сканирование личных сообщений мессенджерами на предмет материалов, связанных с насилием над детьми. Добровольная версия, позволявшая платформам проводить такую проверку, истекла в 2026 году, а план обязательного сканирования был исключён из рабочего черновика. Переговоры продолжаются, а временные правила продлены. Считайте этот вопрос нерешённым и наблюдайте за развитием событий, а не ориентируйтесь на версию, которая может не пройти.
Проверить настоящего человека: возраст, liveness и дипфейки
Две самые сложные задачи 2026 года стоят у входной двери: доказать, что пользователь заявленного возраста, и доказать, что он реальный, присутствующий человек, а не украденное фото или ИИ-подделка.
Подтверждение возраста (age assurance) превратилось из формальной галочки в измеримую техническую способность. UK Online Safety Act требует «высокоэффективных» проверок, что исключает устаревший способ – просто нажать кнопку «подтверждаю, что мне 18». Два реально работающих подхода – это проверка по документу и оценка возраста по лицу (facial age estimation): модель определяет возраст по селфи, не распознавая личность пользователя. Независимых бенчмарков достаточно, чтобы на них опираться: ведущие системы оценки возраста по лицу правильно классифицируют подавляющее большинство подростков как «младше 21» со средней погрешностью чуть больше года для молодых взрослых, а лучшие реализации обрабатывают изображение и сразу удаляют его, не сохраняя данные лица. Инженерный подход – сначала проводить быструю, дешёвую и приватную оценку, а к проверке документа переходить только в неоднозначных случаях у самого возрастного порога.
Liveness и идентичность – передний край приложений знакомств, и индустрия двинулась быстро. В конце 2025 года Match Group сделала Face Check обязательной для новых пользователей Tinder в растущем списке рынков: пользователь записывает короткое видео-селфи, и система проверяет две вещи – что лицо принадлежит живому человеку, присутствующему в этот момент, а не статичному фото или записи, и что оно совпадает с фотографиями профиля. Цель – остановить аккаунты на украденных или ИИ-сгенерированных лицах. Match Group сообщила, что на рынках, уже использующих функцию, число жалоб на «плохих акторов» упало на 40%, и заявила, что распространит проверку на другие свои приложения в течение 2026 года. Инженерию распознавания лиц и биометрии за этим, и правила согласия, которые её связывают, мы разбираем в статье про распознавание лиц и EU AI Act – биометрические данные относятся к особой категории, поэтому liveness-проверки требуют явного согласия и аккуратного обращения.
Более серьёзная угроза – дипфейки и ИИ-генерируемые профили, и теперь это уже не гипотеза, а реальный измеримый вред. Романтические мошенничества обошли потребителей США на $1,16 млрд только за первые девять месяцев 2025 года, а долгосрочные инвестиционные аферы «pig butchering», которые зачастую начинаются в приложениях знакомств, по оценкам, выкачали из американцев около $10 млрд за год. Искусственный интеллект здесь – усилитель: одна операция может управлять сотнями фейковых профилей через чат-ботов, ведущими естественные разговоры неделями. Опрос 2025 года показал, что менее половины пользователей знакомств способны отличить настоящее фото профиля от ИИ-генерированного. Защита от таких угроз – это сочетание liveness-проверки, анализа поведенческих сигналов (например, профиль, который пишет тысячам людей за час, вряд ли принадлежит реальному человеку) и контроля происхождения контента.
Последний кусок – происхождение – стоит понять, потому что его часто неверно толкуют. Стандарт C2PA Content Credentials прикрепляет к медиафайлу подписанную запись о том, кто его создал, каким инструментом и какие правки были внесены. К началу 2026 года к нему присоединились более шести тысяч организаций, включая Google, Meta, OpenAI и крупных производителей камер. Но C2PA не обнаруживает дипфейки – он лишь доказывает происхождение, если метка присутствует, а у большинства ИИ-изображений, поступающих на платформу, такой метки нет вовсе, потому что при загрузке она часто удаляется. Происхождение – полезный сигнал в многослойной системе защиты, но не детектор дипфейков, и считать его таковым – это разновидность ошибки границы модерации.
Три способа собрать стек безопасности
Когда вы знаете, какие виды вреда должны обнаруживаться и где проводятся проверки, существует три способа собрать систему trust & safety. Они меняют соотношение между скоростью доставки и уровнем контроля – точно так же, как в конференцсвязи или видеонаблюдении.
Первый путь – купить moderation API. Вендоры вроде Hive, Amazon Rekognition, Microsoft Azure AI Content Safety и Sightengine предлагают распознавание наготы, насилия, ненависти, наркотиков, оружия и селфхарма по простому API-вызову, часто с поддержкой стриминга. Запуск сканирования контента возможен уже через несколько дней. Компромисс в том, что вы принимаете категории и точность, заданные вендором, и платите за каждый элемент: Rekognition, например, оценивает модерацию изображений примерно в $1,00 за 1 000 снимков и видео – около $0,10 за минуту, а Sightengine стартует примерно с $29 в месяц за десять тысяч операций. Важно: общие moderation API не предназначены для выявления материалов, связанных с насилием над детьми – для этой задачи требуется специализированный подход.
Второй путь – собрать свой стек поверх открытых моделей и общих баз: использовать собственные классификаторы или открытые vision-language модели для общих категорий, сопоставлять перцептивные хеши с PhotoDNA и PDQ для распознавания известного запрещённого контента, задействовать специализированный сервис вроде Safer от Thorn для обнаружения материалов, связанных с безопасностью детей, и отправки отчётов в NCMEC, а сверху – реализовать собственный движок политик и инструменты для живой модерации. Такой подход занимает недели или месяцы и означает, что вы полностью контролируете логику политик, пороговые значения и поток данных. Это правильный выбор, когда у вас достаточно масштаба, чтобы поэлементная оплата API оказывала ощутимое влияние на бюджет, или когда виды вредоносного контента специфичны именно для вашего сообщества.
Третий путь – построить и обучить собственные модели для выявления вреда, который готовые системы ловят плохо: специфичная для вашей платформы форма травли, политика конкретного сообщества, язык, который вендоры покрывают слабо. Это месяцы работы, и окупается только тогда, когда trust & safety – это продукт или ключевое отличие. Для большинства команд такой подход преждевременен; вопрос, когда общая vision-language модель превосходит кастомный классификатор, – тема нашей статьи про VLM против кастомного CV.
Сравнение делает компромисс очевидным:
| Критерий | Купить moderation API | Собрать свой стек | Построить и обучить своё |
|---|---|---|---|
| Время до первого фильтра | Дни | Недели–месяцы | Месяцы |
| Кто владеет точностью | Вендор | Вы | Вы |
| Сопоставление CSAM | Обычно нет | Добавьте специалиста (Safer) | Добавьте специалиста всё равно |
| Политика и пороги | Категории вендора | Ваши | Полностью ваши |
| Форма стоимости | Плата за элемент | Инженерия + часть платы | Инженерия + обучение |
| Когда уместно | Проверка гипотезы | Масштаб бьёт по плате | T&S это отличие |
Для большинства команд, оценивающих первую публичную версию, честный путь выглядит так: использовать общий API модерации для старта, внедрить специализированный сервис защиты детей с самого первого дня – независимо от масштаба (это не вопрос роста, а обязательное условие) – и постепенно расширять стек по мере роста объёмов и сложности политик.
Где на самом деле место алгоритму подбора
Стоит ненадолго вернуться к той части, которую все считают всей работой, потому что её правильная оценка освобождает бюджет для той части, которая таковой не является. Подбор и ранжирование – решённая задача: модель из двух башен (two-tower), которая обучает эмбеддинги пользователей и объектов, поиск приближённых ближайших соседей, способный за миллисекунды отбирать сотни кандидатов из миллионов, и модель ранжирования, упорядочивающая их по предсказанной вовлечённости. Открытые рекомендательные системы крупных платформ следуют этому шаблону, и грамотная команда сможет реализовать достойную версию без изобретений.
Ошибка тут не техническая, а редакторская: вкладывать ИИ-бюджет в выжимание ещё одного процента вовлечённости из ранкера, пока недостроены воронка безопасности и входная дверь верификации. В приложении для знакомств, соцсети или UGC модель ранжирования определяет, насколько хорош продукт на ощупь; а система безопасности – имеет ли он право вообще существовать. Тратьте соответственно.
Сколько на самом деле стоит построить приложение для знакомств или соцсеть
Бюджеты зависят от объёма, но рыночные ориентиры на 2026 год помогают вести плановые переговоры. Минимально жизнеспособный продукт – профили, подбор или лента, сообщения, базовые жалобы – обычно укладывается в нижние десятки тысяч долларов для одной платформы. Конкурентоспособное приложение с живым видео, настроенной рекомендательной системой, верификацией личности и полноценной модерацией стоит от примерно $80 000 до нескольких сотен тысяч, в зависимости от того, сколько компонентов безопасности вы разрабатываете сами, а сколько покупаете. Спрос подтверждает, что это рынок покупателя: один лишь запрос «dating app development company» собирает около тысячи поисковых запросов в месяц в США при низкой конкуренции – поэтому за него и борется столько агентств.
Две статьи расходов систематически недооценивают. Первая – модерация как операционная стоимость, а не часть затрат на разработку: каждое изображение и каждая минута видео требуют поэлементной оплаты за инференс, если вы используете сторонние сервисы, плюс постоянные расходы на зарплаты модераторов – и те, и другие растут вместе с масштабом, а не сокращаются. Вторая – инженерия соответствия: система уведомлений и реагирования, генератор обоснований, поток апелляций, интеграция проверки возраста и конвейер отчётности о прозрачности – это полноценные функциональные модули с реальными сроками разработки. В 2026 году они уже не являются опциональными для публичного запуска в ЕС или Великобритании. План, в котором эти задачи сваливаются на «юристов разберутся потом», даёт неверную оценку общей сложности реализации.
Где здесь Фора Софт
Фора Софт занимается разработкой видеософта с 2005 года – в области видеоконференцсвязи, стриминга и OTT, e-learning, телемедицины и компьютерного зрения для видеонаблюдения. Продукт для знакомств, социальная сеть или платформа UGC заимствует решения из всех этих направлений. Живое и однонаодиночное видео – это та же работа с real-time WebRTC, что мы используем в конференцсвязях; доставка пользовательского контента – та же технология стриминга и OTT; а система модерации – та же инженерия детекции на основе компьютерного зрения, что применяется в видеонаблюдении, где всегда действует правило: модель выявляет, человек проверяет. Дисциплина обращения с чувствительными персональными данными при наличии явного согласия и аккуратном хранении – та же, что мы соблюдаем в телемедицине. Именно этот межотраслевой опыт не позволяет рассматривать безопасность как функцию, добавленную в конце разработки, а делает её многослойной системой, которой она должна быть с самого первого дня.
Главные выводы
- ИИ в социальном приложении – это три системы: подбор, безопасность доверия и реальное время обработки медиа.
- Безопасность доверия – это воронка, а не фильтр: отпечатки, классификаторы, жалобы и люди.
- Единый порог классификатора не подходит для каждого вида вреда; настройте строгость в зависимости от тяжести.
- Обязанности по DSA, OSA и TAKE IT DOWN касаются охвата и несовершеннолетних, а не конкретной технологии.
- Модерируйте живое видео выборочно: обработка каждого кадра обходится примерно в 60 раз дороже, чем анализ раз в две секунды.
- Используйте moderation API для запуска, но назначьте специалиста по детской безопасности с первого дня.