CLIP и контрастное обучение vision-language – введение для каждого инженера видео-ИИ

Коротко

Vision-language модель – это система, способная сопоставить изображение и текстовую фразу и оценить, насколько они соответствуют друг другу. CLIP – сокращение от Contrastive Language-Image Pre-training – была выпущена OpenAI в январе 2021 года. Именно эта модель впервые реализовала эту идею на больших масштабах. CLIP обучает две отдельные нейросети: одна преобразует изображение в числовой вектор, другая – текст в аналогичный вектор, так что, например, фото собаки и фраза «фото собаки» оказываются близкими в общем числовом пространстве, а несоответствующие пары – далекими. Сам по себе этот подход позволяет выполнять zero-shot классификацию (распознавать объекты на изображениях по словам, которым модель не обучалась), искать изображения по текстовому запросу и обеспечивает «зрение» почти каждой современной мультимодальной системы – от Stable Diffusion до видео-ассистентов, которые сейчас разрабатывает ваша продуктовая команда. В этом введении мы объясним, как работает CLIP, для читателя без опыта в машинном обучении, почему в 2025 году преемник SigLIP изменил функцию потерь и как та же идея применяется от анализа одного кадра до поиска по видеоархивам.

Почему это важно

Почти любая мультимодальная функция, которую вы захотите выпустить в видео-продукте – «найди фрагмент, где человек поднимает красную табличку», «авто-тегирование записей наблюдения», «дай пользователям искать в архиве обычными словами», «опиши, что происходит на экране» – опирается на vision-language модель под капотом. Если не понимать одну идею в её основе, остальная глава 4 читается как магия, и вы не сможете рассуждать, почему функция дешёвая или дорогая, быстрая или медленная, точная или хрупкая. Это базовый урок всего мультимодального блока. Продакт-менеджер, дочитавший его, сможет сидеть на ревью архитектуры и понимать, почему команда повторяет «эмбеддинги», «общее пространство» и «zero-shot» – и отличать задачу, которую CLIP решает почти бесплатно, от задачи, которой нужна тяжёлая модель из урока о закрытом фронтире.

Одна идея – картинки и слова в одном пространстве

Начнём с мысленной картины. Представьте огромную комнату, в которой каждая точка – это позиция, заданная не тремя, как в обычной физической комнате, а несколькими сотнями координат. Теперь представьте, что мы можем поместить любое изображение в одну конкретную точку этой комнаты, а любую фразу – в другую точку той же комнаты. Вся суть vision-language модели заключается в следующем: изображения и соответствующие им слова должны оказаться в близких точках, а изображения и не относящиеся к ним слова – в далёких.

Список координат для одного объекта называется эмбеддинг – простыми словами, это краткая числовая сводка фиксированной длины. Например, картинка золотистого ретривера на пляже может быть представлена строкой из 768 чисел, а фраза «собака на песке» – своей собственной строкой из 768 чисел. Если модель хорошо обучена, эти две строки будут близки. А вот фраза «таблица квартальной выручки» превратится в строку, находящуюся далеко от них.

Близость между эмбеддингами измеряется с помощью простой операции – скалярного произведения: числа в двух строках перемножаются попарно, а затем результаты складываются. Чем больше итоговое значение, тем «ближе» векторы – то есть тем больше сходство между объектами.

У этой общей комнаты есть имя, которое инженеры используют постоянно: общее пространство эмбеддингов, или совместное пространство эмбеддингов. «Совместное» – потому что в нём живут и картинки, и слова. Как только оно появляется, удивительное число функций становится почти бесплатным. Хотите найти все изображения в архиве, подходящие под «человек в каске»? Преобразуйте фразу в её эмбеддинг и найдите ближайшие эмбеддинги изображений. Хотите разметить кадр как одну из пятидесяти категорий, не обучая классификатор? Преобразуйте название каждой категории в эмбеддинг и выберите ближайший. Ничего из этого не потребовало обучения чего-либо нового. Именно в этом и состоит выигрыш, а остальная часть статьи – о том, как строится эта комната.

Как устроен CLIP – два энкодера, одна цель

CLIP – это две нейросети, обучаемые параллельно. Первая – энкодер изображений – сеть, которая анализирует картинку и выдаёт её эмбеддинг. В наиболее распространённых моделях CLIP используется Vision Transformer – архитектура, которая разбивает изображение на сетку мелких патчей и обрабатывает их так, будто это слова в предложении; мы подробно разирали её в введении в Vision Transformer. Вторая – энкодер текста – это Transformer, та же архитектура, что и в больших языковых моделях, которая обрабатывает последовательность слов и формирует её эмбеддинг. Важно: оба энкодера настроены так, чтобы их выходные векторы имели одинаковую длину. В оригинальной версии CLIP от OpenAI эта длина варьировалась от 512 до 768 чисел в зависимости от размера модели. Совпадение обязательно, потому что скалярное произведение невозможно вычислить для векторов разной длины – например, для строки из 512 и строки из 768 чисел.

Поначалу оба энкодера ничего не знают. Энкодер изображений выдаёт случайные эмбеддинги, энкодер текста – тоже. Между ними нет никакой согласованности. Обучение – это процесс постепенной настройки обеих сетей так, чтобы совпадающие пары «картинка – текст» оказались близко друг к другу в пространстве эмбеддингов. Единственный необходимый для обучения ингредиент – данные: очень большой набор изображений, каждое из которых сопровождается подписью.

OpenAI собрала именно такую коллекцию. Датасет, названный WebImageText (WIT), содержал 400 миллионов пар «картинка – подпись», собранных из открытого интернета. Его создали, составив список из 500 000 текстовых запросов – на основе частых слов английской Википедии, информативных словосочетаний, заголовков статей Википедии, превышающих порог популярности, и лексической базы WordNet – и собрав до 20 000 пар «картинка – текст» по каждому запросу. Ни один человек не занимался их разметкой. «Ярлыком» для каждого изображения служила просто та подпись, что уже сопровождала его в интернете. Это вторая тихая революция CLIP: модель обучается на естественном языковом надзоре, который изобилен и бесплатен, вместо ручных категориальных меток, которые редки и дороги.

Нажмите, чтобы увеличить

Контрастный приём – учиться на том, что не совпадает

Слово «контрастный» в середине фразы «Contrastive Language-Image Pre-Training» делает всю работу. Контрастный означает, что модель учится через контраст – ей показывают совпадающие пары рядом с несовпадающими и заставляют различать их.

Вот механизм, пошагово. Во время обучения модели подают батч – группу пар «картинка–подпись», например, 256 штук, а в самых крупных прогонах – до 32 768. Для батча из, скажем, N пар модель вычисляет эмбеддинг каждой картинки и каждой подписи. Затем строится сетка: N изображений по вертикали, N подписей по горизонтали, а в каждой ячейке – скалярная мера схожести между изображением и подписью. В итоге получается сетка размером N × N ячеек.

В этой сетке ровно N ячеек – правильные совпадения: те, что на диагонали, где картинка номер 3 встречается с подписью номер 3, потому что они с одной веб-страницы. Любая другая ячейка – несовпадение: картинка 3 против подписи 7, картинка 12 против подписи 2 и так далее. Цель обучения проста до жестокости: поднять оценки на диагонали и опустить все ячейки вне диагонали. Притянуть правильные пары; оттолкнуть каждую неправильную. Прогоните это на 400 миллионах пар снова и снова – и оба энкодера вынуждены открыть, что на самом деле связывает картинки со словами.

Вот почему несовпадения важны не меньше, чем совпадения. Модель, которая видела бы только правильные пары, могла бы схитрить и сделать всё похожим. «Негативы» вне диагонали и заставляют её быть разборчивой. В одном батче из 256 каждая правильная пара контрастируется с 255 неправильными; в батче из 32 768 – с 32 767. Чем больше негативов на шаг, тем чётче модель, поэтому размер обучающего батча оказывается настоящим рычагом – и именно поэтому поздние работы уделили столько усилий тому, чтобы сделать большие батчи доступными.

Функция потерь, оценивающая всё это, имеет учебное название – симметричная кросс-энтропия по сетке схожести, которую также называют InfoNCE или multi-class N-pair loss. «Симметричная» – потому что применяется дважды: один раз по строкам (для каждой картинки – какая подпись подходит?) и один раз по столбцам (для каждой подписи – какая картинка подходит?). Ещё один обучаемый параметр, достойный упоминания, – это температура: одно число, которое модель настраивает в процессе обучения, контролируя, насколько резко она разделяет близкие и далёкие пары. Низкая температура делает модель более решительной, высокая – более осторожной. В CLIP температуру не задают вручную; модель учится ей сама.

Нажмите, чтобы увеличить

Zero-shot классификация – функция, которая прославила CLIP

Единственный результат, сделавший CLIP вехой, – zero-shot классификация: модель способна разметить изображение по категории, которой её специально не учили, используя только название этой категории.

Разберём, как это работает – потому что идея умнее, чем кажется, и это шаблон, который пригодится вам в половине задач. Допустим, нужно классифицировать кадры по категориям: «строительная площадка», «офис», «склад». Обычному классификатору изображений понадобились бы тысячи размеченных примеров для каждой категории и длительный процесс обучения. CLIP же не требует ничего подобного. Вы пишете три короткие фразы – «a photo of a construction site», «a photo of an office», «a photo of a warehouse» – и пропускаете каждую через текстовый энкодер, получая три текстовых эмбеддинга. Затем проходите кадр через энкодер изображений и получаете один эмбеддинг картинки. Сравниваете скалярное произведение эмбеддинга изображения с каждым из трёх текстовых эмбеддингов и выбираете наибольшее значение – это и будет предсказанный класс. Фраза «a photo of a {class}» – не просто формальность; OpenAI обнаружила, что обёртывание названия класса в такой шаблон заметно повышает точность. Этот приём они назвали prompt engineering для зрения ещё до того, как термин стал общепринятым.

Заголовочное число из статьи 2021 года: лучшая модель CLIP – ViT-L/14 при разрешении 336 пикселей – достигла примерно 76% точности top-1 на ImageNet – бенчмарке из 1000 категорий – не обучаясь ни на одной метке ImageNet. Это сравнялось с сильным ResNet-50, который был обучен на 1,3 миллиона размеченных изображений ImageNet. Модель, не видевшая обучающую выборку бенчмарка, сравнялась с моделью, построенной специально под него. Ещё поразительнее: CLIP оказался гораздо устойчивее, когда тестовые изображения были необычными – скетчи, состязательные рендеры, странный свет – именно потому, что обучался на разнообразном открытом вебе, а не на одном чистом датасете.

Сделаем арифметику конкретной, потому что стоимость zero-shot классификации – это стоимость нескольких скалярных произведений, и это стоит почувствовать на практике. Допустим, вы классифицируете кадр по 50 кандидатам-ярлыкам, каждый из которых представлен эмбеддингом из 768 чисел. Картинка проходит через энкодер один раз. Затем вы вычисляете 50 скалярных произведений, каждое из которых требует 768 умножений и сложений:

50 ярлыков × 768 чисел = 38 400 операций умножения-сложения

Современный процессор выполняет миллиарды таких операций в секунду. Сравнение ярлыков практически не требует ресурсов; реальная стоимость – один раз запустить энкодер изображения на кадр. Более того, 50 текстовых эмбеддингов вычисляются один раз и затем многократно используются для каждого кадра. Именно эта экономическая эффективность делает CLIP таким удобным для развёртывания: вы платите один раз за кодирование каждой картинки и почти ничего – за сравнение её с любым количеством текстовых ярлыков.

Числа за моделями – что вы на самом деле скачиваете

CLIP – это не одна модель, а целое семейство, и имена моделей отражают их архитектуру. Ярлык вроде ViT-L/14 читается так: Vision Transformer, размер Large (большой), с патчами 14×14 пикселей. Буквы размеров идут в порядке возрастания: B, L, H, G – base, large, huge, giant. Меньшие модели работают быстрее и дешевле, а более крупные – точнее, но медленнее. Таблица ниже перечисляет релизы ViT от OpenAI, чтобы вы могли наглядно оценить компромисс между производительностью и ресурсами.

Две колонки заслуживают второго взгляда. Параметры зрения – это примерно то, насколько «тяжёл» энкодер изображений: 88 миллионов у маленькой версии и 304 миллиона у большой. Это напрямую влияет на объём GPU-памяти и время обработки каждой картинки. Длина эмбеддинга – размер числовой строки, в которую преобразуются изображение и его подпись: здесь 512 или 768. Этот параметр важен для оценки затрат на хранение: если закодировать миллион архивных кадров, каждый из которых представлен 768 числами, хранящимися как 4-байтные значения, то получится:

1 000 000 кадров × 768 чисел × 4 байта = 3 072 000 000 байт ≈ 3,07 ГБ

Три гигабайта – и миллион кадров становится доступным для поиска по обычному тексту. Именно это число превращает функцию «когда-нибудь» в реальный пункт квартального плана.

Стоимость обучения, для контраста, – это часть, которую вы никогда не оплачиваете и не должны пытаться оплатить. Самый большой ViT от OpenAI обучали 12 дней на 256 топовых GPU V100; самый большой вариант ResNet – 18 дней на 592 GPU. Вы скачиваете готовые веса – OpenAI их выложила, а открытое сообщество добавило ещё много – и оказываетесь по ту сторону этих вычислений бесплатно.

CLIP, OpenCLIP и открытая экосистема

OpenAI опубликовала оригинальные веса модели, но оставила датасет из 400 миллионов пар закрытым. Именно этот разрыв закрыло открытое сообщество. OpenCLIP, поддерживаемый группой LAION и ML Foundations, воспроизвёл и расширил архитектуру CLIP на опубликованных датасетах – LAION-400M, LAION-2B и DataComp-1B – так что любой может проверить данные и переобучить модель. OpenCLIP ViT-L/14, обученный на LAION-2B, обработал 32 миллиарда примеров за 160 эпох на 384 современных GPU. Практический вывод для вас: когда инженер говорит «возьмём CLIP», он почти всегда имеет в виду одну из CLIP-подобных моделей из меню из десятков, большинство из которых имеют открытые веса и бесплатны для самостоятельного хостинга. Урок о форматах артефактов моделей и решении open-vs closed при закупке разбирает, как выбрать среди них и что разрешают лицензии.

Другие группы довели идею до предела. ALIGN от Google обучили на более чем миллиарде шумных пар «картинка – alt-текст» и показали, что масштаб превосходит тщательную очистку данных. EVA-CLIP масштабировали подход до модели с 18 миллиардами параметров, добившись около 82% точности в zero-shot режиме на ImageNet – на несколько пунктов выше оригинала. Тренд устойчив и стоит запомнить как эвристику планирования: больше данных и больше параметров продолжают повышать точность без признаков насыщения – поэтому «лучший CLIP» – это движущаяся цель, которую приходится переоценивать каждый квартал, а не фиксированный ответ.

SigLIP – почему функция потерь изменилась в 2025 году

Если CLIP – это идея, то SigLIP – её уточнение, которое в 2025 году тихо заняло своё место на рынке, так что стоит понять одну вещь, которую он меняет.

Вспомните контрастную сетку: для батча из N пар CLIP оценивает все N×N комбинаций и применяет softmax – нормализацию, которая для каждой картинки распределяет фиксированный «бюджет вероятности» по всем N подписям в батче. Эта нормализация связывает каждую пару с каждой другой в батче. Это работает, но требует много памяти, потому что для корректного расчёта нужна вся сетка N×N сразу. SigLIP – сокращение от Sigmoid Loss for Language-Image Pre-Training, представленный командой Google на конференции ICCV 2023, – заменяет softmax на сигмоиду. Вместо вопроса «среди всех подписей в батче – какая подходит этой картинке?» он задаёт более простой вопрос «да/нет» для каждой отдельной ячейки «картинка–подпись» независимо: «совпадают ли эти двое – да или нет?» Каждая ячейка становится самостоятельной задачей «истина/ложь».

Звучит как незначительное изменение, но его последствия велики. Поскольку сигмоида обрабатывает каждую пару отдельно, вы больше не платите «налог памяти» за полную softmax-матрицу, и поэтому можете использовать гораздо большие батчи на том же оборудовании. Оригинальная статья SigLIP показала, что на четырёх чипах TPU можно обучать Base-модель с размером батча 4096, тогда как эквивалентная softmax-архитектура CLIP ограничивалась 2048. Большие батчи – больше негативных примеров на шаг обучения, а, как мы видели выше, большее количество негативных примеров обычно приводит к более чёткой модели. SigLIP сравнялся с CLIP или превзошёл его, оставаясь при этом дешевле в обучении.

SigLIP 2, представленный Google DeepMind в феврале 2025 года, предлагает больше возможностей: мультиязычное обучение, декодерную цель, самодистилляцию и улучшенные «плотные» признаки, которые определяют где находятся объекты на изображении, а не только что на нём. Эти изменения повлияли на точность: базовая модель SigLIP 2 при разрешении 256 пикселей достигает около 79% zero-shot top-1 на ImageNet, а версия с разрешением 512 пикселей – около 81%, по сравнению с примерно 77% у оригинального SigLIP.

Для продуктовых команд это важно, потому что развитие продолжается: к 2026 году энкодеры семейства SigLIP станут «глазами» по умолчанию в ведущих открытых мультимодальных моделях, таких как Qwen3-VL и Gemma 3, вытеснив оригинальный CLIP из новых сборок. Когда инженеры выбирают энкодер в этом году, SigLIP 2 – стандартная отправная точка, а оригинальный CLIP используется в основном ради совместимости со старыми пайплайнами.

От одного кадра к видео – куда идёт идея дальше

Всё до сих пор было про одно неподвижное изображение. Видео – это просто последовательность кадров (обычно 24–60 в секунду), так что естественный вопрос: как CLIP работает во времени? Честный ответ на 2026 год: доминирующий подход остаётся удивительно простым, и эта простота – хорошая новость для вашего бюджета.

Рабочая лошадка – по-кадровый эмбеддинг плюс пулинг. Вы берёте выборку кадров из видео – не все, а, например, один раз в секунду или реже – и пропускаете каждый выбранный кадр через энкодер изображений CLIP. В результате получается последовательность эмбеддингов, по одному на кадр. Чтобы получить единый эмбеддинг для всего видео, вы пулите их – чаще всего это просто поэлементное усреднение чисел по позициям. Усреднив десять эмбеддингов кадров, вы получаете один эмбеддинг для всего клипа, который сравниваете с текстом так же, как и раньше. Этот базовый подход со средним пулингом настолько эффективен, что в задачах zero-shot поиска «видео–текст» он сравнивается с многими специально разработанными видео-моделями или даже превосходит их. Иногда самый простой и дешёвый метод оказывается почти лучшим.

Сделаем оценку конкретной. 10-минутный клип, семплированный с частотой один кадр в секунду, – это 600 кадров. При, скажем, 5 миллисекундах GPU-времени на кадр на энкодере изображений:

600 кадров × 5 мс/кадр = 3000 мс = 3 секунды GPU-времени

Три секунды вычислений, чтобы сделать десятиминутное видео искомым по обычному тексту. Проиндексируйте тысячу таких клипов за ночь – и наутро у вас видеоархив, по которому пользователи ищут своими словами.

Более изощрённые подходы возникают, когда простого усреднения кадров недостаточно – например, когда важен порядок, как в случае с различением «человек садится» и «человек встаёт». Модели вроде X-CLIP, ViFi-CLIP и VideoCLIP добавляют лёгкие временные компоненты, позволяя кадрам «обмениваться информацией» перед агрегацией, и тем самым улавливают движение, которое теряется при простом усреднении. Подробно о таких архитектурных решениях – частоте выборки кадров, потоковой передаче токенов и условиях, при которых временное моделирование оправдывает свои затраты, – мы говорим в уроке о видео-VLM. Пока запомните одну ключевую идею: CLIP даёт вам «глаза» на уровне отдельных кадров; понимание видео в основном зависит от того, насколько умно вы их комбинируете.

Нажмите, чтобы увеличить

Что питает CLIP – тихий двигатель современного мультимодального ИИ

Легко отправить CLIP в папку «интересное исследование 2021 года» и упустить, что он – несущая инфраструктура систем, которыми вы пользуетесь сегодня. Три примера это показывают.

Первое – генерация изображений по тексту. Stable Diffusion и её аналоги используют текстовый энкодер CLIP, чтобы преобразовать ваш промпт в эмбеддинг, который задаёт направление генерации изображения. Когда вы вводите «акварельная лиса в лесу», именно текстовый эмбеддинг CLIP «слушает» генератор. Сам генератор изображений никогда не видит ваши слова напрямую – он работает с их интерпретацией, полученной от CLIP.

Второе – глаза внутри мультимодальных языковых моделей. Стандартный подход к созданию модели, способной «посмотреть» на изображение и рассказать о нём – той, что лежит в основе визуальных ассистентов в видеозвонках, – выглядит так: берут замороженный энкодер изображений в стиле CLIP, добавляют небольшой адаптер (часто – двухслойную проекцию), который преобразует эмбеддинги изображений в токены внутреннего словаря языковой модели, и подключают всё это к большой языковой модели. Открытая модель LLaVA реализовала именно такой подход, используя CLIP ViT-L/14 с разрешением 336 пикселей и двухслойную проекцию. Ещё раньше DeepMind представила Flamingo, в которой энкодер изображений на основе CLIP был заморожен, а к нему подключили также замороженную языковую модель. Этот шаблон повсеместно используется, потому что он работает и относительно дешёв: дорогостоящие энкодеры обучаются один раз, а вы обучаете лишь небольшой «мост» между ними. Урок о VLM открытого фронтира показывает, как этот подход превратился в LLaVA, Qwen-VL и другие модели.

Третье – семантический поиск и модерация по медиаархивам. Поскольку изображения и текст находятся в одном пространстве, можно построить «поиск по фотобиблиотеке на английском», «найти кадры, похожие на этот референс» или «помечать любой кадр, соответствующий списку запрещённых понятий», используя одну и ту же систему скалярных произведений. Без обучения по категориям, без размеченных датасетов – только эмбеддинги и поиск ближайших соседей. Это основа мультимодальных поисковых систем, к которым мы вернёмся в уроке о video RAG.

Частая ловушка – CLIP видит изображения, но не анализирует их внимательно

Чаще всего команды переоценивают точность CLIP. Он отлично улавливает суть изображения – кухня это или пляж, собака или машина, день или ночь. Но он ненадёжен в мелких деталях, подсчёте, чтении текста и определении пространственных отношений. Попросите его отличить «три человека» от «четырёх» или «чашка слева от ноутбука» от «чашка справа» – и он часто ошибётся. Его можно обмануть: знаменитая демонстрация показала, как CLIP принял яблоко за iPod, когда на яблоко наклеили бумажку со словом «iPod», потому что модель научилась воспринимать текст на изображениях как сильный сигнал. CLIP также плохо справляется с отрицанием – запрос «улица без машин» может совпадать с изображениями, на которых машины есть, потому что модель фокусируется на слове «машины» и игнорирует частицу «без».

Практическое правило: используйте эмбеддинги в стиле CLIP для грубого сопоставления, поиска, тегирования и фильтрации, когда важна сильная «суть» и редкий промах легко исправить. Когда же требуется точное чтение – например, подсчёт товаров на полке, распознавание номерного знака или анализ точной пространственной компоновки – это задача для более тяжёлой мультимодальной модели или специализированного детектора. Попытка применить CLIP в таких случаях даёт эффектное демо, которое впечатляет на презентации, но проваливается в продакшене. Умение определить, по какую сторону этой границы находится ваша задача, – важнейшая часть инженерного суждения, которому учит весь этот этап.

Где здесь Фора Софт

Мы строим функции, на которых основано это введение. В системах видеонаблюдения эмбеддинги в стиле CLIP позволяют операторам искать в записях с помощью естественного языка – например, «покажи всех в жёлтом жилете у погрузочной зоны» – вместо ручного перематывания таймлайнов. В платформах e-learning и OTT тот же подход к поиску по общему векторному пространству делает каталог удобным для навигации по темам и сценам, а не по именам файлов. В инструментах видеоконференций и телемедицины замороженные энкодеры в стиле CLIP становятся «глазами» ассистентов: они описывают, что происходит на экране, или выделяют ключевые моменты для последующего анализа. По всем этим направлениям инженерный паттерн остаётся единым – как описано в статье: закодировать один раз, сравнивать дёшево и выбирать самую лёгкую модель, которая обеспечивает требуемую точность для конкретной задачи.

Главное

• Vision-language модель помещает изображения и текст в общее семантическое пространство, где соответствующие пары оказываются близко друг к другу.
• CLIP обучает два энкодера контрастным способом на 400 млн веб-пар «картинка – подпись»: совпадения притягиваются, несовпадения – отталкиваются.
• Zero-shot классификация позволяет разметить изображения только по названиям категорий, без обучения под каждую категорию, ценой нескольких скалярных произведений.
• SigLIP (2023) и SigLIP 2 (2025) заменяют softmax на сигмоиду, что позволяет использовать более крупные батчи и повышает точность.
• Для видео кодируйте семплированные кадры через CLIP и усредняйте – это дешево и часто не уступает специализированным моделям.
• Используйте CLIP для грубого сопоставления и поиска; он слаб в подсчётах, деталях, распознавании текста и пространственных отношениях.

Что почитать дальше

• Введение в Vision Transformer для инженеров видео-ИИ – архитектура энкодера изображений CLIP, объяснённая с нуля.
• Видео-VLM в 2026: семплирование кадров против потоковой обработки токенов – как масштабировать кадровую идею CLIP до полноценного понимания видео.
• Форматы артефактов моделей и решение open vs closed при закупке – как выбрать и лицензировать энкодер для продакшена.