Глава 4 из 10
Глава 4. Мультимодальные модели: от CLIP до видео-VLM
Семь статей по порядку – 3 часа 42 минуты чтения. Ниже маршрут главы: высота каждого шага соответствует времени чтения.
Глава 4 из 10дальше: Генеративное видео: интеграция и производство
Мультимодальные модели: контрастное обучение CLIP, видео-VLM и главный их размен – сэмплирование кадров против потока токенов. Рядом закрытый и открытый фронтир поимённо, дообучение под домен, поиск по видеоархиву на мультимодальном RAG и computer-use агенты.
Маршрут главы
7 статей · 3 ч 42 мин4.1CLIP и контрастное обучение vision-language – введение для каждого инженера видео-ИИVision-language модель – это система, способная сопоставить изображение и текстовую фразу и оценить, насколько они…30 мин·от начала главы 0 ч 0 мин4.2Видео-VLM в 2026 – сэмплирование кадров против потоковой передачи токеновВидео-модель ИИ – то, что инженеры называют мультимодальной системой, или vision-language-моделью (VLM), способной…30 мин·от начала главы 0 ч 30 мин4.3Закрытый фронтир – Gemini 2.5, GPT-5, Claude Opus 4, Claude Computer UseТри закрытых «передовых» семейства моделей – Gemini от Google, GPT-5 от OpenAI и Claude Opus 4 от Anthropic – являются…31 мин·от начала главы 1 ч 0 мин4.4Открытый фронтир – LLaVA, Qwen-VL, Pixtral, InternVL«Открытый фронтир» – это набор vision- и language-моделей, которые можно бесплатно скачать, запустить на своём…30 мин·от начала главы 1 ч 31 мин4.5Fine-tuning видео-VLM на домене – видеонаблюдение, телемедицина, e-learningFine-тюнинг (дообучение) – это когда вы берёте уже выбранную открытую vision-language-модель и продолжаете её обучение…27 мин·от начала главы 2 ч 1 мин4.6Video RAG: мультимодальный RAG по видео-архивуVideo RAG (retrieval-augmented generation по видео) – это подход, позволяющий ИИ отвечать на вопросы, сначала находя…34 мин·от начала главы 2 ч 28 мин4.7Claude Code, Manus AI, Operator, Perplexity Comet и Apple Intelligence – computer-use агентыАгент для работы с компьютером – это ИИ, который взаимодействует с программами так же, как человек: смотрит на экран,…40 мин·от начала главы 3 ч 2 мин
Строите такую систему?
Поможем выбрать кодек и собрать пайплайн под ваши объёмы – 20 лет в видеоразработке, 250+ проектов.