[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"$fp49COs4eIWhbUzd1kC1CBMA5m4AQ5Q4N374fo5-4jQc":3},{"article":4,"related":20},{"title":5,"slug":6,"dek":7,"body":8,"cover":9,"type":10,"reading_minutes":11,"published_at":12,"category":13,"author":15},"Мультимодальные модели на практике","multimodalnye-modeli-na-praktike","Как модели читают картинки, где ошибаются и когда выгоднее старый добрый OCR.","## Что умеют мультимодальные модели\nОни принимают на вход и текст, и картинки, а часть работает с аудио и видео. Модель описывает фото, читает таблицу со скриншота, разбирает схему, отвечает на вопросы по документу с картинками. Одна модель закрывает то, на что раньше уходило несколько узких сервисов.\n\n## Практичные сценарии\n1. Достать данные из скана или фото чека в структурированный вид.\n2. Разобрать график или диаграмму и объяснить тренд словами.\n3. Проверить скриншот интерфейса на ошибки вёрстки.\n4. Сгенерировать alt-текст для картинок ради доступности и SEO.\n5. Модерировать пользовательские изображения.\n\n## Как подать картинку\nВ API изображение передают ссылкой или в base64 рядом с текстовым вопросом. Спрашивайте конкретно: не «что тут», а «выпиши сумму, дату и продавца из чека в JSON». Точный вопрос экономит токены и повышает точность.\n\n## Следите за деталями и стоимостью\nКартинки превращаются в токены по площади: чем больше разрешение, тем дороже запрос. Ужимайте изображение до разумного размера, но не режьте настолько, что текст на нём становится нечитаемым. Для мелкого текста поднимайте детализацию осознанно.\n\n## Знайте границы\nМодели путаются в точных координатах, счёте мелких объектов и плотных таблицах. Мелкий или рукописный текст читается хуже печатного. На критичных данных перепроверяйте вывод или связывайте модель с обычным OCR.\n\n## OCR или мультимодальная модель\nДля чистого извлечения текста со скана классический OCR быстрее и дешевле. Мультимодальная модель выигрывает, когда нужно понять смысл: связать текст с картинкой, ответить на вопрос, разобрать сложную структуру. Часто их ставят в связку.\n\n## Проверьте на своих данных\nСоберите 20-30 типичных изображений из вашей задачи и прогоните. Реальные фото с бликами и наклоном ведут себя иначе, чем чистые примеры из демо. Отберите по итогам ту модель, что стабильно держит именно ваш тип снимков.",null,"guide",3,"2026-06-23T08:47:12.000Z",{"name":14},"Гайды",{"name":16,"slug":17,"role":18,"bio":19},"Кирилл Иванцов","kirill-ivancov","редактор","Отвечает за инфраструктуру, железо и безопасность ИИ. Объясняет, почему модель в лаборатории и модель в проде ведут себя по-разному.",[21,26,31],{"title":22,"slug":23,"reading_minutes":11,"published_at":24,"category":25},"Основы промпт-инжиниринга","osnovy-prompt-inzhiniringa","2026-07-06T08:47:12.000Z",{"name":14},{"title":27,"slug":28,"reading_minutes":11,"published_at":29,"category":30},"Как выбрать LLM под задачу","kak-vybrat-llm-pod-zadachu","2026-07-05T08:47:12.000Z",{"name":14},{"title":32,"slug":33,"reading_minutes":11,"published_at":34,"category":35},"Как оценивать модели и читать бенчмарки","otsenka-modeley-benchmarki","2026-07-04T08:47:12.000Z",{"name":14}]