„Разбира“ видеоклипове с продължителност от няколко часа
Екипът за изкуствен интелект на Alibaba публикува в GitHub новия си модел Qwen2.5-VL. Той може да изпълнява редица задачи, свързани с текстов и визуален анализ. Това се случва малко след като китайският стартъп DeepSeek публикува своя иновативен AI модел, предизвикал срив в акциите на западните технологични гиганти, пише Дир. бг.
Изкуственият интелект на Alibaba може да обработва файлове, да разбира видеоклипове, да преброява обекти в изображения, както и да управлява компютър - подобно на модела, който захранва наскоро представения Operator от OpenAI.
Според тестовете на екипа на Qwen, най-добрият модел от серията Qwen2.5-VL превъзхожда GPT-4o на OpenAI, Claude 3.5 Sonnet на Anthropic и Gemini 2.0 Flash на Google в редица задачи, включително разбиране на видео съдържание, математика, анализ на документи и въпроси-отговори.
Qwen2.5-VL, който е достъпен за тестване в приложението Qwen Chat на Alibaba и за изтегляне от платформата за AI разработка Hugging Face, може да анализира диаграми и графики, да извлича данни от сканирани фактури и формуляри и да „разбира“ видеоклипове с продължителност от няколко часа, според екипа.
Qwen2.5-VL също така разпознава „IP адреси от филми и телевизионни сериали, както и широка гама от продукти“, което подсказва, че моделите може да са били частично обучавани с помощта на материали със защитени авторски права.
Една от по-интересните функции на Qwen2.5-VL е способността му да взаимодейства със софтуер - както на компютри, така и на мобилни устройства. Видео, публикувано в X от Филип Шмид, технически ръководител в Hugging Face, показва как Qwen2.5-VL стартира приложението Booking.com за Android и резервира полет от Чунцин до Пекин.
В друго видео моделът Qwen2.5-VL управлява приложения на Linux десктоп, но изглежда не постига много повече от смяна на табовете. Може би показателно е, че според тестовете на Qwen, моделът Qwen2.5-VL се представя слабо на OSWorld - бенчмарк, който имитира реална компютърна среда. Двата по-малки и по-малко сложни модела от серията Qwen2.5-VL, Qwen2.5-VL-3B и Qwen2.5-VL-7B, са достъпни с отворен лиценз.