Recent searches
Search options
Я тут немного гонял Gemma 3.
В @ollama с ней сейчас некоторые проблемы с памятью поэтому 27B версию нормально трогать не получается.
Ну, когда есть версия 27B как-то не очень хочется гонять 12B версию и поэтому я её почти не трогал и ждал когда починят менеджмент памяти.
Но тут я случайно вспомнил что Gemma 3 - мультимодалка. И решил попробовать посмотреть что там как с пониманием картинок.
До этого я уже баловался со всякими LLaVA, которая мне откровенно не понравилась, а также с LLaMA 3.2, которая была заметно лучше, но всё равно была не очень надежной.
А вот Gemma 3 меня прямо удивила.
Она мне тут и кошку в темноте нашла, и моток филамента объяснила даже уточнив, что тот лежит на коврике для мыши хотя этого коврика там лишь кусок в углу фото.
А тут она мне ещё и состав моей стойки расписала вплоть до того, что угадала аудио-интерфейс, что в него включён микрофон (его нет на фото) и что это домашняя студия.
Сильнее она удивила бы меня разве что если бы посчитала по торчащему в розетке ваттметру потребление и сделала вывод, что на сервере с фото она и работает, лол.
Короче, я впечатлён. Google молодцы.
@cycl0ne
Это которые Ryzen AI HX 370 и ко?
@skobkin не, HX - это Strix Point, а я про Strix Halo (Ryzen AI MAX+) там 40CU и до 128 гигов Unified memory
Ну и АМД как обычно проебалось в нейминге продуктов. как смотришь на модельный ряд "мобильных" процессоров - хочется за голову схватиться.
@cycl0ne
Ну это их родня, просто более крутая.
А как там это память работает? Просто NPU и GPU быстрый прямой доступ в RAM?
Я так понимаю, для AM5 подобных процессоров не имеет смысла ждать в том числе из-за специфики по памяти. Я б себе в сервер такое воткнул, конечно.
@skobkin по идее всяческие mini-pc на них обещают. Но да, быстрый прямой доступ к памяти.
