Моделът Muse Glimmer 30B на Meta работи с AMD РС за локални агентни AI задачи

AMD обяви поддръжка от Ден 0 за Muse Glimmer 30B, позволявайки на модела да работи локално на AMD хардуер, поддържайки агентен AI на локалния компютър. Тъй като AI агентите поемат по-сложни работни процеси, включващи памет, използване на инструменти и чувствителни данни, локалното изпълнение на модели чрез рамки като llama.cpp помага на разработчиците да намалят зависимостта от облачната инфраструктура, като същевременно поддържат по-голям контрол върху поверителността и разходите.

Накратко:

• Muse Glimmer 30B работи на AMD Ryzen™ AI Max+ системи или работни станции, захранвани от един Radeon™ AI PRO R9700 GPU, използвайки отворени рамки като llama.cpp

• Чрез LM Studio, разработчиците на поддържани AMD системи с 32GB+ VRAM/VGM могат да открият, изтеглят и стартират модела в рамките на минути и да го свържат с агенти като Hermes Agent или Open Claw чрез OpenAI- и Anthropic-съвместими крайни точки

• Lemonade интегрира Muse Glimmer 30B директно в приложения чрез приблизително 4MB вграден локален API двоичен файл, съхранявайки моделите и данните на устройството без отделна инсталация