I doubt it is going to save you more than a couple of degrees over a cheap paste like gd900. The real bottleneck in laptops is in the tiny heatsink and fan.

On the other hand, normie's head is free to think about happier things in life. Self-wireheading is a thing.

#amd #linux #llm #log Подъехала новая MoE LLM с открытыми весами от китайцев, сравнимая с лидерами индустрии по заявленным способностям: https://z.ai/blog/glm-4.5 Решил накатить у себя на ноуте младшую, 106B-версию, благо 64ГБ DDR5 позволяют разойтись. Скачал хвалёные ( кванты от Unsloth: https://huggingface.co/unsloth/GLM-4.5-Air-GGUF/resolve/main/GLM-4.5-Air-UD-Q2_K_XL.gguf Попытался запустить. llama.cpp говорит такое не поддерживается, пофиг, обновляем, поддерживается, загружается, не, не загружается, оперативы не хватает. В Linux встроенной amdgpu нельзя выделять больше половины имеющейся физической памяти. Отыскиваю на форуме пользователей Framework совет воспользоваться опцией ядра amdgpu.gttsize, пробую: при использовании большой LLM всё начинает тормозить как пиздец, включая саму LLM. В dmesg нахожу рекомендацию не юзать amdgpu.gttsize, а юзать ttm.pages_limit. Гуглю, по результатам запихиваю в опции ядра ttm.pages_limit=15895262 ttm.page_pool_size=15895262, и после перезагрузки всё работает прекрасно. Нейронка выдаёт на недорогом Framework 13 аж 9 токенов в секунду. Ну ладно. Не знаю пока правда, зачем мне такая дохуя умная нейронка: кажется что с саммаризацией мелкие шустрые справляются хорошо, а специализированные быстрее и может даже лучше работают для задач типа кодогенерации или биомедицинских рекомендаций. Математику, говорят, хорошо умеет, хз. В целом конечно радует, что стали клепать классные MoE LLM, для которых не нужна золотая VRAM, а достаточно иметь дохуя обычной, вечно дешевеющей DDR5.