fupio

Fupio is the easiest way to share online Learn more »

Join Fupio
Emre

Emre

A software developer who codes for Stay Alive

Mehmet Kose
Mehmet Kose on Topluluk
Local coding LLM'leri çalıştırmak için bir bilgisayar toplamayı düşünüyorum. Apple ekosistemi müthiş (MLX vs) ama fiyatlar da müthiş. Her ne kadar Intel sevmesem de Intel Arc Pro B60/B70 üzerinde yeteri kadar vram var ve fiyat performans işi gibi geldi. Siz ne dersiniz?

#coding#local-ai

Comments
Emre Takip ettigim kadari ile henuz duzgun bir basariya ulasan olmadi, biraz hayal kirikligi ve maliyet olarak geri donebilir :(
(1)
Mehmet Kose Evet doğru, aslında resim üretme konusunda 1-bit modeller çıktı ve hiç de fena resimler üretmiyorlar localde. Şunu denemiştim mesela çok başarılı. Benim macbookta 11 gb vram var gayet yeterli oldu mesela çalıştırmak için: https://prismml.com/news/bonsai-image-4b ama kod yazma konusunda 1 bit quant modeller var mı bir bakmak lazım. Bu hızla giderse çok yakında görürüz henüz çıkmadıysa bile