“iPhone 17 Pro” 400 milyard parametrli AI-ni işə saldı

Tərtibatçı “iPhone 17 Pro”da internet olmadan 400 milyard parametrli süni intellekt modelini işə salmağı bacarıb.

TodayPress TV xəbər verir ki, bu barədə layihə müəllifinin paylaşımına əsasən “DEV Community” məlumat yayıb.

Məlumata görə, model smartfonda avierejimdə, tam oflayn rejimdə işləyib. Sistem saniyədə təxminən 0,6 token sürətlə mətn yaradır ki, bu da bulud xidmətləri ilə müqayisədə xeyli yavaşdır.

Bununla belə, 12 GB operativ yaddaşa malik cihazda belə böyük modelin işləməsi mühəndislik baxımından irəliləyiş kimi qiymətləndirilir.

Qeyd olunur ki, model tam şəkildə yüklənmir, əvəzində məlumatlar ehtiyac olduqca yaddaşdan hissə-hissə çağırılır.

Əsas rol “Mixture of Experts” arxitekturasına məxsusdur. Bu yanaşmada hər əməliyyat zamanı modelin yalnız kiçik hissəsi — 4-dən 10-a qədər “ekspert” aktivləşir ki, bu da yaddaş məhdudiyyətlərini aşmağa imkan verir.

Bildirilir ki, sıxılmış formada belə model təxminən 200 GB yaddaş tələb edir.

Layihə proqramçı icmasında geniş müzakirələrə səbəb olub. Bəziləri bunu tam lokal AI hesab etsə də, nümayiş göstərib ki, böyük modellər artıq smartfonlarda oflayn işləyə bilər.

Ekspertlər qeyd edir ki, bu texnologiya gələcəkdə məxfilik baxımından daha təhlükəsiz oflayn AI sistemlərinin və buluddan asılı olmayan rəqəmsal köməkçilərin inkişafına yol aça bilər.

Qiymət Mahir