Sayfa yükleniyor
Kurum içi yapay zeka gündeme geldiğinde konuşma çoğu zaman sunucu kaleminden başlıyor. Bütçe çıkarılıyor, ekran kartı araştırılıyor, sistem odasında yer planlanıyor.
Sıralama tersten işliyor. Donanım, çözülecek işin büyüklüğü belli olduktan sonra seçilebilen bir kalemdir; kendi başına bir başlangıç noktası değildir.
Aşağıda satın alma kararından önce netleştirilmesi gereken başlıklar var. Bilinçli olarak marka ve model önermiyoruz; doğru seçim zaten bu başlıkların cevabına göre değişiyor.
Aynı sunucu, küçük bir pilot grup için fazlasıyla yeterliyken üç vardiya boyunca kesintisiz kullanılan bir sistemde yetersiz kalır. Bu yüzden ilk adım, sistemin ne yapacağını yazılı hâle getirmektir.
Yalnızca soru-cevap mı olacak, yoksa belge özetleme, rapor taslağı çıkarma, teklif metni hazırlama gibi uzun çıktılar da üretilecek mi? Uzun çıktı, işlem süresini uzatır ve aynı donanımda hizmet verilebilecek istek sayısını doğrudan azaltır.
Erişim yetkisi verilen herkes aynı anda soru sormaz. Kapasiteyi belirleyen şey toplam kullanıcı sayısı değil, aynı anda işlenen istek sayısıdır.
Çoğu kurumda yoğunlaşma noktaları olur: vardiya başlangıcı, ay sonu kapanışı, denetim öncesi hafta. Boyutlandırma bu tepe anlarına göre yapılır, ortalamaya göre değil.
Kabul edilebilir bekleme süresinin de baştan konuşulması gerekir. İlk kelimenin ne kadar sürede ekrana düşmesi gerektiği konusundaki beklenti, kaç isteğe aynı anda hizmet verebileceğinizi belirleyen ana kısıttır.
Bir dil modelinin verimli çalışabilmesi için ağırlıklarının hızlı belleğe sığması gerekir. Model büyüdükçe bu ihtiyaç da büyür ve bir noktadan sonra tek kart yetmez.
Ağırlıkların yanında bir de bağlam maliyeti vardır. Uzun belgelerle çalışıldığında ve eşzamanlı oturum sayısı arttığında, ara durum için ayrılan bellek küçümsenmeyecek bir yer tutar. Planlama yapılırken bu ikinci kalem sık sık unutulur.
Niceleme yöntemleriyle ağırlıklar daha az yer kaplayacak biçimde saklanabilir. Bu, daha mütevazı donanımda çalışma imkânı verir; karşılığında çıktı kalitesinde bir miktar kayıp olabilir. Kaybın kabul edilebilir olup olmadığını ancak kendi sorularınızla test ederek anlarsınız.
Kurum içi kullanımın büyük kısmı, dar bir alanda ve şirket belgelerine dayanarak cevap üretmektir. Bu tür işlerde orta ölçekli bir model, iyi kurulmuş bir arama ve kaynak getirme katmanıyla birlikte çoğu zaman yeterli olur.
Arama katmanı zayıfsa, model büyütmek sonucu düzeltmez. Bu nedenle donanım bütçesi konuşulurken veri hazırlığına ayrılacak emek de aynı tabloya yazılmalıdır.
Karşılaştırma genelde sunucu fiyatı ile aylık abonelik arasında yapılıyor. Bu eksik bir hesaptır ve karar sonradan yanlış tarafa kayar.
Üretim firmalarında verinin nerede işleneceği, maliyet kadar belirleyici bir başlık olabiliyor. Kalıp tasarımları, müşteri şartnameleri ve fiyat bilgileri söz konusu olduğunda bu soru maliyet tablosundan önce cevaplanmalıdır.
Karma bir kurgu da mümkündür. Hassas içerik kurum içinde işlenirken, gizlilik taşımayan genel işler dış servise bırakılabilir. Bu ayrımın hangi veriye göre yapılacağı baştan yazılmalıdır.
İlk kurulum doğru boyutlandırılsa bile kullanım artar. Sistem işe yaradıkça yeni birimler talep eder ve yük tahmin edilenden hızlı büyür.
Büyümenin iki yolu vardır: aynı makineye kapasite eklemek veya makine sayısını artırmak. Birincisi kasadaki boş yuva, güç kaynağı ve soğutma ile sınırlıdır; ikincisi yük dağıtımı ve ağ tarafında ek iş getirir.
Satın alma görüşmesinde sorulacak soru basittir: bu kapasiteyi ikiye katlamam gerekirse ne yapmam gerekir? Cevap net değilse plan henüz yok demektir.
Donanım kararını en çok kolaylaştıran şey, elde gerçek kullanım verisi olmasıdır. Sınırlı bir kapsamda, küçük bir kullanıcı grubuyla ve gerçek sorularla başlamak bu veriyi üretir.
Pilot aşamasında mevcut sunucular, kiralık bir kaynak veya sınırlı süreli bir dış servis kullanılabilir. Amaç kalıcı bir kurulum değil, ihtiyacın büyüklüğünü ölçmektir.
Pilotta toplanacak asgari veriler: günlük istek sayısı, tepe saatlerdeki eşzamanlı istek, ortalama girdi ve çıktı uzunluğu, kullanıcıların işe yaradı dediği cevap oranı. Bu dört başlık, donanım tartışmasını tahmin olmaktan çıkarır.
Aşağıdaki maddelerin tamamına cevap verebiliyorsanız, teklif toplamaya hazırsınız demektir. Eksik kalan her madde, sonradan yapılacak bir ek yatırım olarak geri döner.
Donanım seçimi, bu soruların cevabı verildikten sonra teknik bir detaya iner. Sıralamayı korumak, hem gereksiz yatırımı hem de kısa sürede yetersiz kalan bir kurulumu önler.
Ücretsiz bir değerlendirmeyle başlıyoruz. Mevcut durumunuzu çıkarıyor, riskleri ve eksikleri önceliklendirilmiş bir yol haritası halinde sunuyoruz.
Ücretsiz değerlendirme
