Sayfa yükleniyor
Yapay zeka araçlarının kurum içinde en çok işe yaradığı yerler, aynı zamanda en hassas verinin bulunduğu yerlerdir: teknik dokümanlar, sözleşmeler, kalite kayıtları, üretim raporları, personel dosyaları. Bu yüzden ilk soru genellikle model kalitesi değil, verinin nereye gittiği oluyor.
Cevap kısa: mümkün. Ancak kurum içi kurulumun neyi çözdüğünü ve neyi çözmediğini bilmeden başlanan projeler, pahalı bir sunucu ve kimsenin kullanmadığı bir sohbet ekranıyla sonuçlanabiliyor.
Bulut tabanlı bir asistana yazdığınız her soru ve yüklediğiniz her belge, sağlayıcının sunucularında işlenir. Kurumsal planlarda verinin model eğitiminde kullanılmayacağına dair sözleşme maddeleri bulunabilir; bu maddeleri okumak ve verinin ne kadar süreyle saklandığını sormak gerekir.
Yine de verinin kurum dışına çıktığı gerçeği değişmez. Bazı veriler için bu kabul edilebilir, bazıları için değildir. Ayrım genellikle müşteriye verilen gizlilik taahhütleri, sözleşme yükümlülükleri ve kişisel veri içeren kayıtlar üzerinden yapılır.
Pratik yaklaşım veriyi ikiye ayırmaktır: dışarı çıkabilecek olanlar ve çıkamayacak olanlar. Birinci grup için bulut servisleri makul bir seçenektir. Kurum içi kurulum asıl olarak ikinci grup için konuşulur.
Kurum içi kurulum, açık ağırlıklı bir dil modelinin kendi sunucunuzda çalıştırılmasıdır. Model dosyaları indirilir, kurum ağındaki bir makinede servis edilir, uygulamalar bu servise bağlanır. Soru da cevap da ağın dışına çıkmaz.
Bu modeller genel bilgi genişliği bakımından en büyük bulut modellerinin gerisinde kalabilir. Ancak kurum içi kullanımın büyük kısmı genel bilgi değil, kendi dokümanlarınız üzerinde çalışmaktır; bu işte aradaki farkın etkisi kullanım senaryosuna göre değişir.
Model seçimi hızla değişen bir alandır. Bu yüzden seçimi kalıcı bir karar gibi değil, değiştirilebilir bir bileşen gibi kurgulamak daha sağlıklıdır. Uygulama katmanı modelden bağımsız yazıldığında model değiştirmek kısa bir işe dönüşür.
Donanım kararı üç girdiden çıkar: çalıştırılacak modelin boyutu, aynı anda soru soracak kullanıcı sayısı ve kabul edilebilir yanıt süresi. Bu üçü netleşmeden verilen donanım kararı tahmine dayanır.
Model boyutu bellek ihtiyacını belirler; ağırlıkların ekran kartı belleğine sığması gerekir. Nicemleme gibi sıkıştırma yöntemleriyle bu ihtiyaç düşürülebilir, karşılığında bir miktar doğruluk kaybı olur.
Eşzamanlı kullanıcı sayısı ise işlem gücünü belirler. Az sayıda kullanıcının denediği bir pilotta tek ekran kartlı bir sunucu çoğu durumda yeterli olabilir; yüzlerce kişinin gün boyu kullandığı bir kurulumda ölçek tamamen farklıdır.
Sağlıklı yöntem, donanımı satın almadan önce hedef modeli kiralık bir ortamda veya elinizdeki bir makinede çalıştırıp gerçek sorularla ölçüm yapmaktır.
Kurum içi yapay zekanın asıl değeri sohbet değil, kendi belgeleriniz üzerinde doğru cevap üretmesidir. Bunun için belgeler parçalara ayrılır, aranabilir hâle getirilir ve soruyla ilgili parçalar modele bağlam olarak verilir.
Bu yapının en önemli çıktısı kaynak gösterimidir. Cevabın altında hangi dokümanın hangi bölümünden geldiği yazmıyorsa kullanıcı cevabı doğrulayamaz ve bir süre sonra sisteme güvenmeyi bırakır.
Doküman havuzunun düzeni sonucu doğrudan etkiler. Aynı prosedürün üç farklı sürümü ortalıkta duruyorsa sistem hangisinin geçerli olduğunu bilemez. Bu bir yazılım sorunu değil, arşiv sorunudur ve çözümü de arşiv tarafındadır.
Modelin erişebildiği her belge, o modele soru sorabilen herkesin erişebildiği belgedir.
Yetkilendirme model katmanında değil, arama katmanında kurulur. Kullanıcı soru sorduğunda önce o kullanıcının görmeye yetkili olduğu belgeler taranır ve bağlam yalnızca bu belgelerden oluşturulur.
Bu nedenle mevcut dosya yetkilerinin sisteme bağlanması gerekir. Dizin yetkileri dağınıksa proje tam bu noktada durur. Çoğu kurumda ilk düzenlenmesi gereken yer yapay zeka değil, ortak klasör yapısıdır.
Kişisel veri içeren dosyalar, örneğin özlük dosyaları, sağlık raporları ve müşteri kayıtları, ilk etapta kapsam dışında tutulabilir. Bu tür verilerin işlenmesi ayrı bir amaç tanımı ve hukuki değerlendirme gerektirir; ilgili mevzuat çerçevesi de zaman zaman güncellenir.
En sağlıklı başlangıç, tek bir departman ve sınırları belli bir doküman kümesidir. Kalite prosedürleri, teknik servis kayıtları veya satın alma sözleşmeleri gibi kapsamı net bir alan seçilir.
Pilotun başarı ölçütü baştan yazılmalıdır. "Faydalı oldu mu?" sorusu ölçülemez; belirlenen soruların kaçına doğru ve kaynaklı cevap verildiği sorusu ölçülebilir.
Bunun için gerçek kullanıcıların gerçek sorularından oluşan bir değerlendirme listesi hazırlanır ve her değişiklikten sonra aynı liste yeniden çalıştırılır. Bu liste olmadan sistemin iyileşip iyileşmediği tartışma konusuna dönüşür.
Kurum içi bir denemeye başlamadan önce şu maddeler tamamlanabilir.
Bu adımlar tamamlandığında ölçeği büyütme kararı tahmine değil, elinizdeki ölçüme dayanır. Sunucuyu almadan önce sorunun cevabını bilmek, aldıktan sonra öğrenmekten daha ucuzdur.
Ücretsiz bir değerlendirmeyle başlıyoruz. Mevcut durumunuzu çıkarıyor, riskleri ve eksikleri önceliklendirilmiş bir yol haritası halinde sunuyoruz.
Ücretsiz değerlendirme
