Ekranda bir alarm belirdiğinde iki ayrı şey gerçekleşir: Sistem bir koşulu işaretler, bir insan ne yapılacağına karar verir. Bu ayrım görünmez hale geldiğinde “sistem uyardı” ifadesi, kişinin davranışı veya olayın niteliği hakkında kesin bir hükme dönüşebilir. Oysa uyarının neyi tespit ettiği, hangi veriye dayandığı ve hangi koşullarda yanılabildiği ayrıca anlaşılmalıdır.
Özel güvenlik hizmeti satın alan işletme için mesele yalnız kamera sayısı veya yazılım özelliği değildir. Uyarıyı kimin inceleyeceği, belirsizliği kimin değerlendireceği ve hangi eylemin hangi yetkili tarafından kararlaştırılacağı da hizmet kapsamının parçasıdır. Bir analitik özelliğin bulunması, o özellikten çıkan her sonucun doğrulanmış olduğu anlamına gelmez.
Araştırma neden insan denetimini tartışmaya açıyor?
Parasuraman ve Manzey'in 2010 derlemesi, insanların otomatik karar desteklerine gereğinden fazla dayanarak hatalı önerileri izleyebildiğini veya bağımsız kontrolü atlayabildiğini ele alır. [1] Farklı deneysel alanları birleştiren çalışma, güncel kamera analitiği için saha başarı oranı vermez. İnsan eklemek de tek başına doğru karar garantisi değildir.
Bu bulgudan çıkardığımız uygulama önerisi, yalnızca “operatör onaylar” yazmak yerine onayın ne anlama geldiğini tarif etmektir. Görevli neyi görecek, hangi bilgiye ulaşabilecek ve hangi durumda karar veremediğini söyleyebilecektir? Gerekli bağlamı görmeyen bir kişinin ekrana onay vermesi, anlamlı bir inceleme sayılmamalıdır.
Uyarı, gözlem ve kararı ayrı kaydetmek
Bir olay kaydında sistemin ürettiği etiket, görevlinin gördüğü durum ve yetkilinin aldığı karar farklı alanlarda tutulabilir. Örneğin analitik bir alan ihlalini işaretlediğinde, kayda önce bu uyarı yazılır. Görevli gözlemleyebildiği durumu ekler; kişinin kimliği, amacı veya suç işlediği hakkında görüntünün desteklemediği sonuçlar üretmez.
NIST'in gönüllü AI Risk Management Framework çerçevesi, yapay zekâ risklerinin kullanım bağlamı ve sorumluluklarla birlikte yönetilmesini amaçlar. [2] Bu bir ürün sertifikası değildir. İşletmeye sorulabilecek somut soru, yazılım çıktısının hangi karar için yardımcı bilgi sayıldığı ve hangi kararın insan yetkisinde kaldığıdır.
Dört rolün sınırını belirlemek
Teknoloji sağlayıcısı, özelliğin tanımını, bilinen sınırlamalarını ve teknik değişiklikleri açıklamalıdır. İşletme, kullanım amacını ve uygulanacak karar düzenini belirler. Güvenlik ekibi, yetkilendirildiği gözlem, bildirim ve yönlendirme görevini yerine getirir. Kişisel veriye ilişkin amaç, erişim ve saklama kararları ise veri sorumlusunun yetkili süreçleri içinde ele alınır.
Bu rollerin bazıları aynı kurumda bulunabilir; yine de kararlar ayrı tanımlanmalıdır. Teknik ayarı değiştiren kişinin aynı zamanda kişiye yönelik işlem yapmaya yetkili olduğu varsayılmamalıdır. Görevliye ulaşan uyarının çözümü bakım ekibinde olabilir; her uyarı sahada kişiyle temas kurulmasını gerektirmez.
Alarm karar kaydı için kontrol soruları
- Uyarı neyi söylüyor? Sistem etiketi, zaman bilgisi ve ilgili alan kaydı açık mı; etiket bir tahmin mi?
- İnceleyen ne gördü? Doğrudan gözlem, mevcut görüntü ve eksik bilgi birbirinden ayrıldı mı?
- Bağlam doğrulandı mı? Yetkili bir iş veya ziyaret açıklaması varsa ilgili sorumlu tarafından teyit edildi mi?
- Karar kime ait? Bildirim, yönlendirme veya başka işlem için yetkili görev tanımlı mı?
- Kararın gerekçesi nedir? Yapılan işlem, eldeki gözleme dayanarak anlaşılır biçimde kaydedildi mi?
- Teknik geri bildirim gerekiyor mu? Tekrarlayan açıklanamayan uyarı, görüntü sorunu veya ayar değişikliği sorumlu teknik ekibe iletildi mi?
- Erişim ve kapanış nasıl yönetilecek? Kaydı kim görebilir ve ilgili saklama düzeni nedir?
Bu form bir algoritmanın doğruluğunu kanıtlamaz. Amacı, kararın yalnızca sistem etiketiyle açıklanmasını önlemek ve gerektiğinde sürecin gözden geçirilebilmesini sağlamaktır.
Mahremiyet değerlendirmesi özellik eklenince bitmez
KVKK'nın işyeri kameralarına ilişkin duyurusu, kullanım amacının belirlenmesi, ölçülülük, bilgilendirme ve yetkili erişim gibi konuları vurgular. [3] İşletme, yeni bir analitik özellik eklerken mevcut kamera düzeni için yaptığı değerlendirmenin yeni işlemi de kapsadığını otomatik varsaymamalıdır.
Örneğin teknik bir uyarı ihtiyacı, çalışanların genel performansını izleyen yeni bir kullanım amacına sessizce dönüşmemelidir. Yüz tanıma veya başka ilave işlem gereksinimleri de sıradan hareket uyarısıyla aynı kabul edilmez. Kapsamı, gerekliliği ve uygulanabilir koşulları yetkili veri koruma süreci değerlendirmelidir.
Satın alma ve hizmet değerlendirmesinde ne sorulmalı?
Demo sırasında yalnız başarılı tespit örneği istemek yerine, işletmenin izin verdiği kontrollü senaryolar üzerinden karar akışı incelenebilir. Belirsiz görüntüde ne oluyor? Bir uyarı doğrulanamıyorsa kayıt nasıl kapanıyor? Teknik güncelleme sonrasında görevli hangi değişikliği öğreniyor? Testlerde de gereksiz kişisel veri toplanmamalıdır.
Değerlendirmede toplam alarm sayısı ile doğrulanmış olay sayısını ayırmak yararlıdır. Hiç alarm verilmemiş olayları ölçmek için ayrıca güvenilir bir karşılaştırma yöntemi gerekir; düşük alarm sayısı tek başına başarı değildir. Güvenlik ve teknoloji hizmetlerinin görüşülmesinde bu ayrım, işletmenin gerçek beklentisini görünür kılar ve yazılım çıktısına taşımaması gereken bir karar yetkisi yüklemesini önler.