Canlıda çalışan bir ürününüz varsa er ya da geç şu soruyla karşılaşıyorsunuz: Siz başka işlerle uğraşırken, hatta uyurken, sistemi kim izleyecek?
Bütçe sınırlı olunca bu iş için bir sunucu daha kiralamak istemedik. Elimizde boşta duran bir Raspberry Pi vardı. Üretim ortamı bulutta kaldı, onu izleme işini Pi’ye verdik.
Kâğıt üzerinde basit bir fikirdi. Tabii işler hiçbir zaman ilk bakışta göründüğü kadar basit olmuyor.
İlk denemeler: Sürekli kapıyı çalmak
İlk sürümde sunucudaki bir iş akışı aracı, birkaç dakikada bir sistemi kontrol ediyordu. Her şey yolundaysa sessiz kalıyor, bir sorun bulursa sunucuya bir uyarı dosyası bırakıyordu. Küçük bir bulut makinesinde çalışan ajan da her 5 dakikada bir bu dosyayı kontrol ediyordu.
Şimdi düşününce biraz komik geliyor. Bir sorun olup olmadığını anlamak için önce ortada bir dosya var mı diye bakıyorduk.
İlk sorun, kullandığımız iş akışı aracının mevcut kurulumunda sunucuya doğrudan bir uyarı dosyası bırakmanın mümkün olmamasıydı. Bunun için başka bir yöntem denedik: Uygulamaya bir istek göndererek alarmı iletmeye çalıştık. Bu da ilk denemede sorunsuz çalışmadı.
Bir de sohbet botumuz vardı. Durum komutu her şeyin yolunda olduğunu söylüyordu ama gerçek durumu okumuyordu, cevabı kodun içine yazmıştık. Yani “her şey yolunda” görmek, her şeyin yolunda olduğunu göstermiyordu. Bu konuyla yine karşılaşacaktık.
Sonra dosya kontrolünü bırakıp bir mesaj kuyruğuna geçtik. Maliyeti azaltmak için ajanı Raspberry Pi’ye taşıdık, kişisel bilgisayarıma da bir izleyici ekledik. Fakat bu kez başka bir sorun çıktı: O izleyicinin hâlâ çalışıp çalışmadığına da her gece ayrıca bakılması gerekiyordu. Üstelik bilgisayarımı dışarıya açmadan ajanı uzaktan uyandırmak da kolay değildi. Tam bir “bekçiyi kim bekleyecek?” durumu. Sistemi izleyen sistemi de izlemem gerekiyordu.
Bir noktada, bütün bu sistemi parça parça düzeltmek yerine baştan ele almanın daha mantıklı olduğuna karar verdik.
Sürekli sormak yerine haber beklemek
30 Ağustos’ta Raspberry Pi üzerinde merkezi bir birim (hub) kurduk.
Sunucudaki iş akışı aracı görevine devam ediyordu, ama bir sadeleştirmeyle: Ayrı ayrı çalışan akışları kapatıp tek bir akışa indik. Önce sağlam çalışan bir sürümle başlamak istedik, sonra onu zamanla geliştirdik. Bu akış düzenli aralıklarla uygulamanın sağlığını kontrol ediyordu.
Asıl değişiklik, bir sorun bulunduğunda ne olduğuydu.
Eskiden kişisel bilgisayarımın veya ajanın her 5 dakikada bir sunucuya gidip yeni bir alarm var mı diye sorması gerekiyordu. Artık buna gerek kalmamıştı. Kontrolü yapan sistem, bir sorun bulduğunda doğrudan Raspberry Pi’ye haber veriyordu. Bu bildirim de ajanı harekete geçiriyordu.
Buna ek olarak Pi üzerinde küçük bir bağlantı kontrolü de çalışıyordu. Sunucuya ulaşabiliyor mu diye düzenli olarak bakıyordu. Böylece yalnızca uygulamanın değil, sunucuya erişimin de takip edilmesini sağladık.
Aynı gün sistemi test etmek için küçük bir tatbikat yaptık. Sistemde bilerek arıza çıkardık. Ajan alarmı aldı, durumu fark etti ve müdahale etti.
Öğrenmek açısından güzel bir testti ama ajanın sınırlarını netleştirmemiz gerektiğini de gösterdi. O günün kayıtlarında bir sürü başarısız deneme de vardı. Yani sistem ilk günden kusursuz çalışmaya başlamamıştı.
Ajana ne kadar güvenebiliriz?
Bu deneyimden sonra önemli bir karar aldık: Ajan karar verebilir ama kendi yetkilerini belirleyemez.
Ajanın görevi gelen verileri incelemek, sorunun ne olduğunu anlamak ve çözüm için ne yapılabileceğine karar vermekti. Ancak müdahale edebileceği alanı biz belirleyecektik.
Bu nedenle ajana yalnızca önceden izin verdiğimiz birkaç kurtarma işlemini yapma yetkisi tanıdık. Bunların dışında kalan her şey yasaktı. Karşılaştığı sorunu bu işlemlerden biriyle çözebiliyorsa müdahale edebiliyor, çözemiyorsa hiçbir şeye dokunmadan duruyor ve durumu bize raporluyordu.
Uygulama kodunu değiştirmesine de izin vermedik.
Kuralları bilerek oldukça sıkı tuttuk. Bunun sonucunda ajan çok sık devreye girmeyen, oldukça temkinli bir yardımcıya dönüştü. Sonradan yetkisini daha da daralttık: Yeni sürümde yalnızca öneri veriyor, kendisi hiçbir şey çalıştırmıyor.
Gerçek bir sınav
3 Eylül’de ajan gerçekten önemli bir karar vermek zorunda kaldı.
Üretim ortamında bir sorun vardı ve alarmlar gelmeye devam ediyordu. Ajan önce izin verdiğimiz işlemlerden birini denedi. Ancak bu sorunu çözmedi.
İkinci kez aynı işlemi yaparak bir döngüye girmek yerine durumu yeniden değerlendirdi. Kayıtları silmedi, çünkü bunlar sorunun ne olduğunu anlamak için elimizdeki kanıtlardı. Sonunda çözümü kendi yetkileri içinde bulamadığına karar verdi ve durumu bize bıraktı.
Aslında benim görmek istediğim davranış tam olarak buydu. Her sorunu çözmeye çalışan, başarısız olduğunda da ne yaptığını bilmeden tekrar deneyen bir ajan değil; nerede durması gerektiğini bilen bir yardımcı.
Taşındık, sorunlar da bizimle geldi
Gözlem sistemini Pi’ye taşıdıktan sonra peş peşe birkaç klasik hatayla karşılaştık. Hani tecrübeli geliştiricilerin bile en az bir kez yaptığı, sonrasında da kendi kendine kızdığı türden hatalar var ya… Biz bunlardan birkaçını kısa sürede bir araya getirmeyi başardık.
İlk sorun, alarmı neye göre ürettiğimizle ilgiliydi.
Sensörü başarısız işlerin o anki sayısına değil, sistemin başından beri biriken toplam sayısına bağlamışız. Dolayısıyla geçmişte başarısız olmuş işler sürekli alarm üretiyordu. Her 5 dakikada bir yeni bir alarm geliyordu.
Sonuç olarak bilgisayarımın ekranında yüzlerce açılır pencere birikmeye başladı. Üretimde ne olursa olsun, kesin çöken bir şey vardı: benim ekranım.
Bunu düzeltmek için toplama değil, o an olup bitene bakmaya başladık. Böylece eski kayıtlar yüzünden sürekli alarm üretmenin önüne geçtik.
6-7 Eylül’de başka bir sorunla karşılaştık. Alarmların bir süre susturulmasını istemiştim. Ancak başka bir oturumda üzerinde çalıştığım yardımcı ajan, bildirimleri susturmak yerine doğrudan gözlem sistemini durdurdu.
Sonuç mükemmeldi: Sıfır alarm, sıfır gürültü.
Küçük bir sorun vardı. Yaklaşık 21 saat boyunca hiçbir şey izlenmemiş ve hiçbir kayıt tutulmamıştı. Ekranda alarm görünmüyordu ama aslında sistemin ne durumda olduğunu da bilmiyorduk.
İşin komiği, bildirimleri susturup kayıt tutmaya devam eden sessize alma (mute) özelliğini de aynı gün eklemiştik. Ama gözlem sistemi çoktan durmuştu.
Bu olaydan sonra kendimize basit bir kural koyduk:
Bildirimleri susturabilirsin ama sensörü asla durdurma. Çünkü sessizlik ile körlük ekranda aynı şey gibi görünür.
9 Eylül’de bu kez ağ bağlantısıyla ilgili bir sorun yaşadık. Raspberry Pi kendi internet bağlantısını kaybetti ve sunucuya ulaşamadığı için onu defalarca erişilemez olarak raporladı.
Kendi gözleri kapanınca bütün dünyanın karardığını sanan bir nöbetçi kurmuşuz.
Bunu çözmek için alarm üretmeden önce bir kontrol daha ekledik. Pi artık sunucuyu erişilemez ilan etmeden önce kendi internet bağlantısını kontrol ediyordu. Eğer dışarıya ulaşamıyorsa sunucunun çöktüğünü söylemek yerine, kendi bağlantısını kaybettiğini bildiriyordu. Kasım’daki gerçek bir kesinti bunu kanıtladı: Pi sunucuyu ölü ilan etmedi, kendisinin kör olduğunu bildirdi.
Son hata ise aslında çok daha basitti: Cihaz yeniden başladığında sistemin otomatik olarak tekrar çalışacağını varsaymıştık. Ancak bunu hiç test etmemiştik.
Başka bir arızayı araştırırken fark ettik ki Raspberry Pi yeniden başladığında gözlem sistemi kendi kendine ayağa kalkmıyordu. Sorunu düzelttik. Gerçek bir yeniden başlatma beklemek yerine de çalışan süreci bilerek öldürdük ve sistemin kendiliğinden geri geldiğini gördük.
Meğer bizim kesintisiz gözlem sistemimiz sadece cihaz yeniden başlayana kadar kesintisizmiş.
Peki neden Pi?
Bu kurulumun bazı dezavantajları var. Raspberry Pi’nin belleği sınırlı, internet bağlantısı ise zaman zaman güvenilir olmaktan uzak.
Ama işin ilginç tarafı, tam da bu kısıtlar sayesinde bazı sorunları daha erken fark ettik.
Bağlantı kopmasaydı, gözlem sisteminin kendi bağlantı sorununu sunucunun çökmesiyle karıştırdığını belki de hiç görmeyecektik. Bildirimler ekranımı doldurmasaydı, bildirimleri susturmakla gözlem sistemini durdurmak arasındaki farkı 21 saatlik bir körlükle öğrenmeyecektik.
İşin garibi, bunların hiçbirinden şikâyetçi değilim. Bu küçük makineler yıllardır bana en çok bozulduklarında bir şeyler öğretiyor. İtiraf edeyim, hâlâ çok eğleniyorum.