Verilerin internetin damarlarında can suyu gibi aktığı uçsuz bucaksız dijital ortamda Google, bir teknoloji devi olarak tam karşımızda duruyor. Kısa bir süre önce şirket, en etkileyici başarılarından birinin üzerindeki perdeyi kaldırdı: “Effingo adlı tescilli bir veri aktarım aracı.” Ortalama bir kullanıcı tarafından bilinmeyen bu araç, Google’ın küresel olarak dağıtılmış sistemlerinin günlük operasyonlarında çok önemli bir rol oynuyor ve her gün 1,2 milyon terabayta eşdeğer 1,2 eksabaytlık şaşırtıcı bir veriyi yönetiyor. Verinin, en değerli varlıklardan biri olduğu bu çağda, onu dünya çapında verimli ve güvenli bir şekilde taşıyabilmek çok önemlidir. Aramadan bulut bilişime kadar geniş bir hizmet yelpazesine sahip olan Google için bu durum özellikle kritiktir. Her arama sorgusu, YouTube videosu ve Google Drive dosya yüklemesi, dünya çapında farklı veri merkezlerindeki sunucular arasında aktarılması gereken muazzam miktarda veriye katkıda bulunur. Google’ın küresel altyapısı bu veri taleplerini olağanüstü bir verimlilikle karşılayacak şekilde tasarlanmıştır, ancak operasyonların büyüklüğü, verilerin hızlı ve güvenli bir şekilde hareket etmesini sağlamak için sofistike araçlar gerektirir. Google’ın altyapısının gizli kahramanı Effingo, şimdi önemini vurgulayan ayrıntılı bir teknik makaleyle tüm dünyaya tanıtıldı. Binlerce makinede petabaytlarca veriyi işlemek üzere tasarlanan Effingo, dağıtılmış bir depolama sistemi olan Google’ın, şirket içi Colossus dosya sistemi için özel olarak yapılmış, son derece optimize edilmiş bir veri aktarım aracıdır. Tipik bir senaryoda, bu makineler kümeler halinde gruplandırılır ve her biri veri merkezlerindeki yüksek hızlı, düşük gecikmeli ağlar aracılığıyla birbirine bağlanır. Ancak, dataların veri merkezleri arasında (genellikle kıtalar arasında) taşınması gerektiğinde, bu zorluk daha da güç bir hal alır. Effingo, bu zorluğun üstesinden gelmek için tasarlanmıştır. İki ana bileşenden oluşur: “Bir kontrol düzlemi ve bir veri düzlemi.” Kontrol düzlemi, veri kopyalarının yaşam döngüsünü yöneterek aktarımların verimli bir şekilde başlatılmasını, izlenmesini ve tamamlanmasını sağlar. Öte yandan veri düzlemi, baytların bir konumdan diğerine olan gerçek hareketinden sorumludur. Kod açısından nispeten küçük boyutuna rağmen (tüm sistemin %7’sinden daha azını oluşturuyor) veri düzlemi, işlemler sırasında CPU’nun %99’unu tüketen en yoğun kaynaktır. Bu aşırı optimizasyon, Effingo’nun, Google’ın günlük olarak çalıştırdığı büyük miktarda veriyi işlemesine olanak tanıyarak kullanıcı tarafından oluşturulan içerikten arka uç verilerine kadar her şeyin geniş ağında hızlı ve güvenli bir şekilde hareket etmesini sağlar. Effingo’nun tasarımının en kritik yönlerinden biri, çeşitli ağ ortamlarında veri aktarımlarını optimize etme yeteneğidir. Tek bir veri merkezinde, makine kümeleri Google’ın “düşük gecikmeli, yüksek bant genişlikli CLOS ağı” olarak tanımladığı bir ağ üzerinden birbirine bağlanıyor. Bu kurulum, verilerin makineler arasında minimum gecikmeyle hızlı bir şekilde hareket edebilmesini sağlar.
Ancak verilerin farklı data merkezleri arasında (genellikle kıtalar arasında) taşınması gerektiğinde zorluklar artıyor. Gecikme artabilir ve bant genişliği bir darboğaz haline gelebilir. Bu sorunları azaltmak için Effingo, sorunsuz bir aktarım ortamı oluşturmak üzere Google’ın tescilli altyapısı ve üçüncü taraf ağlarının bir karışımından yararlanıyor. Effingo ayrıca Bandwidth Enforcer (BWe) adlı başka bir Google projesiyle de arayüz oluşturuyor. BWe, hizmet önceliğine göre bant genişliği tahsis ederek ağ kapasitesinin yönetilmesinde önemli bir rol oynuyor. Bu, gerçek zamanlı veri işleme gibi kritik hizmetlerin ihtiyaç duydukları bant genişliğini alabilecekleri, daha az acil görevlerin ise az kullanılan ağ kaynaklarını kullanarak “en iyi çaba” kategorisine indirilebileceği anlamına gelir. Effingo, verimliliğine rağmen önemli veri birikimleriyle mücadele etmek zorundadır. Araç, herhangi bir günde, tipik olarak toplamda yaklaşık sekiz petabayt veri içeren yaklaşık 12 milyon dosyadan oluşan küresel bir birikimi yönetiyor. Bu birikim, Google’ın en talepkâr hizmetlerinden bazıları tarafından büyük ölçekli aktarımlar başlatıldığında önemli ölçüde artabilir. Örneğin, Effingo’nun ilk 10 kullanıcısı yeni transferler başlattığında, birikmiş iş 12 petabayt ve dokuz milyon dosya kadar artabilir. Bu birikimleri yönetmek küçük bir başarı değil ve Effingo’nun tasarımının sağlamlığını gösteriyor. Araç, bu ani artışları verimli bir şekilde ele alacak şekilde tasarlanmıştır ve en yoğun aktarım dönemlerinde bile verilerin sorunsuz bir şekilde akmaya devam etmesini sağlar. Google mühendisleri boş durmuyor. Effingo halihazırda güçlü bir araç olsa da, yeteneklerini daha da geliştirmeye yönelik planlar var. Odaklanılan alanlardan biri, Effingo’nun veri merkezleri arası aktarımlar sırasında CPU kullanımını daha iyi yönetebilmesini sağlamak için Google’ın kaynak yönetim sistemleriyle entegrasyonunu geliştirmek. Bu, daha da hızlı aktarım süreleri ve daha düşük gecikme süreleri sağlayarak küresel veri akışını daha da optimize edebilir. Bir diğer geliştirme alanı ise Effingo’nun kontrol döngüsünün ölçeklendirilmesi ve böylece sistemin talep arttıkça aktarım hızını daha hızlı artırabilmesidir. Bu iyileştirmeler, Google’ın veri yönetimi teknolojisinin en ileri noktasında kalmasını sağlamak için altyapısını iyileştirmeye yönelik devam eden çabalarının bir parçasıdır. Effingo, çok bilinen tanıdık bir isim olmayabilir, ancak Google’ın operasyonları üzerindeki etkisi çok büyük. Günlük 1,2 eksabayt verinin aktarımını verimli bir şekilde yöneten Effingo, Google’ın geniş hizmet yelpazesinin sorunsuz bir şekilde çalışmaya devam etmesini sağlayarak kullanıcılara bekledikleri hızlı ve güvenilir deneyimleri sunuyor. Google, altyapısını yenilemeye ve geliştirmeye devam ettikçe, Effingo gibi araçlar internetin geleceğini şekillendirmede giderek daha önemli bir rol oynayacak. Şimdilik, dijital dünyamıza güç veren sistemlerin inanılmaz karmaşıklığının ve ölçeğinin bir kanıtı olarak duruyor.