Linux Performans Sorunlarını strace ve perf ile Derinlemesine Analiz Etme

Linux tabanlı üretim ortamlarında karşılaşılan performans sorunları, genellikle yüzeysel metriklerle açıklanamayan derinleşimli kök nedenlere sahiptir. Bir uygulamanın neden yavaş çalıştığını veya bir sistemin beklenenden daha yüksek CPU tükettiğini anlamak, sadece top veya htop çıktılarına bakmakla mümkün olmaz. İşte bu noktada strace ve perf gibi araçlar, sistemin iç işleyişine ışık tutarak gerçek darboğazları tespit etmemizi sağlar.

strace: Sistem Çağrılarını İzlemek

strace, bir sürecin yaptığı tüm sistem çağrılarını ve bu çağrılarla ilişkili sinyalleri yakalayan ve raporlayan, paha biçilmez bir teşhis aracıdır. Bir uygulamanın neden beklenmedik bir şekilde davrandığını veya bir I/O darboğazı yaşayıp yaşamadığını anlamak için doğrudan çekirdek ile etkileşimini gözlemlemek esastır. Hangi dosyaları açtığı, hangi ağ soketleriyle konuştuğu veya hangi belleği talep ettiği gibi kritik bilgileri sunar.

strace -p <PID>

Yukarıdaki komut, belirli bir PID'ye sahip bir süreci izlemeye başlar. Çıktı, her bir sistem çağrısının adını, argümanlarını ve dönüş değerini gösterir. Ancak yoğun bir süreçte bu çıktı inanılmaz derecede kalabalık olabilir. Daha hedefe yönelik analiz için filtreleme hayati öneme sahiptir:

# Sadece dosya ile ilgili sistem çağrılarını izle ve çağrı sürelerini gösterstrace -p <PID> -e trace=file -T -o /tmp/strace_output.log# Belirli bir dosya açma işleminin neden başarısız olduğunu anlamak içinstrace -f -e trace=openat,open,stat <uygulama_komutu> 2>&1 | grep "dosya.conf"

Gerçek bir senaryoda, bir Java uygulamasının başlatılmasında uzun süreli bir gecikme yaşandığını varsayalım. strace -f -T java ... komutunu çalıştırdığınızda, uygulamanın sürekli olarak mevcut olmayan bir yapılandırma dosyasını aradığını ve her denemede ENOENT (No such file or directory) hatası aldığını görebiliriz. Bu tekrarlayan başarısız dosya açma çağrıları, aslında uygulamanın başlangıç performansını düşüren temel neden olabilir. Ya da bir veritabanı bağlantı havuzu tükenmesi durumunda, strace ile uygulamanın connect() çağrılarında ne kadar süre takılı kaldığını, hatta fcntl() veya epoll_wait() gibi ağ I/O ile ilgili çağrılarda blocking duruma geçip geçmediğini izleyebiliriz. Bu, ağ gecikmesi veya veritabanı sunucusunun aşırı yüklenmesi gibi dış etkenleri hızlıca işaret edebilir.

Ancak strace'in bir dezavantajı vardır: izlenen sürecin performansını önemli ölçüde etkileyebilir. Özellikle yüksek frekanstaki sistem çağrıları olan uygulamalar için, strace'in kendi I/O yükü, analizi çarpıtabilir. Ayrıca, çekirdek dışındaki (kullanıcı alanı) kod yürütmesini inceleyemez; yani CPU'nun neden yoğun olduğunu strace ile anlamak zordur.

perf: Donanım Performans Sayacılarının Gücü

perf, Linux çekirdeği ile birlikte gelen, donanım performans sayacı (Hardware Performance Counters - HPC) verilerini toplayıp analiz etmek için kullanılan güçlü bir araç setidir. HPC'ler, CPU'nun içinde bulunan özel kayıtçılardır ve önbellek kaçakları (cache misses), dallanma tahmin hataları (branch mispredictions), talimat döngüleri (CPU cycles) ve retire edilmiş talimatlar (instructions retired) gibi düşük seviyeli CPU olaylarını izleyebilirler. Bu, kullanıcı alanı ve çekirdek alanı kodlarının performansını en ince ayrıntısına kadar incelememizi sağlar.

# Sistem genelinde 5 saniye boyunca temel performans istatistiklerini izleperf stat -a sleep 5# Belirli bir komutun çalışması sırasında performans istatistiklerini izleperf stat <komut>

perf stat çıktısı, CPU döngüleri, talimatlar, önbellek isabetleri/kaçakları gibi genel metrikleri sunar. Bu, bir uygulamanın CPU'bound, memory-bound veya I/O-bound olup olmadığına dair ilk ipuçlarını verir. Ancak asıl gücü, belirli fonksiyonların veya kod bloklarının neden yavaş çalıştığını gösteren çağrı grafiği (call graph) analizinde yatar:

# Belirli bir PID için 10 saniye boyunca örnekleme yapperf record -F 99 -p <PID> -g -- sleep 10# Kaydedilen veriyi analiz et ve çağrı grafiğini gösterperf report

perf record -F 99 -p <PID> -g komutu, belirtilen PID'deki sürecin 99 Hz frekansında örneklerini toplar ve çağrı yığını bilgilerini (-g) kaydeder. Ardından perf report ile bu veriyi etkileşimli olarak analiz edebiliriz. Bu araç, CPU'nun zamanının en çok hangi fonksiyonlarda harcandığını, hangi kütüphane çağrılarının bir performansa darboğazı oluşturduğunu veya hangi çekirdek fonksiyonlarının uygulamayı yavaşlattığını grafiksel olarak ortaya koyar. Örneğin, yüksek verimli bir ağ hizmetinin beklenenden daha az istek işlediği bir durumda, perf report'u çalıştırdığımızda, çekirdek içinde tcp_recvmsg veya __schedule gibi fonksiyonların beklenenden daha fazla CPU süresi tükettiğini görebiliriz. Bu durum, ağ yığını ayarlarında veya iş parçacığı zamanlamasında bir optimizasyon ihtiyacını işaret edebilir.

Bir başka senaryoda, bir makine öğrenimi modelinin çıkarım (inference) sürecinin neden yavaş olduğunu anlamak için perf kullanabiliriz. perf record ile uygulamanın örneklerini alıp perf report ile incelediğimizde, belirli bir matematiksel işlem kütüphanesindeki (örneğin BLAS veya cuBLAS) bir fonksiyonun CPU'nun %80'inden fazlasını tükettiğini görebiliriz. Bu, ya o fonksiyonun optimizasyon eksikliğini ya da giriş verilerinin beklenenden daha büyük olmasından kaynaklanan bir yükü işaret eder. Hatta önbellek kaçaklarını izlemek için perf record -e cache-misses -g ... komutunu kullanarak, bellek erişim desenlerindeki problemleri tespit edebilir ve veri yapılarını yeniden düzenleyerek performansı artırabiliriz. Bu tür detaylı bilgiler, sadece üst düzey CPU kullanımına bakmakla elde edilemez.

strace ve perf: Ne Zaman Hangisi?

Her iki araç da farklı katmanlarda bilgi sağlar ve birbirlerini tamamlarlar:

• strace: Uygulamanın sistem çağrıları seviyesindeki davranışını anlamak için idealdir. Özellikle I/O sorunları, dosya erişim problemleri, ağ gecikmeleri veya izin hataları gibi dış etkileşimleri içeren durumlarda başvurulur. Uygulama neden bir şeyi yapmıyor veya neden bir hatayla karşılaşıyor sorularının cevabını ararken kullanılır. Çok fazla çağrı yapan süreçlerde performans düşüşüne neden olabilir.
• perf: Düşük seviyeli CPU etkinliğini, önbellek kullanımını ve çekirdek/kullanıcı alanı kodu etkileşimlerini analiz etmek için vazgeçilmezdir. Uygulama neden bu kadar CPU tüketiyor veya neden bu kadar yavaş çalışıyor sorularının cevabını ararken kullanılır. CPU-bound uygulamalarda veya beklenmedik yavaşlamalarda gerçek darboğazı fonksiyon seviyesinde tespit etmek için kullanılır. Performansa etkisi strace'e göre çok daha düşüktür.

Bir uygulamanın performans sorununu teşhis ederken, genellikle perf stat ile genel bir bakışla başlanır. Ardından, eğer CPU veya bellek ile ilgili bir sorun olduğu şüphesi varsa perf record/report ile derinlemesine analiz yapılır. Eğer sorun daha çok I/O veya dış kaynak etkileşiminden kaynaklanıyorsa, strace devreye girerek sistem çağrısı düzeyinde detayları ortaya çıkarır.

Sonuç

Linux performans profilinde strace ve perf, her sistem yöneticisi ve geliştiricinin araç çantasında bulunması gereken temel diagnostic araçlardır. Biri sistemin dış dünyayla nasıl etkileşime girdiğini gösterirken, diğeri CPU'nun ve belleğin iç dünyasında neler olup bittiğini aydınlatır. Bu araçların ustaca kullanımı, karmaşık performans sorunlarının kök nedenlerini hızlıca tespit etme ve üretim ortamlarındaki uygulamaların kararlılığını ve verimliliğini artırma konusunda kritik bir avantaj sağlar. Yüzeysel metriklerin ötesine geçerek, gerçek verilere dayalı kararlar alabilmek için bu araçların sunduğu derinlikten faydalanmak şarttır.