3. Su tüketimi ile hastalık arasında neden ilişkisi

Cihaz kullananlarla kullanmayanlar arasında hastalık farkı bulunması, o farkı cihazın oluşturduğunu tek başına göstermez. Gruplar başlangıçta farklı olabilir; su tercihi hastalıktan sonra değişmiş olabilir veya gerçek tüketim yeterince ölçülmemiş olabilir. Bir makalede ölçülen ilişki, bu ilişkiye önerilen açıklama ve gelecekte sınanması istenen çıkarım bu yüzden aynı kesinliği taşımaz. Bilimsel dergide yayımlanmış olmak aralarındaki farkı kaldırmaz. Nedensel yorum, gözlenen sonucun su dışında hangi koşullarla açıklanabileceğinin de incelenmesini gerektirir.

Su arıtma cihazına bağlı bir etkiyi ayırmak için temel karşılaştırma şudur: Birbirine yeterince benzeyen insanlar, yeterince uzun süre farklı ama iyi tanımlanmış sular tüketseydi, diz osteoartriti gelişimi veya ilerlemesi farklı olur muydu? Soru bu biçimde kurulduğunda hangi bilgilerin eksik olduğu görünür. Yalnızca cihaz kullananlarda kaç kişinin ağrısı olduğunu saymak yetmez. Karşılaştırma, zaman, su bileşimi ve hastalık başlangıcı da gerekir.

STROBE bildirgesi, gözlemsel çalışmaların katılımcı seçimi, değişkenler, yanlılıklar, analiz ve sınırlamalar bakımından açık raporlanmasına yardımcı olur. Bir makalenin bu bilgileri vermesi, yönteminin ve sonuçlara nasıl ulaşıldığının denetlenmesini kolaylaştırır. Ancak bildirge, araştırmanın doğruluğunu onaylayan bir sertifika veya bütün çalışmaları tek puanla sıralayan kalite ölçeği değildir. İyi raporlanmış bir çalışma da sınırlı bir soru sorabilir; eksiksiz anlatım, tasarımın sağlayamadığı nedenselliği üretmez. [EC07]

Hangi suyla karşılaştırıldığı sonucu değiştirir

“Arıtılmış su zararlı mı?” cümlesi tek başına araştırma sorusu olarak yetersizdir. Hangi insanlarda, hangi suya göre, hangi süre içinde ve hangi sonuç açısından sorulduğu eklenmelidir. Bir araştırmada karşılaştırma güvenli şebeke suyu olabilir; diğerinde yüksek florür içeren yeraltı suyu bulunabilir. Aynı cihaz adı kullanılsa bile bu iki karşılaştırmanın sağlık anlamı aynı değildir. Sonuçları yan yana koyarken ortak etiket kadar farklı başlangıç koşulları da görülmelidir.

Varsayımsal bir araştırmanın “on yıl içindeki yeni diz osteoartriti” sonucunu izleyeceğini düşünelim. Başlangıçta zaten hastalığı bulunan kişilerle yalnız hastalık şiddetini karşılaştırırsa, başlangıç sorusunu yanıtlamış olmaz. Buna karşılık “mevcut hastalıkta ağrı” sorusu için yalnız sağlıklı kişileri incelemek uygun değildir. Araştırmanın sorusu, seçilen nüfus ve ölçülen sonuç birbirine uymalıdır. Büyük örneklem, bu temel uyumsuzluğu düzeltmez.

Bir grupta ek katkı sağlanması ile başka bir grupta zarar oluşması ayrı iddialardır; karşılaştırmanın sınırı bu ayrımı belirler. Örneğin “yetersiz mineral alımı olan kişilerde ek mineral katkısı” sorusu, “bütün cihaz kullanıcılarında zarar” sorusuyla aynı değildir. Birinci sorunun olumlu yanıtı ikinci soruyu otomatik doğrulamaz. Bir seçeneğin belli koşullarda ek yarar sağlaması, diğer seçeneğin her koşulda hastalık yaptığı anlamına gelmez. Araştırmanın açıklamadığı gruplar, sonradan cümleye eklenmemelidir.

Kesitsel araştırma zamanın tek görüntüsünü verir

Kesitsel tasarımda su kullanımıyla sağlık durumu aynı dönem içinde değerlendirilir. Böyle bir çalışma, iki özelliğin birlikte bulunup bulunmadığını gösterebilir. Fakat su tercihinin hastalıktan önce mi sonra mı değiştiği açık olmayabilir. Diyelim ki sağlık kaygısı artan kişiler daha sık cihaz satın alıyor. Cihaz kullananlarda hastalık daha sık görünürse, hastalık cihaz tercihinin sonucu değil, tercih değişikliğinin öncesindeki etken olabilir.

Bu olasılığa ters nedensellik denir. Adının bulunması, her olumsuz ilişkiyi açıklamış olduğumuz anlamına gelmez. Araştırmanın gerçekten böyle bir sorun taşıyıp taşımadığı, zaman bilgisiyle incelenmelidir. Cihazın ne zaman alındığı, belirtilerin ne zaman başladığı ve geçmişte hangi suyun tüketildiği yararlıdır. Bu kayıtlar yoksa doğru yaklaşım, zaman sırasını bildiğimiz gibi davranmak değil, çıkarımın sınırını açık tutmaktır.

Bir başka kesitsel sorun, yalnız mevcut hastaları incelemektir. Klinik başvuru yapmış kişiler, başvurmamış kişilerden birçok açıdan farklı olabilir. Araştırma hastalık şiddetiyle su arasında ilişki bulduğunda, bu hastalık gelişme olasılığını doğrudan vermez. “Hastalar arasında daha ağır tablo” ve “başlangıçta sağlıklı kişilerde daha çok yeni hastalık” ayrı sonuçlardır. Bu ayrım, doğrudan diz hastalarını inceleyen bir yayının bile neyi kanıtladığını sınırlar.

Kohort ve olgu kontrol çalışmaları farklı yönlerden yaklaşır

Kohort yaklaşımında tanımlı bir insan grubunun maruziyeti ve sonuçları zaman içinde ilişkilendirilir. İleriye dönük araştırma, ölçümleri takip başlamadan planlayabilir. Geriye dönük araştırma ise mevcut kayıtlardan geçmişi yeniden kurar. İkisinin de değeri vardır. Ancak kayıtlarda bulunmayan bir özellik, daha sonra istatistik yöntem kullanılarak kendiliğinden ortaya çıkarılamaz. Başlangıç beslenmesi veya su değişiklikleri kaydedilmemişse, araştırma bu alanlarda varsayımlara dayanır.

Olgu kontrol çalışması farklı bir başlangıç yapar: Hastalığı olan ve olmayan kişiler seçilir, geçmiş maruziyetleri karşılaştırılır. Burada kontrol grubunun seçimi önemlidir. Kontroller, hastalarla aynı kaynak nüfusu temsil etmiyorsa bulunan fark su dışında nedenlerle oluşabilir. Geçmiş alışkanlıkların hatırlanması da iki grupta farklı olabilir. Bu nedenle çalışmanın adı kadar katılımcıların nereden ve nasıl seçildiğini okumak gerekir.

Gözlemsel çalışmalar, özellikle uzun sürede oluşan sonuçlar ve deneyle incelenmesi güç koşullar hakkında önemli bilgi üretir. Büyük ve pahalı deneylerin her zaman yapılamaması, bu çalışmaların araştırmadaki yerini daha da önemli hale getirir. Ancak yararlı olmaları bütün neden sorularını tek başlarına çözebildikleri anlamına gelmez. Bir gözlemsel bulgu, sonraki araştırmanın hedefini belirleyebilir, riskli grupları düşündürebilir veya başka kanıtlarla tutarlı olabilir. Gücü, hangi alternatif açıklamaların ne ölçüde ele alındığıyla birlikte değerlendirilir.

Aynı teknoloji adı aynı maruziyet değildir

Su arıtma cihazı kullanmak bir davranış etiketidir. Maruziyet ise kişinin gerçekten tükettiği suyun özellikleri, miktarı ve süresidir. Evde cihaz bulunması, bütün içeceklerin o suyla hazırlandığı veya dışarıda başka su içilmediği anlamına gelmez. Bir araştırmada bu ayrıntılar kaydedilmiyorsa, katılımcıların aynı etiket altında toplanması aralarındaki gerçek farkları gizleyebilir.

Varsayımsal iki katılımcı aynı kullanıcı grubuna alınsın. Biri evde az miktarda cihaz suyu içiyor, günün çoğunu iş yerinde geçiriyor. Diğeri içme ve yemek hazırlama suyunun büyük bölümünü evden sağlıyor. İkisine yalnızca “kullanıcı” demek, karşılaştırmayı kolaylaştırır; fakat sorulan biyolojik maruziyeti kabaca ölçer. Daha ayrıntılı tüketim kayıtları bu farkı azaltabilir. Kayıtların ayrıntı düzeyi, kullanıcı etiketi altında gerçek tüketimin ne kadar farklılaşabildiğini gösterecek kadar yeterli olmalıdır.

Zaman da maruziyetin parçasıdır. Bugünkü çıkış suyu ölçümü, yıllar önceki bileşimi her zaman temsil etmeyebilir. Kişi taşınmış, su kaynağı değişmiş veya tüketim alışkanlığını yenilemiş olabilir. Araştırma uzun dönem hastalık soruyorsa, yalnız son haftayı kaydetmesi yetersiz kalabilir. Ölçüm ne kadar doğru olursa olsun, yanlış zaman aralığına uygulanırsa doğru soruyu yanıtlamaz.

Karıştırıcı etken ham farkı nasıl oluşturabilir

Karıştırıcı etken, hem su tercihiyle hem de sağlık sonucuyla bağlantılı olup ikisi arasında görünen ilişkinin yorumunu etkileyen başka bir özelliktir. Yaşın etkisi, gerçek araştırma verisi olmayan şu basitleştirilmiş varsayımsal hesapta görülebilir. İki grupta da toplam bin kişi bulunsun. Her yaş grubunun hastalık oranını iki su grubunda aynı kabul edelim; yalnız yaş dağılımları farklı olsun.

Yaş dağılımının gözlenen ilişkiyi nasıl değiştirebildiğine ilişkin varsayımsal örnek

Bu kurgu örnekte toplam oranlar yüzde 17 ve yüzde 8 çıkar. İlk bakışta cihaz grubunda yaklaşık iki katlık fark görülür. Oysa aynı yaş grubundakiler karşılaştırıldığında oranlar eşittir; örneğe su etkisi hiç eklenmemiştir. Toplam farkı yalnız yaş dağılımı oluşturmuştur. Bu tablo gerçek insanların riskini hesaplamaz. Ham grupların neden kendiliğinden karşılaştırılabilir sayılamayacağını gösteren aritmetik bir örnektir.

Gerçek araştırmada yaş, beslenme, gelir, önceki yaralanma veya başka değişkenler aynı açıklıkla ayrılmayabilir. Bir özelliğin modele eklenmesi de sorunu tümüyle çözmeyebilir; yanlış veya çok kaba ölçülmüş olması mümkündür. “Düzeltme yapıldı” ifadesinin anlamı, hangi değişkenin nasıl ölçüldüğüne ve hangi gerekçeyle modele alındığına bağlıdır. Analiz, ölçümün kalitesinden bağımsız bir güvence değildir.

Ayrıca her değişkeni düşünmeden düzeltmeye eklemek doğru değildir. Araştırılan etkinin ortaya çıkış yolunda bulunan bir ara basamak, başlangıçtaki karıştırıcıyla aynı rolü taşımaz. Örneğin suyun toplam mineral alımını değiştirerek sonuç oluşturduğu varsayılıyorsa, toplam alım bu varsayılan yolun parçası olabilir. Araştırmacının amacı toplam etkiyi mi, başka bir yoldan bağımsız etkiyi mi ölçmek istediğini belirtmesi gerekir. İstatistik modelin karmaşıklığı, sorunun açıklığının yerine geçmez.

Randomizasyon hangi sorunu azaltır

Randomize deneyde katılımcıların karşılaştırma gruplarına atanması rastgele yapılır. Bunun amacı, başlangıç özelliklerinin bir grubun lehine sistematik biçimde toplanmasını azaltmaktır. Yine de küçük bir deneyde tesadüfi dengesizlikler olabilir. Başlangıç tablosu, çalışma boyunca başka davranışların değişip değişmediği ve katılımcıların önerilen suyu ne ölçüde tükettiği önem taşımaya devam eder.

Körleme mümkün olduğunda beklentinin ve ölçümü yapan kişinin bilgisinin sonuca etkisini azaltmaya yardımcı olur. Ancak suyun tadı, ambalajı veya kullanım biçimi grubu ele verebilir. Bir çalışmanın “çift kör” diye adlandırılması, bunun nasıl sağlandığını sormayı gereksiz kılmaz. Özellikle ağrı gibi kişinin bildirdiği sonuçlarda katılımcının ne düşündüğü ile biyolojik etkiyi ayırmak için karşılaştırmanın tasarımı dikkatle değerlendirilir.

Deneyde gruplar arasında geçiş olması da yorumun parçasıdır. Başlangıçta bir suya atanan kişi başka su tüketmeye başlarsa ne yapılmıştır? Atandığı gruba göre değerlendirme, randomizasyonun sağladığı karşılaştırmayı korumaya çalışır. Gerçekte tükettiği suya göre değerlendirme ise başka sorular sorabilir, fakat davranışla ilgili yeni farklılıklara açılır. Tek bir analiz adını üstünlük işareti saymak yerine hangi soruyu yanıtladığına bakmak daha yararlıdır.

Etkinin büyüklüğü ile istatistiksel anlamlılığı ayırmak

Bir sonucun istatistiksel anlamlı olması, kişinin yaşamında büyük bir fark yaratacağını göstermez. Çok sayıda katılımcı, küçük bir ortalama farkı belirginleştirebilir. Küçük bir araştırmada ise önemli olabilecek fark geniş belirsizlikle tahmin edilebilir. Bu nedenle p değeri, etkinin büyüklüğü, ölçüm birimi ve belirsizlik aralığıyla birlikte değerlendirilmelidir; tek başına klinik önemi belirleyemez.

P değeri, seçilmiş bir istatistik modelde ve sıfır etki varsayımı altında gözlenen verinin ne kadar olağandışı olduğuna ilişkindir. “İddianın yanlış olma olasılığı” veya “sonucun tesadüf olma yüzdesi” diye okunması doğru değildir. Araştırma yanlış grupları karşılaştırdıysa küçük p değeri bu sorunu gidermez. İstatistik, yanlış tanımlanmış maruziyeti veya ölçülmemiş önemli farkları ortadan kaldıran bir işlem değildir.

Güven aralığı da sadece süsleyici iki sayı değildir. Dar aralık, tahminin kullanılan model ve veriler çerçevesinde daha kesin olduğunu gösterir. Geniş aralık, birbirinden önemli ölçüde farklı büyüklüklerle uyumlu olabileceğimizi anlatır. Aralığın sıfır farkı içermesi, bütün olası önemli etkilerin dışlandığı anlamına gelmeyebilir. Bu ayrım özellikle “anlamlı fark yok” sonucunu “etki kesinlikle yok” biçiminde aktarmamak için gereklidir.

Göreli risk ile mutlak fark aynı bilgi değildir

Varsayımsal bir takipte bir grupta yüz kişiden onunda, diğer grupta on ikisinde yeni hastalık oluştuğunu düşünelim. Mutlak fark iki kişidir, yani iki yüzde puanıdır. İlk grup temel alınırsa göreli artış yüzde yirmidir. İki ifade aynı sayıları farklı biçimde sunar. Bu örnek gerçek bir su arıtma cihazı araştırmasının sonucu değildir ve kullanıcıların riskini göstermez.

Başlangıç oranı bilinmeden yalnız göreli artışı duymak karar vermeyi zorlaştırır. Aynı göreli ifade, düşük ve yüksek başlangıç oranlarında farklı sayıda insana karşılık gelir. İzlem süresi de açık olmalıdır. Bir yıllık ve on yıllık toplam olasılık aynı büyüklük değildir. Yalnız “risk arttı” ifadesiyle verilen bir sonuçta karşılaştırma grubu, süre ve mutlak sayılar eksikse, kaç kişinin ne ölçüde etkilendiği anlaşılamaz.

Olasılık oranı da risk oranıyla düşünmeden eşitlenmemelidir. İngilizce yayınlarda odds ratio olarak geçen ölçüm, olasılığın olay olmama olasılığına oranıyla kurulur. Olay sıklaştıkça risk oranından daha farklı görünebilir. Bu yüzden makaledeki OR sayısını doğrudan “kişinin hastalanma ihtimali şu kadar kat arttı” diye çevirmek yanıltıcı olabilir. Araştırmanın kullandığı ölçü kendi adıyla aktarılmalı; kişisel risk için ayrıca gerekli bilgiler aranmalıdır.

Çok sayıda testte tesadüfi bulgu olasılığı artar

Bir çalışma farklı mineralleri, birkaç kemik belirtecini, yaş alt gruplarını ve çeşitli takip zamanlarını inceleyebilir. Her sonuç ayrı bir soru olduğunda yalnız en dikkat çekici birkaç bulguyu seçmek genel tabloyu bozabilir. Gerçek fark olmayan, birbirinden bağımsız yirmi karşılaştırmanın her birinde yüzde beşlik yanlış pozitif eşiği kullanıldığını varsayalım. En az birinin bu eşiği aşma olasılığı yaklaşık yüzde 64 olur. Bu, bağımsızlık ve bütün sıfır hipotezlerinin doğru olması varsayımlarına dayalı matematik örneğidir; herhangi bir makalenin hatalı olduğu iddiası değildir.

Birincil sonucun araştırmadan önce belirlenmesi, çok sayıdaki bulgu arasından yalnız dikkat çekici olanların seçilmesini önlemeye yardımcı olur. Araştırma başlarken asıl soru hangisiydi? Diğer analizler bunu destekleyen ek incelemeler miydi, yoksa sonradan dikkat çeken keşifler miydi? Keşif analizleri yeni fikir üretir, fakat doğrulama ihtiyacı taşır. Bütün bulguları aynı kesinlikle sunmak, araştırmanın en güçlü kısmıyla en belirsiz kısmını birbirine karıştırır.

Alt grup sonuçlarında da benzer dikkat gerekir. Bir grupta anlamlılık bulunup diğerinde bulunmaması, iki gruptaki etkilerin birbirinden anlamlı biçimde farklı olduğunu kendiliğinden göstermez. İki tahminin farkı ayrıca incelenmelidir. “Kadınlarda etkili, erkeklerde etkisiz” veya “gençlerde zararlı, yaşlılarda zararsız” gibi başlıklar, küçük alt gruplar ve geniş belirsizlikler söz konusu olduğunda verinin taşıdığından fazlasını söyleyebilir.

Takip kaybı ve ölçülmeyen sonuçlar

Bir araştırmanın başlangıç katılımcı sayısı ile sonunda değerlendirilen kişi sayısı farklı olabilir. Ayrılanların neden ayrıldığı, geride kalanlara benzeyip benzemediği önemlidir. Varsayımsal olarak rahatsızlananlar bir grupta daha fazla ayrıldıysa yalnız tamamlayanları incelemek güven verici bir görüntü oluşturabilir. Başka koşullarda ters yönde yanlılık da olabilir. Kayıp bulunması tek başına çalışmayı geçersiz kılmaz; kaybın büyüklüğü ve olası etkisi araştırılmalıdır.

Hiç ölçülmeyen bir sonuç içinse eksik veriden daha temel bir sınır vardır. Bir çocuk çalışması kırığı değerlendirmediyse, boy ölçümleriyle kırık sıklığı sonucu üretilemez. Bir su deneyi diz ağrısını kaydetmediyse, kan değerindeki değişiklik ağrı tedavisi diye sunulamaz. Yeni bir sonuç adı eklemek, istatistiksel bir yorum değil, araştırmada olmayan bir bilgiyi varsaymaktır.

Bir araştırmanın bütün olası sağlık sonuçlarını ölçmesi beklenemez. Boyu değerlendiren çalışmanın kırığı ölçmemiş olması, boy bulgusunu geçersiz kılmaz; fakat o bulgudan kırık sonucu çıkarılmasını engeller. Takipte kaybolan bir ölçüm ile baştan hiç araştırılmamış bir sonuç da aynı eksiklik değildir. İlkinde elde edilmesi planlanan bilgi tamamlanamamıştır, ikincisinde araştırmanın sorusu başkadır. Bu ayrım, hem mevcut bulguyu korur hem de elde bulunmayan veriler üzerinden kesin hüküm kurulmasını önler.

Çıkar çatışması ve aktarılabilirlik

Üretici desteği sonucu otomatik olarak yanlış, kamu desteği veya üniversite adresi de hatasız yapmaz. Finansman, karşılaştırma seçimi, protokol, eksiksiz raporlama ve bağımsız tekrarlarla birlikte değerlendirilir. Aynı ölçüt, mineral suyu ve su arıtma cihazı lehindeki ve aleyhindeki yayınlara uygulanır. Kaynağın tarafını tahmin etmek, veriyi incelemenin yerine geçmez.

Bir bulgunun aktarılabilirliği nüfusun ve maruziyetin benzerliğine bağlıdır. Düşük mineral alımı olan yaşlıların sonuçları, yeterli beslenen genç yetişkinlere doğrudan taşınamaz. Endemik kirletici maruziyeti bulunan bir bölgeyle güvenli başka bir su kaynağı da aynı koşulları temsil etmez. Ortak özellikleri belirlemek, sonucu herkes için geçerli saymaktan veya bütünüyle reddetmekten daha açıklayıcıdır.

Kanıt gücünü tasarım adı tek başına belirlemez. Karşılaştırma, ölçüm, zaman sırası, alternatif açıklamalar ve nüfus birlikte değerlendirilir. Büyük örneklem yanlış tanımlanmış maruziyeti, güçlü ölçüm zayıf karşılaştırmayı düzeltmez. Çalışmalar, birbirini destekledikleri noktalar ve açık bıraktıkları neden ilişkileriyle birlikte anlam kazanır.