Mobil Proxy ile Web Veri Toplama Kılavuzu
Mobil proxy üzerinden veri toplama için uçtan uca iş akışı — proxy’ye bağlanma, iş başına rotasyon veya sabit oturum seçimi ve tamamen temiz bir IP adresinde bile hâlâ meydana gelen engellemelerin teşhisi.
- Tek bir uç nokta, herhangi bir istemci — HTTP(S) veya SOCKS5 protokollerini destekleyen her şey, herhangi bir değişiklik yapılmasına gerek kalmadan çalışır.
- Sabit veya dönüşümlü — oturum açılmış bir iş için bir IP adresini sabit tutar, bağımsız işler arasında dönüşümlü olarak kullanır.
- Sınırsız bant genişliği — ölçüm yapılmaz, dolayısıyla sayfa boyutu, tarama maliyetini hiçbir zaman etkilemez.
- Gerçek operatör IP'leri — istekler, bir barındırma aralığından değil, bir mobil ağdan geliyor.
Sabit bir zamanlayıcı yerine, iş sınırlarında ihtiyaç duyulduğunda döndürün.
Oturum açılmış bir akışın tamamı boyunca, ne kadar uzun sürerse sürsün, tek bir çıkış IP adresi kullanın.
Mobil Proxy'yi Kazıyıcınıza Bağlama
Mobil proxy, tesadüfen bir operatör ağı üzerinden geçen sıradan bir ileri yönlendirme proxy’sidir. Veri toplama programınızda bunun farkında olması gerekmez. İstemciniz HTTP veya SOCKS5 proxy’leriyle iletişim kurabiliyorsa — ki yaygın olarak kullanılan tüm istemciler bunu yapabilir — mobil proxy’leri zaten destekliyordur ve entegrasyon, bir SDK yerine bağlantı dizesi yoluyla gerçekleştirilir.
- Uç noktayı, bağlantı noktasını ve protokolü alın
Size bir ana bilgisayar, bir bağlantı noktası ve bunun HTTP(S), SOCKS5 veya her ikisini de destekleyip desteklemediği bilgisi verilecektir. UDP veya HTTP dışı trafiğe ihtiyacınız varsa SOCKS5’i seçmelisiniz; aksi takdirde, veri toplama işlemleri açısından bu fark pek önemli değildir.
- Bir kimlik doğrulama modeli seçin
Ya kazıyıcınızın çalıştığı genel IP adresini izin listesine ekleyin (böylece hiçbir kimlik bilgisi aktarılmasın) ya da bir kullanıcı adı ve şifre kullanın. İzin listesine ekleme, sabit bir sunucu için daha güvenilir bir seçenektir ve bu, bu seri içinde daha sonra ele alınacak olan tarayıcı otomasyon sorunlarının tamamını ortadan kaldırır.
- Bir proxy URL'si oluşturun
Hemen hemen her istemci aynı biçimi kabul eder: http://user:pass@host:port. Bunu kaynak kodda değil, bir ortam değişkeninde saklayın — bu bir kimlik bilgisi olduğundan, aksi takdirde halka açık bir depoya düşecektir.
- Herhangi bir şeye güvenmeden önce çıkış IP adresini doğrulayın
Proxy üzerinden bir IP-echo hizmeti talep edin ve adresi, ülkeyi ve ASN’nin bir barındırma sağlayıcısına değil, bir mobil şebeke operatörüne ait olduğunu doğrulayın. Bu kontrolü atlamak, insanların aslında yanlış yapılandırılmış bir proxy’den kaynaklanan engellemeleri gidermek için bir günlerini harcamalarına neden olur.
Eğer yankı hizmeti kendi adresinizi döndürürse, proxy hiç kullanılmamaktadır. Çoğu kütüphane “fail open” ilkesiyle çalışır — hatalı bir proxy ayarı sessizce göz ardı edilir ve istek doğrudan dışarıya gönderilir. Hedef hakkında herhangi bir sonuca varmadan önce her zaman çıkış yolunu doğrulayın.
Bağlantı doğrulandıktan sonra, bu noktadan sonraki her şey teknik altyapıdan ziyade davranışlarla ilgilidir. En önemli karar, bundan sonraki karardır.
Dönüşüm ve Sabit Oturumlar: İş Başına Seçim Yapma
Dönüşüm, sabit bir IP adresinden otomatik olarak daha iyi değildir — her ikisi de zıt sorunları çözer ve yanlış seçim, açıklanamaz gibi görünen engellemelerin sık rastlanan bir nedenidir.
| Desen | Şu amaçlarla kullanın: | Şu durumlarda bozulur: |
|---|---|---|
| İsteğe göre döndür | Birçok bağımsız URL’nin kimliği bilinmeyen ve kimlik doğrulaması yapılmamış şekilde taranması | Hedef, bir oturum çerezi veya alışveriş sepeti kullanır — durum, onu oluşturan IP adresine bağlıdır |
| Kalıcı oturum | Giriş gerektiren her şey, çok adımlı akışlar, durum bilgisi taşıyan sayfalandırılmış sonuçlar | Bir IP adresini o kadar uzun süre elinde tutuyorsun ve o kadar şiddetli saldırı yapıyorsun ki, bu saldırı sıklığı başlı başına bir sinyal haline geliyor |
| Yalnızca hata durumunda döndür | Çoğu isteğin başarılı olduğu ve sorunlu bir IP adresini elden çıkarmak istediğiniz uzun süren istek akışları | 429 hatası üzerine yeniden yönlendirildikten hemen sonra yeniden denersiniz — yeni IP adresi de aynı hız sorununu devralır |
Uygulamada geçerli kural şudur: Mantıksal görevler arasında dönüşümlü olarak geçiş yapın, asla bir görevin ortasında geçiş yapmayın. Kimlik doğrulaması yapılan bir sitede oturumun ortasında çıkış IP adresini değiştirmek, tam olarak oturum ele geçirme eylemine benziyor; bu da veri kazıma işleminden daha olumsuz bir izlenim bırakır.
İşte bu nedenle sabit bir rotasyon zamanlayıcısı da kötü bir varsayılan ayardır. Zamanlayıcı, iş sınırlarınız hakkında hiçbir bilgiye sahip değildir; dolayısıyla er ya da geç, aynı adresi paylaşmak zorunda kalan iki istek arasında devreye girer. Bir iş tamamlandığında talep üzerine rotasyon yapın ve başarısızlık durumunda da rotasyon uygulayın; böylece sorunlu bir IP adresi derhal devre dışı bırakılır. Eğer bir aralık kullanmanız gerekiyorsa, bu aralığı en yavaş tek işinizden daha uzun tutun.
429 hatası ayrı bir ele alınmayı hak eder. Bu hata, istek hızının yanlış olduğunu size bildirir; IP adresini değiştirip yeniden istek göndermek ise bir hız sorununu kimlik sorunuymuş gibi ele alır — işte bu şekilde bir istek, hız sınırlamasından engellenmeye doğru tırmanır. Retry-After değerine uyun, bekleme süresini üstel olarak artırın ve eşzamanlı iş parçacıkları çalıştırıyorsanız jitter ekleyin. Bu Mobil proxy ile Python verisi toplama kılavuzu Yeniden deneme yapılandırması kodda yer almaktadır.
Neden Kazıyıcılar Temiz IP Adreslerinde Hâlâ Engelleniyor?
İyi bir IP adresi gereklidir, ancak tek başına yeterli değildir. Bot önleme sistemleri birkaç bağımsız katmanda değerlendirme yapar ve proxy yalnızca bunlardan birini ele alır. Temiz mobil IP adreslerinden bile hâlâ engelleniyorsanız, cevap bu listede yer almaktadır:
- TLS parmak izi (JA3/JA4) — Python’un TLS el sıkışma süreci Chrome’unkine benzemiyor — şifreleme sırası farklı, uzantıları farklı. Chrome olduğunu iddia eden ancak urllib3 gibi el sıkışma işlemi gerçekleştiren bir istek, tek bir başlık bile okunmadan kendi kendisiyle çelişiyor. curl_cffi gibi kütüphaneler ise gerçek bir tarayıcının TLS profilini taklit ediyor.
- HTTP/2 ve başlık sırası — Tarayıcılar, belirli bir sözde başlık çerçevelemesi ile belirli bir sıraya göre belirli bir başlık kümesini gönderir. User-Agent başlığında ne yazarsa yazsın, en az üç başlıktan oluşan bir istek tarayıcı istekleri arasında sayılmaz.
- Başsız sızıntı — navigator.webdriver, eksik eklenti ve kodek göstergeleri ile SwiftShader olarak görünen bir WebGL işleyicisi, hepsi bir otomatik tarayıcıya işaret eder. Headful’u sanal bir ekran altında çalıştırın ya da gizli bir eklenti kullanın ve varsayımda bulunmak yerine parmak izi test sayfası üzerinden doğrulama yapın.
- Coğrafi tutarsızlık — Bu durum tamamen proxy sunucusunun sorumluluğundadır: Birleşik Krallık çıkış IP’si ile Amerika/New_York ve en-US bilgilerini bildiren bir tarayıcının eşleşmemesi, rutin olarak kontrol edilen bir uyuşmazlıktır. Yerel ayarları ve saat dilimini, çıkış yaptığınız ülkeyle uyumlu olacak şekilde ayarlayın.
- Mobil olmayan bir IP adresi üzerindeki mobil UA — Bir veri merkezi serisinden bir Android telefon olduğunu iddia etmek, herhangi bir parmak izi tespit katmanının fark edebileceği bir çelişkidir. Mobil bir User-Agent ve mobil bir görüntüleme alanı sunarsanız, çıkış IP’sinin de mobil bir IP olması gerekir — ki bu, bu proxy türünün dayandığı temel argümandır.
- Davranış — Mükemmel derecede düzenli aralıklar, fare hareketinin olmaması, anında form doldurma ve hiçbir insanın sürdüremeyeceği bir istek sıklığı; bunların hepsi ölçülmektedir. Hiçbir proxy erişim modelini gizleyemez; bunu yalnızca modelin değiştirilmesi sağlar.
Başka bir kaçınma katmanı eklemeden önce, şu sıkıcı açıklamaları gözden geçirin: robots.txt dosyası size hangi alanların erişime kapalı olduğunu zaten belirtmiş olabilir; site, aynı verileri temiz bir JSON biçimi olarak döndüren bir API yayınlıyor olabilir; ve ayrıştırmaya çalıştığınız sayfa, doğrudan çağırabileceğiniz bir dahili uç noktadan veri alıyor olabilir. Ağ sekmesinde geçireceğiniz bir saat, genellikle bir haftalık bot önleme çalışmasının yerini alır.
İstek Sınırları, robots.txt ve Kurallara Uymak
Kamuya açık verilerin toplanması genel olarak yasaldır ve bir vekil bu değerlendirmeyi hiçbir şekilde değiştirmez. Değişikliği yaratan, veri toplama sürecinin yanı sıra bu süreçle birlikte gerçekleşen her şeydir.
Dikkat çekici bir dava, hiQ Labs ile LinkedIn arasındaki davadır. Dokuzuncu Daire Mahkemesi, 2022 yılında kamuya açık verilerin kazınmasının Bilgisayar Dolandırıcılığı ve Kötüye Kullanımı Yasası’nı ihlal etmediğine hükmetti — bu gerçekten önemli bir karar ve genellikle özetin burada sona erdiği nokta budur. Oysa öyle olmamalıdır. Yeniden yargılamada LinkedIn, sözleşme ihlali konusunda davayı kazandı: hiQ, 500.000 dolarlık tazminat kararını kabul etti; veri kazıma faaliyetlerini durdurmasını ve toplanan verileri ile kaynak kodunu imha etmesini gerektiren kalıcı bir ihtiyati tedbir kararı aldı ve şirket faaliyetlerini sonlandırdı. Bu, bilgisayar sistemine izinsiz girme suçuna rastlamasa da yine de ölümcül sonuçlar doğurdu.
Buradan çıkarılacak ders şudur: Erişim meselesi ile sözleşme meselesi birbirinden ayrıdır. Halka açık verilerin toplanması (scraping) hackleme değildir; kabul ettiğiniz bir sözleşme hâlâ geçerlidir. Bir hesap açtıysanız, kullanım koşullarını kabul ettiyseniz veya bir API anahtarı kullandıysanız, verilerin ne kadar halka açık görünürse görünsün, sözleşme kapsamına girmiş olursunuz.
- robots.txt — Çoğu yargı alanında yasal olarak bağlayıcı değildir, ancak bunu okumak ücretsizdir ve göz ardı etmek kötü niyetin kanıtıdır. Son Avrupa kılavuzlarına göre, bu metin aynı zamanda makine tarafından okunabilir bir hak saklı tutma işareti olarak kabul edildiğinden, birkaç yıl öncesine kıyasla artık daha fazla önem taşımaktadır.
- Kişisel veriler — Verilerin kamuya açık olması, bunların GDPR veya CCPA kapsamı dışında kalacağı anlamına gelmez. Topladığınız veriler kişileri tanımlıyorsa, bunun için yasal bir dayanağa ihtiyacınız vardır ve bu yükümlülük, verileri nasıl elde ettiğinizden tamamen bağımsızdır.
- Oran — Veri topladığınız hizmeti kötüye kullanmak, teknik bir sorunu hukuki bir soruna dönüştürmenin en hızlı yoludur. Eşzamanlılık, genel olarak değil, hedef ana bilgisayar bazında değerlendirilmelidir: sekiz etki alanına yayılmış sekiz paralel istek normaldir; tek bir etki alanına yönelik sekiz istek ise aşırı yük oluşturur.
- Kullanım Koşulları — Çoğu proje için gerçek risk alanı budur. Üzerinde anlaşmaya vardığınız şartları okuyun ve bir hesabın işin içinde olup olmadığı konusunda dürüst olun.
Bunların hiçbiri hukuki tavsiye niteliğinde değildir ve yargı bölgelerine göre farklılıklar gösterebilir. Bu, tarama işleminden sonra değil, öncesinde sorulması gereken soruların niteliğidir.
Özel Bir Veri Toplama Proxy'si Alın
Canlı PXM2 konumları — hedef kitlenizin isteğin hangi ülkeden geldiğini göreceğini seçin ve sınırsız bant genişliği ile rotasyon özelliğine sahip özel bir 4G/5G IP adresi edinin:
Amerika Birleşik Devletleri
Birleşik Krallık
Fransa
Sık Sorulan Sorular
Web veri toplama için mobil proxy'yi nasıl kullanabilirim?
Point your client at the proxy endpoint and authenticate, either by allow-listing your server’s IP or with a username and password. Every mainstream client takes a proxy the same way — a URL of the form http://user:pass@host:port. Then verify the exit IP before you trust anything: request an IP-echo service through the proxy and confirm the address and country are what you expect.
Her istekte proxy'leri değiştirmeli miyim?
Yalnızca bağımsız URL’lerin anonim olarak taranması için geçerlidir. Bir oturum çerezi, alışveriş sepeti, sayfalandırılmış sonuç kümesi veya oturum açma işlemi söz konusu olduğunda, istek başına rotasyon işin aksamasına neden olur — çünkü bu durum, onu oluşturan IP adresine bağlıdır. Genel kural, mantıksal işler arasında rotasyon yapmaktır; asla bir işin ortasında rotasyon yapılmamalıdır.
Proxy kullanırken neden hâlâ engelleniyorum?
Çünkü IP, birçok sinyalden sadece biridir. Bot önleme sistemleri ayrıca TLS el sıkışma sürecinizi, HTTP/2 başlık sıralamanızı, tarayıcınızın otomasyon işaretlerini sızdırıp sızdırmadığını ve belirttiğiniz dil ayarı ile saat diliminin çıkış ülkesiyle uyuşup uyuşmadığını da değerlendirir. Varsayılan başlıksız parmak iziyle eşleştirilmiş temiz bir mobil IP bile yine de bariz bir bot olarak algılanır.
"Sticky session" nedir ve ne zaman buna ihtiyaç duyarım?
Yapışkan oturum, çıkış IP adresini sürekli değiştirmeyip, ihtiyacınız olduğu sürece aynı adresi korur. Kimlik doğrulaması gerektiren her işlem, çok adımlı akışlar ve durum bilgisi taşıyan sayfalandırılmış taramalar için buna ihtiyacınız vardır. Oturum açılmış bir sitede oturum ortasında çıkış IP adresini değiştirmek, oturum ele geçirme gibi görünür; bu da veri kazıma işleminden daha olumsuz bir sinyaldir.
Bir kazıma proxy’si ne sıklıkla değiştirilmelidir?
Dönüşümü saat yerine iş sınırlarına göre ayarlayın. Sabit bir zamanlayıcı, çok adımlı bir isteğin ortasında devreye girerek işlemi kesintiye uğratabilir. Zaman temelli bir kural uygulamak istiyorsanız, aralığı en yavaş tekli işinizden daha uzun tutun ve başarısızlık durumunda da dönüşüm yapın; böylece sorunlu bir IP adresi derhal devre dışı bırakılır.
İlgili Mobil Proxy Kılavuzları
Bu kılavuz, belirli bir araca bağlı olmayan genel bir bakış sunmaktadır. Kılavuzun geri kalan bölümlerinde ise proxy katmanının seçimi ve belirli yığınlara yönelik kodlar daha ayrıntılı olarak ele alınmaktadır.
Web veri toplama kılavuzları
Temel mobil proxy kılavuzları
Gerçek bir taşıyıcı IP'sinden veri toplamak
Sınırsız bant genişliği ve sınırsız rotasyona sahip özel 4G/5G modemler — iş sınırlarınızda rotasyon yapın ya da bir oturumun gerektirdiği süre boyunca tek bir IP adresini elinizde tutun.
Bir Kazıma Proxy'si Alın