Python Selenium ile Web Scraping Nasıl Yapılır?

## Python Selenium ile Web Scraping Nasıl Yapılır?

Web scraping, web sitelerinden veri çekme işlemi olarak tanımlanabilir. Python programlama dili, bu tür işlemler için popüler bir seçimdir. Selenium ise web tarayıcılarını otomatikleştirerek kullanıcı etkileşimlerini simüle etmek için kullanılan güçlü bir kütüphanedir. Bu makalede, Python ve Selenium kullanarak basit bir web scraping işlemi nasıl gerçekleştirilir, adım adım anlatılacaktır.

### 1. Gerekli Kütüphanelerin Kurulumu

Python ile web scraping yapmak için öncelikle gerekli kütüphaneleri kurmalısınız. Terminal veya komut istemcisine aşağıdaki komutları girerek Selenium’u ve web tarayıcısı için gerekli olan `webdriver-manager` kütüphanesini yükleyin:

```bash
pip install selenium webdriver-manager
```

### 2. Webdriver Ayarları

Selenium, web tarayıcıları ile etkileşim kurmak için bir "webdriver" kullanır. Bu adımda, Chrome tarayıcısını kullanarak bir webdriver başlatacağız. Aşağıdaki kod parçasını inceleyin:

```python
from selenium import webdriver
from webdrivermanager.chrome import ChromeDriverManager

# Chrome tarayıcısı için WebDriver'ı başlat
driver = webdriver.Chrome(ChromeDriverManager().install())
```

### 3. Web Sayfasına Gitme

Artık webdriver'ımızı oluşturduğumuza göre, scraping yapmak istediğimiz web sayfasına gidebiliriz. Örneğin, bir haber sitesine gitmek için aşağıdaki kodu kullanabilirsiniz:

```python
# Web sayfasına git
driver.get("https://example.com")
```

### 4. Veri Çekme

Web sayfasından veri çekmek için Selenium'un sağladığı çeşitli yöntemleri kullanabilirsiniz. Örneğin, belirli bir HTML etiketinden veri çekmek için `findelementbyxpath` veya `findelementbycssselector` metodunu kullanabilirsiniz. Aşağıda bir örnek verilmiştir:

```python
# Belirli bir başlığı bul ve metnini al
title = driver.findelementbyxpath("//h1").text
print("Başlık:", title)
```

### 5. Veriyi İşleme

Elde ettiğiniz veriyi işlemek için Python'un yerleşik veri yapıları veya pandas gibi kütüphaneler kullanabilirsiniz. Aşağıda basit bir liste oluşturma örneği bulunmaktadır:

```python
# Çekilen başlıkları bir listeye ekleme
titles = []
titles.append(title)
```

### 6. Tarayıcıyı Kapatma

Scraping işleminiz tamamlandığında, tarayıcıyı kapatmayı unutmayın:

```python
# Tarayıcıyı kapat
driver.quit()
```

### Örnek Tam Kod

Aşağıda, yukarıdaki adımları birleştiren tam bir örnek kod bulunmaktadır:

```python
from selenium import webdriver
from webdrivermanager.chrome import ChromeDriverManager

# WebDriver'ı başlat
driver = webdriver.Chrome(ChromeDriverManager().install())

# Web sayfasına git
driver.get("https://example.com")

# Başlığı bul ve metnini al
title = driver.findelementby_xpath("//h1").text
print("Başlık:", title)

# Tarayıcıyı kapat
driver.quit()
```

### Sonuç

Bu makalede, Python ve Selenium kullanarak basit bir web scraping işlemi gerçekleştirdik. Web scraping, veri toplamak için güçlü bir araçtır, ancak etik kurallara dikkat etmek ve web sitelerinin kullanım şartlarına uymak önemlidir.

### Sıkça Sorulan Sorular

- Selenium ile hangi web siteleri üzerinde scraping yapabilirim?
Herhangi bir web sitesi üzerinde scraping yapabilirsiniz, ancak bazı siteler bunu yasaklayabilir.

- Web scraping yasal mı?
Web scraping, yasallığı web sitelerinin kullanım şartlarına bağlıdır. Her zaman kullanım şartlarını kontrol edin.

- Selenium dışında hangi kütüphanelerle web scraping yapabilirim?
BeautifulSoup ve Scrapy gibi kütüphaneler de web scraping için kullanılabilir.