Python ile Rag Sistemi Nasıl Yapılır? Dokümanlardan Yapay Zekâ ile Soru-Cevap

## Python ile RAG Sistemi Nasıl Yapılır? Dokümanlardan Yapay Zekâ ile Soru-Cevap

Bu Yazıda Neler Öğreneceksiniz?
- RAG (Retrieval-Augmented Generation) sisteminin temelleri
- Python ile RAG sisteminin adım adım nasıl kurulacağı
- Dokümanlardan yapay zekâ ile soru-cevap oluşturma süreçleri

Yapay zekânın, bilgiye erişim ve bilgi işleme konusundaki etkisi giderek artarken, RAG sistemleri de bu süreçte önemli bir rol oynamaktadır. RAG, bilgi alımını artırarak metin üretiminde daha doğru ve konuyla ilgili yanıtlar sağlamak amacıyla tasarlanmış bir sistemdir. Python ile RAG sistemi oluşturmak, veri bilimi ve yapay zeka alanında deneyim kazanmak için mükemmel bir fırsattır.

### RAG Nedir?

RAG, Retrieval-Augmented Generation yani "Bilgi Alma ile Desteklenen Üretim" anlamına gelir. Bu sistem, bir metin üretim modelinin, dış kaynaklardan bilgi alarak daha doğru ve bağlama uygun yanıtlar üretmesini sağlar. Özetle, RAG sistemleri, kullanıcıların sorularına yanıt vermek için hem metin üretim yeteneklerini hem de bilgi elde etme yeteneklerini birleştirir.

### Gerekli Kütüphaneler

Python ile RAG sistemi kurmak için aşağıdaki kütüphanelere ihtiyacınız olacak:

1. Transformers: Hugging Face tarafından sağlanan bu kütüphane, önceden eğitilmiş modelleri kullanmanıza olanak tanır.
2. Torch: PyTorch, derin öğrenme kütüphanesidir ve model eğitimi için gereklidir.
3. Faiss: Facebook AI Research tarafından geliştirilen bu kütüphane, büyük veri setleri üzerinde hızlı benzerlik aramaları yapmanıza olanak tanır.
4. Pandas: Verileri işlemek için kullanılır.
5. NumPy: Sayısal hesaplamalar için gereklidir.

Aşağıdaki komutları kullanarak gerekli kütüphaneleri yükleyebilirsiniz:

```bash
pip install transformers torch faiss-cpu pandas numpy
```

### Adım 1: Verilerinizi Hazırlayın

RAG sistemi için kullanacağınız belgeleri hazırlayın. Bu belgeler, PDF, TXT veya diğer metin formatlarında olabilir. Örneğin, bir metin dosyasıyla başlayabilirsiniz:

```python
import pandas as pd

# Örnek veri seti
data = {
"documents": [
"Python, yüksek seviyeli bir programlama dilidir.",
"Yapay zeka, bilgisayarların insan benzeri görevleri yerine getirmesidir.",
"RAG sistemi, bilgi alımını artırarak metin üretir."
]
}

df = pd.DataFrame(data)
```

### Adım 2: Bilgi Alma (Retrieval) Aşaması

Bu aşamada, kullanıcının sorusuna uygun belgeleri bulmak için bir bilgi alma mekanizması kuruyoruz. Burada Faiss kütüphanesini kullanarak benzer belgeleri arayacağız.

```python
from transformers import AutoTokenizer, AutoModel
import numpy as np
import faiss

# Model ve tokenizer yükle
tokenizer = AutoTokenizer.frompretrained("facebook/dpr-ctxencoder-single-nq-base")
model = AutoModel.frompretrained("facebook/dpr-ctxencoder-single-nq-base")

# Belgeleri encode et
encodeddocs = [tokenizer.encode(doc, returntensors='pt') for doc in df['documents']]
docembeddings = np.vstack([model(doc)[0].detach().numpy() for doc in encodeddocs])

# Faiss ile benzerlik araması için index oluştur
dim = docembeddings.shape[1]
index = faiss.IndexFlatL2(dim)
index.add(docembeddings)
```

### Adım 3: Soru-Cevap Üretimi

Şimdi, kullanıcının sorusuna uygun belgeleri bulduktan sonra, bu belgeleri kullanarak yanıt üretme aşamasına geçiyoruz. Burada yine bir Transformer modeli kullanacağız.

```python
from transformers import AutoModelForSeq2SeqLM

# Yanıt üretecek modeli yükle
qamodel = AutoModelForSeq2SeqLM.frompretrained("facebook/bart-large")

def getanswer(question):
# Soru için embedding oluştur
questionembedding = model(tokenizer.encode(question, returntensors='pt'))[0]

# Benzer belgeleri bul
D, I = index.search(questionembedding.detach().numpy(), k=1) # En yakın 1 belgeyi al
context = df['documents'].iloc[I[0][0]]

# Yanıt üret
inputtext = f"Context: {context} Question: {question}"
inputids = tokenizer.encode(inputtext, returntensors='pt')
output = qamodel.generate(inputids)

return tokenizer.decode(output[0], skipspecialtokens=True)

# Örnek bir soru
print(get_answer("RAG sistemi nedir?"))
```

### Sonuç

Python ile RAG sistemi kurmak, hem veri bilimi hem de yapay zeka alanında önemli bir adımdır. Yukarıda tarif edilen adımları izleyerek kendi RAG sisteminizi kurabilir ve belgelerden bilgi alarak etkili soru-cevap süreçleri oluşturabilirsiniz. Bu tür bir sistem, bilgiye erişimi kolaylaştırırken, otomatik yanıt üretimi ile verimliliği artırır.

### Sık Sorulan Sorular

1. RAG sistemi nedir?
2. RAG sistemini hangi kütüphanelerle kurabilirim?
3. Hangi veri formatlarını kullanabilirim?
4. RAG sistemi ne tür uygulamalarda kullanılır?