Laravel AI SDK ile Ollama Kullanımı: Yerel LLM’leri Ücretsiz Çalıştırma

brew install ollama

curl -fsSL https://ollama.com/install.sh | sh

curl http://localhost:11434
# Şu sonucu döndürmeli: Ollama is running

# Genel amaçlı, 4GB+ RAM olan herhangi bir makinede çalışır
ollama pull llama3.2

# Daha küçük versiyonu, 2GB, kısıtlı makineler için uygun
ollama pull llama3.2:1b

# Kodla ilgili görevlerde güçlü, Laravel AI ajanları için iyi
ollama pull qwen2.5-coder:7b

# Mistral, hızlı ve yetenekli genel model
ollama pull mistral

ollama list

ollama run llama3.2 "Laravel servis konteynerlerini bir cümlede açıklayın"

OLLAMA_API_KEY=

'providers' => [
    // ... diğer sağlayıcılar

    'ollama' => [
        'driver' => 'ollama',
        'key'    => env(, ),
        => env(, ),
    ],
],

OLLAMA_URL=

        

        Ajanlarınızda Ollama Kullanma

    
Ollama ile bir ajanın yönlendirilmesinin iki yolu vardır: belirli bir ajan sınıfı için varsayılan sağlayıcı olarak ayarlamak veya çalışma zamanında her bir prompt için üstüne yazmak.

        

        PHP Özellikleri ile Ajan Bazında

    
Ajan sınıfınıza #[Provider] ve #[Model] özniteliklerini ekleyin:



namespace App\Ai\Agents;

use Laravel\Ai\Attributes\Model;
use Laravel\Ai\Attributes\Provider;
use Laravel\Ai\Contracts\Agent;
use Laravel\Ai\Enums\Lab;
use Laravel\Ai\Promptable;

#[Provider(Lab::Ollama)]
#[Model('llama3.2')]
class SupportAgent implements Agent
{
    use Promptable;

    public function instructions(): string
    {
        return ;
    }
}
Şimdi bu ajana her zaman prompt verdiğinizde, Ollama’yı yerel olarak kullanır:
$response = SupportAgent::make()->prompt();

return () $response;
Bu, geliştirme için en temiz yöntemdir. Ajanınızı bir kez Ollama öznitelikleri ile yazdıktan sonra, API maliyetleri olmadan yerel olarak inşa eder ve test edersiniz. Ardından üretime geçerken öznitelikleri değiştirirsiniz (veya .env aracılığıyla üzerini yazarsınız).
 
 Her Prompt İçin Üstüne Yazma
Ajan sınıfını değiştirmeden geçici bir yerel test yapmak için:
use Laravel\Ai\Enums\Lab;

$response = SupportAgent::make()
    ->prompt(, provider: Lab::Ollama, : );
Bu, Ollama ve bir bulut sağlayıcısı arasındaki yanıtları hızlı bir şekilde karşılaştırmak istediğinizde faydalıdır.
 
 Geliştirme/Üretim İş Akışı
Temiz bir yaklaşım, config/ai.php dosyasında ortam değişkenlerine bağlı olarak uygulama seviyesinde varsayılan sağlayıcı belirlemektir:
=> [
    => [
        => env(, ),
        => env(, ),
    ],
],
Sonrasında yerel .env dosyanızda:
AI_PROVIDER=ollama
AI_MODEL=llama3.2
Ve üretimde .env dosyasındaki (veya Forge/Vapor ortamınızdaki) aşağıdaki gibi:
AI_PROVIDER=anthropic
AI_MODEL=claude-sonnet-4-5
Ortamlar arasında sıfır kod değişikliği. Ajanlarınız, araçlarınız ve yapısal çıktılarınız aynı kalır. Tek değişen sağlayıcıdır. Bu yaklaşım, PHP özelliklerini kullanmadığı sürece iyi çalışır; bunlar varsayılan yapılandırmayı geçersiz kılar.
PHP özelliklerine sahip ajanslar için, öznitelikleri kaldırmanız gerekebilir ya da çevre değişkenlerine dayalı geçiş için farklı bir yöntem kullanmalısınız. Öznitelik yaklaşımı, her zaman belirli bir sağlayıcı kullanması gereken ajanslar için daha iyi (kodu gözden geçiren bir ajanın her durumda akıllı bir modele ihtiyaç duyması gibi). Varsayılan yapılandırma yaklaşımı ise, genel amaçlı ajanslar için daha uygundur; burada geliştirmede Ollama, üretimde bir bulut modeli ile çalışmak mantıklıdır.
 
 Hangi Modelleri Kullanmalı
Modellerin hepsi eşit değildir ve doğru seçim, ajansınızın ne yaptığınıza bağlıdır. İşte yaygın Laravel AI SDK kullanım senaryolarına göre pratik bir rehber:
Llama 3.2 (3B veya 8B), çoğu kullanım durumu için güvenli bir varsayılandır. 3B versiyonu, 4GB RAM olan herhangi bir geliştirici makinesinde rahatça çalışır. 8B versiyonu, karmaşık talimatları takip etmede belirgin bir iyileşme sunar ancak 8GB’a ihtiyaç duyar. Destek ajanları, belge özetleme ve genel SORU-CEVAP için iyidir. Emin değilseniz, buradan başlayın.
Qwen 2.5 Coder (7B), kodla çalışan ajanlar için doğru seçimdir. Boyut olarak benzer olmasına rağmen kod üretimi ve gözden geçirme görevlerinde Llama’nın daha iyi performans gösterdiği görülmektedir. Eğer PHP dosyalarını analiz eden, migrationlar oluşturan veya kod kalitesini gözden geçiren bir ajans üzerinde çalışıyorsanız, bunu tercih edin.
Mistral (7B), talimatları takip etme görevleri için hızlı ve güvenilir bir seçenektir. Hızlı yanıtlar almanız ve görev kod ile yoğun değilse, Mistral’ı denemeye değer. Aynı kalite seviyesinde  Llama 3.2’ye göre daha hızlıdır.
Geliştirme için çok büyük modelleri (30B+) kullanmaktan kaçının. Geliştirici makinelerinde yavaş çalıştıkları için hız kaybı yapar. 7B ile 30B arasındaki kalite farkı, geliştirmede çoğunlukla test araçlarının çağrılıp, çıktı formatına odaklandığınızdan dolayı önemli değildir. Büyük modelleri üretimde bulut sağlayıcılarınız için saklayın.
Bir Laravel SaaS için pratik bir kurulum şunları kullanmak olacaktır: genel ajanlar için llama3.2:8b ve kodla ilgili ajanslar için qwen2.5-coder:7b kullanmak. Her ikisi de 16GB’lık bir makinede sorun yaşamadan çalışır. Eğer 8GB’lık bir makineniz varsa, her şey için llama3.2:3b kullanabilir ve hız için biraz daha düşük bir talimat takibi kalitesini kabullenebilirsiniz.
Birden fazla ajan sistemi ile geliştirme yaptıysanız, farklı alt ajansları farklı Ollama modellerine yönlendirebilirsiniz. Bu, bulut modellerini atamak için kullandığınız şekilde çalışır ve AI SDK genel bakışı, yerel model optimizasyonuna dalmadan önce bilmeniz gereken daha geniş SDK yeteneklerini kapsar.
 
 Ollama İle Gömme
Ollama, yerel gömme oluşturma işlemleri için de çalışır, bu sayede API maliyeti olmaksızın RAG geliştirmesi yapabilirsiniz:
use Laravel\Ai\Facades\Ai;
use Laravel\Ai\Enums\Lab;

$embedding = Ai::embed(
    ,
    : Lab::Ollama,
    : );
Öncelikle gömme modelini indirin:
ollama pull nomic-embed-text
nomic-embed-text, 768 boyutlu vektörler üreten sağlam bir yerel gömme modelidir. Üretim RAG için OpenAI’nin text-embedding-3-small veya benzeri bir bulut modeline geçebilirsiniz, ancak vektör arama mantığınızı oluşturup test etmek için Ollama, maliyetleri sıfıra indirir.
 
 Ollama’nın Desteklemediği
Laravel AI SDK’nın Ollama entegrasyonu, metin üretimi ve gömme işlemleri için geçerlidir. Görüntü oluşturma, metinden konuşmaya, konuşmadan metne veya dosya yüklemeleri için desteklemez. Eğer ajanslarınız bu yetenekleri kullanıyorsa, o belirli özellikler için bulut sağlayıcıya ihtiyacınız olacak.
Bu durum, geliştirme/üretim ayrımı için genellikle uygundur. Çoğu ajans mantığı (araçlar, yapısal çıktı, konuşma akışı) görüntüler veya ses ile bağlı değildir. Ana ajans mantığını Ollama ile yerel olarak çalıştırabilir ve çoklu ortam özellikleri yalnızca staging ya da üretim aşamasında bulut sağlayıcılar ile uygulanır.
 
 Ollama Kullanan Ajanların Test Edilmesi
Bir noktaya dikkat edin: test suite’inizi çalıştırırken, muhtemelen testlerin gerçek Ollama çağrıları yapmasını istemezsiniz, tıpkı gerçek OpenAI çağrıları istemeyeceğiniz gibi. SDK’nın sahte test araçları, hangi sağlayıcı yapılandırılmış olursa olsun çalışır:
it(, function () {
    SupportAgent::fake([
        ,
    ]);

    $response = SupportAgent::()->prompt();

    expect(() $response)->();
});
Ajan yanıtını sahte olarak oluşturmak, testlerinizin hızlı, belirleyici ve Ollama’nın yüklü veya çalışıyor olmasına bağlı kalmadan olmasını sağlar. Ajan güvenliği yazısı, testlerde ajan davranışınızı öngörülebilir kılmak için daha fazla bilgi içerir.
Geliştirme iş akışınız şu şekilde olmalıdır: gerçek Ollama ile yerel olarak geliştirin ve yineleyin, test suite’inizi sahte yanıtlarla çalıştırın, üretimde bulut sağlayıcıları ile dağıtım yapın.
 
 Paylaşılan Geliştirme Sunucusunda Ollama
Eğer ekibiniz paylaşılan bir geliştirme sunucusu kullanıyorsa, Ollama’yı buraya kurabilir ve herkesin yerel Laravel örneklerini buna yönlendirebilirsiniz. Her geliştiricinin .env dosyasında OLLAMA_URL‘yi güncelleyin:
OLLAMA_URL=
OLLAMA_HOST=0.0.0.0 ollama serve
Bu, bir makinenin model sunumunu yapmasını sağlar ve ekip üyeleri bunun üzerinden paylaşım yapar, herkesin yerel olarak modelleri çekmesine veya çalıştırmasına gerek kalmaz. Bu, bazı ekip üyeleri kısıtlı donanımda olduğunda yararlıdır.
 
 SSS
 
 Ollama, araç kullanan Laravel AI SDK ajanları ile çalışır mı?
Evet, ancak model kalitesi araç kullanımında daha önemlidir. Daha küçük modellerin bazıları araç çağrılarını tutarsız bir şekilde işleyebilir.  Llama 3.2 8B, araç kullanımı için güvenilirdir. Eğer kaybedilen veya bozuk araç çağrıları görüyorsanız, daha büyük veya daha yetenekli bir modeli denemek faydalı olabilir.
 
 Ollama’yı üretimde kullanabilir miyim?
Dedike server donanımınız varsa yeterli RAM’e sahip olmanız doğal olarak mümkündür. Çoğu ekip Ollama’yı yerel geliştirme ve test için kullanıyor, üretimde ise bulut sağlayıcıları tercih ediyor. Eğer yüksek hacim ve özel bir gizlilik ihtiyacınız yoksa, üretimde Ollama’yı çalıştırmanın maliyet ve bakım yükü, tasarrufu genellikle aşar.
 
 Ollama ile API aracılığıyla modeller çalıştırmak arasındaki fark nedir?
Ollama ile model, makinenizde çalışıyor. Hiçbir veri ağınızdan çıkmıyor. Bulut API’leri (OpenAI, Anthropic) ile, promptlarınız sağlayıcının sunucularına gönderiliyor. Hassas ya da özel veriler içeren geliştirmeler için, Ollama daha iyi bir lựa chọn.
 
 GPU’ya ihtiyacım var mı?
Gerek yok. Çoğu model CPU üzerinde çalışabilir, sadece daha yavaş. Geliştirme aşamasında bir CPU yeterlidir. Model boyutuna ve donanımınıza bağlı olarak yanıtlar 5-15 saniye sürmektedir. Bir GPU, 7B modeller için bu süreyi 2 saniyenin altına indirebilir.
 
 Ollama ile alt ajanlar kalıbını kullanabilir miyim?
Evet. Her alt ajanın kendisine ait #[Provider(Lab::Ollama)] ve #[Model] öznitelikleri olabilir. Alt ajanlar kılavuzu, tüm kalıbı kapsar; Ollama öznitelikleri hiçbir başka değişiklik olmadan eklenir.
 
 Yerel Olarak Başlayın
Kurulum dört adımda özetlenebilir: Ollama’yı kurun, bir modeli indirin, OLLAMA_API_KEY= değerini .env dosyanıza ekleyin ve ajans sınıfınıza #[Provider(Lab::Ollama)] ekleyin. Sonrasında, AI’yi yerel olarak hiçbir API maliyeti ve oran sınırlaması olmadan çalıştırıyorsunuz.
Üretimde, sağlayıcı özniteliğini ya da varsayılan yapılandırmanızı değiştirerek OpenAI veya Anthropic’e geçebilirsiniz. Sonraki tüm kodlarınız tam olarak aynı kalır.
Eğer bunu bir ekip için ayarlıyorsanız ya da geliştirme/üretim ayrımına dair sorularınız varsa, iletişime geçin.