İndeksleme basitçe arama motorunun web sitenizi kendi veritabanına kaydetmesidir. Bot adı verilen robot yazılımlarla yapılan bu iş, arama motoru yazılımlarının en önemli işlevidir. Sitenizin her sayfasına girerler, içerikleri kategorize ederler ve veritabanına kaydederler. Google ‘un Adsense, FreshBot ve DeepCrawl isminde bilinen 3 robot yazılımı bulunuyor.

Adsense Google'ın site sahiplerine reklam yayınlamaları karşılığı para kazandıran bir sistemdir. Adsense botları, bu reklamları yayınlayan web siteleri için çalışır. Sitenin içeriği değiştikçe içeriğe göre reklam yayınlamak için, her değişimden sonra AdSense botları sitedeki yeni içerikleri indeksler.

Freshbot web sitenizde bulunan en popüler ve en yeni sayfalarla ilgilenir. İçeriğin bir veya binlerce adet olmasının bir önemi yoktur. Örneğin www.Amazon.com veya www.CNN.com gibi sitelerin sıkça güncellendiği ve çok fazla trafik aldığı Google tarafından fark edildiği anda, bu gibi siteleri her 10 dakikada bir ziyaret etmeye başlar ve indeksler. Diğer sitelere bu botun uğrama sıklığı sitenin popülerliği ve güncellenmesine bağlı olarak günlük veya 15 günde bir gibi dönemlerde olabilir. Bir Google FreshBot’u web sitenizi ziyaret ettiğinde sitenizdeki bütün bağlantıları gezer ve onları veritabanına kaydeder. Bu sayede diğer bot DeepCrawl sitenize geldiği zaman bu bağlantılar ona yol gösterir ve işini yapmasına yardımcı olur. DeepCrawl ise ayda bir kez web sitenize gelerek sitenizdeki bütün bilgileri indeksler. Bu yüzden web sitenizde bulunan yeni bilgiler Google sonuçlarında bir ay sonra çıkmaya başlayabilir.