Teknoloji sürekli gelişirken bu gelişme internet üzerindede etkili olmuştur.  Dünyanın en önemli web sitesi olan google internet üzerindeki milyonlarca web sitesini kontrol etmektedir. Milyonlarca web sitesini kontrol etmek google için bir maliyet anlamına geliyor. bu bakımdan google bazı web sitelerine ayrıcalık tanımakktadır. Bu ayrıcalığı web sitesinin kodlama teknolojisine göre yapmaktadır.

Bir web sitesinde gereksiz hatalı kodlar kullanıldı ise bu google örümceklerinin çalışmasını zorlaştırmakta bu nedenlede google bu web sitelerini indexlerken daha fazla maliyeti karşılamak zorunda kalmaktadır.

Ancak web 2.0 tekenolojisi kullanılan css web tasarımı ile google örümcekleri siteyi daha kolay indexlemektedir. Bu neden google bu tekenolojilerin kullanıldığı siteleri daha çok sevmetkedir.