Optimizacija spletnih strani: Razlika med redakcijama

Strani, ki so povezane z že indeksiranimi stranmi drugih spletnih iskalnikov, so odkrite avtomatsko in ne rabijo biti posebej dodane. Nekateri spletni iskalniki, npr. Yahoo!, ponujajo plačljivo storitev, ki zagotavlja, da bo spletni pajek prebrskal spletno stran za določeno fiksno plačilo ali plačilo za klikanje.<ref>{{navedi splet|title= Submitting To Search Crawlers: Google, Yahoo, Ask & Microsoft's Live Search|url=http://searchenginewatch.com/showPage.html?page=2167871|date=12. 3. 2007|accessdate=5. 5. 2011|publisher=searchenginewatch.com}}</ref> Take storitve zagotavljajo vključitev v podatkovno bazo, vendar pa ne zagotavljajo specifičnega položaja v prikazu iskalnih rezultatov. Dva velika imenika, Yahoo Directory in Open Directory Project, zahtevata ročno vnašanje spletne strani in preverjanje s strani urednikov.<ref>{{navedi splet|url=http://searchenginewatch.com/showPage.html?page=2167881|title= Submitting To Directories: Yahoo & The Open Directory |date= 12. 3. 2007|accessdate=5. 5. 2011|publisher=searchenginewatch.com}}</ref> Imenik je spletna stran, ki je organizirana malo drugače, kot običajni spletni iskalniki. Vsebino urejajo človeški administratorji. Imeniki z veliko podatki so bolj splošni. Večina pa jih je manjših in so usmerjeni v določeno zvrst.<ref name="imenik">{{navedi splet |title=Directory, Definition & Examples of Directory, SEO Term Glossary|url=http://seotermglossary.com/directory/|date=5. 5. 2011 |publisher=seotermglossary.com|accessdate=5. 5. 2011}}</ref>

 

 

Spletni pajki upoštevajo množico faktorjev, ko brskajo po spletnem mestu. Spletni iskalniki ne indeksirajo vsake spletne strani. Razdalja med korenom imenika in podstranmi lahko igra pomembno vlogo v brskanju spletnega pajka.<ref name="cho">{{navedi splet|url=http://dbpubs.stanford.edu:8090/pub/1998-51|title=Efficient crawling through URL ordering|author=Cho, J.; Garcia-Molina, H.|year=1998|publisher=Proceedings of the seventh conference on World Wide Web, Brisbane, Australia|accessdate=5. 5. 2011}}</ref> Probleme pri brskanju spletnih pajkov povzročajo tudi spletne strani z različnimi grafičnimi vsebinami, flash datotekami in dinamičnimi vsebinami.<ref>{{navedi splet|url=http://www.anvilmediainc.com/wp-content/uploads/ami_seo_whitepaper_1104.pdf|title= Search Engine Optimization Whitepaper|date=2009|accessdate=5. 5. 2011|publisher=Anvil Media, Inc.}}</ref>