I motori di ricerca

In primo luogo, è opportuno fare un po' di chiarezza e distinguere tra "motore di ricerca" e "directory". Il motore di ricerca - pensiamo per esempio al più famoso, Altavista - utilizza un sistema automatico di ricerca nel web, basato sull'impiego di software specifici, chiamati in vario modo: spiders, robots, bots, crawlers. Il compito di questi software è quello di esplorare ogni angolo del Web (o anche di altri segmenti della rete, come per esempio i newsgroup), alla ricerca dei siti, dai quali estraggono intere colonne di testo, che vengono inserite nei database del motore di ricerca organizzate in indici automatici. Quando un navigatore attiva una ricerca, è all'interno del database che il motore va a cercare le risposte, cioè all'interno dei suoi indici automatizzati.

L'interfaccia italiana di Altavista, il più noto e tra i più completi motori di ricerca al mondo

Nel caso di Altavista, che come abbiamo visto è il più famoso motore di ricerca, il crawler principale, o indicizzatore, si chiama Scooter: il suo compito è quello di individuare i siti e seguire i link delle pagine recuperate. Oltre agli scooter esistono poi degli indicizzatori specializzati, che aggiornano gli indici andando a cercare i link estinti. Tutti questi indicizzatori visitano oltre 10 milioni di pagine al giorno, operando in modo casuale. Le possibilità che un sito venga visitato, tuttavia, sono direttamente proporzionali alla quantità di link al suo interno.