Un crawler, también llamado rastreador web, araña o spider, es un tipo de software que usan los buscadores para recorrer e indexar las páginas web de internet. Su función principal es visitar webs, leer su contenido y recoger información para crear un índice que los buscadores usan para mostrar resultados relevantes.
El crawler sigue los enlaces de una página a otra y recoge datos sobre el contenido, la estructura y otros factores importantes de cada página. Estos datos ayudan a los buscadores a entender de qué trata una página para posicionarla de forma adecuada en los resultados. Los crawlers hacen que los buscadores tengan información actualizada y puedan dar a los usuarios resultados precisos y relevantes.