검색·페이지랭크

검색창에 두 단어를 넣으면 순식간에 결과가 나타난다. 검색 엔진은 그때부터 웹 전체를 읽기 시작하지 않는다. 미리 문서를 수집하고 단어와 문서의 관계를 색인해 두며, 질의와 여러 신호를 결합해 결과 순서를 정한다.

크롤러는 알려진 주소에서 문서를 가져오고 새 링크를 작업 목록에 넣는다. robots 규칙과 접근 제한, 중복 문서, 갱신 주기를 다뤄야 한다. 웹 전체를 완전하게 수집할 수 없으므로 검색 색인은 특정 시점과 정책에 따른 부분적 지도다. 검색되지 않는다고 문서가 존재하지 않는 것은 아니다.