תוכנית מיוחדים ומקילה על איסוף מידע של מגזרים רחבים של האינטרנט. הערה 1: מנועי החיפוש מנסים לסייע למשתמש לאתר את המידע הרצוי או משאבים על-ידי המבקשים התאמות על-ידי המשתמש מילות מפתח. השיטה עבור מציאת ובידוד מידע זה היא לבצע קומפילציה ולשמור על אינדקס של משאבי אינטרנט זה יכול להיות שאילתה עבור מילות מפתח או מושגים שהוזנו על ידי המשתמש. המדדים, שנבנו מרשימות משאב ספציפי, ניתן ליצור גם מהפלט של הזוחלים, נוודים, רובוטים, עכבישים או תולעים אינטרנט. המדדים מופקים בדרך כלל בתקופות של תעבורת רשת מינימלי. הערה 2: מנועים שונים המתאימים לסוגים שונים של חיפושים, לרוב ניתן למטב לתוצאות שצוין.