История возникновения поисковых систем

В ранних 90-ых годах, когда зарождался интернет, было трудной найти информацию, это все равно, что путешествовать по миру не имея не малейшего представления, где находиться нужное вам место и при этом, не имея навигатора или карты, на которой указанно это место. Поисковые системы были созданы, что бы облегчить поиск в интернете нужной вам информации.

Поисковая система -  это один из самых широко используемых методов навигации в киберпространстве.

Самый первый поисковый инструмент в  Интернете назывался Archie. Он был создан в 1990 Аланом Эмтаджем, студентом Монреальского Университета им. Мак Гилла. Программа скачивала списки файлов, расположенные на публичных анонимных FTP сайтах, создавая базы данных имен файлов, по которым можно было производить поиск.

Archie индексировал компьютерные файлы, а Gopher – текстовые документы. Gopher был создан Марком Мак Кахиллом в Университете Миннесоты. Будучи текстовыми файлами, большинство сайтов Gopher впоследствии стали страницами Паутины.

Две другие программы, такие как Veronica и Jughead, искали файлы, сохраненные в поисковом индексе Gopher. В Veronica можно было осуществлять поиск по ключевому слову среди названий документов, перечисленных в Gopher. Jughead позволял получать информационное меню с различных серверов Gopher.

В 1993 студент МИТ Мэтью Грей изобрел первого робота, который индексировал страницы Интернет – World Wide Web Wanderer. Первоначально программа позволяла пересчитывать веб-сервера, измеряя масштабы Паутины. World Wide Web Wanderer запускали ежемесячно с 1993 по 1995 годы. Позже его использовали для получения URL при формировании первой базы данных Веба – Wandex.

Первоначально роботы создавали некое неудобство для серверов, поскольку они требовали много сетевых ресурсов, и порой серверы не выдерживали нагрузки. Новейшие роботы не снижают пропускной способности сервера и используются для построения индексов поисковых машин.

В 1993 Мартин Костер создал ALIWEB. ALIWEB позволял владельцам сайтов подавать заявки на индексацию в поисковых машинах. По мнению Костера, ALIWEB была поисковой системой, основанной на автоматизированном сборе мета-данных для Сети.

В тот момент в развитии интернета было заинтересованных, и поэтому пошло хорошее инвестирование в разработку поисковых систем.

В 1993 году студенты Стэнфорда представили Excite. Программа использовала статистический анализ слов в тексте, чтобы облегчить процесс поиска. В течение одного года Excite был достаточно усовершенствован,  и вышел онлайн в декабре 1995 года. На данный момент он является частью компании AskJeeves.

Сеть Galaxy возникла в 1994 году как часть поискового консорциума MCC в Университете Техаса в Остине. Galaxy была создана как алфавитный перечень, сочетающий элементы интерфейса поисковика Gopher и протокола telnet в дополнение к строке веб-поиска.

Джерри Янг и Дэвид Фило создали Yahoo в 1994 году. Проект начался с составления каталога их любимых веб-сайтов. Единственное, что отличало этот перечень от других, был комментарий к каждой ссылке URL. Через год разработчики получили финансирование и создали корпорацию Yahoo. На данный момент Yahoo втрорая востребованная поисковая система после Google.

В тот же год когда в онлайн появился Yahoo, был создана программа WebCrawler. На тот момент это была первая поисковая машина, которая индексировала весь текст веб-сайтов.

В 1994 году Lycos представил поисковую машину, предлагающую наряду с результатами поиска ссылки на темы, связанные с поисковым запросом. В 1996 году это уже была обширная поисковая система, индексирующая более 60 миллионов документов, самая крупная на тот момент. Как и многие другие поисковые системы, Lycos был разработан в университетской среде доктором Майклом Молдином в Университете Карнеги Меллона.

Поисковый сервис Infoseek был запущен в 1995 году. Он не внедрил ничего нового в систему поиска. На данный момент он принадлежит компании Уолта Диснея и работает на доменном имени Go.com

AltaVista также начала работать в 1995 году. Эта поисковая машина первой предложила расширенную систему поиска и принимала языковые запросы на так называемом «естественном языке» – например, могла обработать запрос «Как пройти в библиотеку?», вместо «библиотека». Система также предлагает возможность поиска изображений, музыки и видеофайлов.

Система Inktomy возникла в 1996 году в Университете Беркли. В июне 1999 года Inktomy ввела поиск по каталогу на основе «метода индукции». По мнению компании, «индуктивный метод принимает во внимание аналитический опыт человека и применяет его, анализируя ссылки, частоту посещений и другие параметры, чтобы определить, какие сайты наиболее посещаемы и продуктивны». В итоге Yahoo приобрело поисковую систему Inktomy в 2003 году.

Поисковая система  AskJeeves была запущена в 1997 году.

Всемогущий Google был запущен так же в 1997 году. Он был запущен Сергеем Брином и Лари Пейджем как часть проекта Стэнфордского Университета. Очень подробно и детально про основание и развитие этой мощной и лидирующей поисковой системы можно прочитать в книге «Прорыв в духе времени» написанной Девидом Вайзом. Книжка очень вдохновляет. Сам личное читал на одном дыхании.

В 1998 начали работать MSN-Search и Open Directory (DMOZ). База Open Directory, если верить информации на ee главной странице, «это самый большой и всеобъемлющий каталог ресурсов Сети. Его данные используют многие поисковые системы, в том числе и Google.

Про историю Российских поисковых систем и детально про каждую стоящую внимание на сегодняшний день поисковую систему будет подробно написано в следующих постах.