История поисковых систем: от появления до современности

С развитием технологий появился поток онлайн-информации, которую нужно было организовать и проиндексировать эффективным образом, чтобы ее поиск был несложным и полезным.

Хотя доктор Ванневар Буш, директор Управления научных исследований и разработок в США, в 1945 году разработал каталог или базу данных для мировых данных, только в 1990 году первая поисковая машина, Archie, была изобретена Аланом Эмтаджем. Он родился из школьного проекта и индексировал файлы FTP (протокол передачи файлов) на основе текста. Открытие нескольких других ранних поисковых систем описано ниже:
Archietext был создан группой из шести студентов Стэнфордского университета в феврале 1993 года. Позже он превратился в поисковую машину Excite, которая была официально представлена в 1995 году. Она работала, сортируя онлайн-информацию / контент на основе найденных в нем ключевых слов.
World Wide Web Wanderer, позже названный Wandex , дебютировал в июне 1993 года под руководством Мэтью Грея.
Aliweb был запущен в октябре 1993 года Мартином Костером и разрешал отправку веб-страниц их владельцам.
В декабре 1993 года были открыты три поисковые системы — World Wide Web Worm, RBSE spider и JumpStation — которые использовали веб-роботов для сканирования различных сайтов.
1994 был большим годом, когда были запущены четыре популярных поисковых сервера, а именно Yahoo, Alta Vista, Lycos и Infoseek .
AskJeeves был представлен миру в апреле 1997 года, а позже стал известен как Ask.com.
Домен Google.com был зарегистрирован в сентябре 1997 года.
В 1998 году создатели Google Сергей Брин и Лоуренс Пейдж опубликовали статью под названием «Анатомия крупномасштабной гипертекстовой поисковой системы» в рамках своего исследовательского проекта во время учебы в Стэнфордском университете. В нем они написали: «Преобладающая бизнес-модель для коммерческих поисковых систем — это реклама. Цели рекламной бизнес-модели не всегда соответствуют обеспечению пользователей качественным поиском». Это было то, что многие считают историческим моментом, поскольку они продолжили разработку PageRank, технологии, которую Google использовал для оценки соответствия веб-страницы поисковому запросу и ее ранжирования. Здесь важно отметить, что это было основано на качестве контента, а не только на ключевом слове поиска.
Хотя Yahoo был результатом проекта трейлера кампуса, созданного создателями Дэвидом Фило и Джерри Вангом, вскоре он получил известность как каталог полезных сайтов и интернет-закладок. Веб-издатели будут выставлять свои веб-страницы на проверку, чтобы они могли их проиндексировать и сделать доступными для поисковиков во всем мире.

В 2000 году Yahoo совершила стратегическую ошибку, заключив партнерское соглашение с Google для управления своим обычным поиском. Это, в свою очередь, привело к тому, что каждый результат поиска имел тег «Powered by Google», что привлекло внимание многих пользователей Yahoo. Таким образом, Yahoo помогла Google написать сценарий своей истории успеха, предоставив ему раннюю стартовую площадку на рубеже веков.

Здесь важно отметить, что неоспоримый успех Google объясняется многими причинами. До 2000 года веб-сайты ранжировались на основе многих ныне устаревших и неадекватных методов крошки хлеба (веб-ссылки, указывающие на структуру вашего сайта) и содержимого на странице, среди прочего. Однако Google проанализировал как на странице, так и за ее пределам и перед определением рейтинга веб-страницы в ее поисковой выдаче. Специалисты по SEO по всему миру неверно истолковали это и посчитали, что ссылки — это главное в получении хорошего места в поисковой выдаче Google. Создание ссылок стало широко распространенной тактикой «черной шляпы», которой в ближайшие годы занялся Google. Панель инструментов Google была запущена как дополнительная функция в Internet Explorer и показывала веб-издателям их рейтинг PageRank — меру важности веб-страницы.
Помимо вышеупомянутых отличительных черт, которые сделали его легендарным поисковиком информации, Google всегда имел репутацию поставщика частых и меняющих правила игры обновлений, наиболее важными из которых являются следующие: Обновление Jagger в 2005 году гарантировало, что текст привязки больше не был важным фактором при определении рейтинга веб-страницы. Это также помогло Google добиться больших успехов в пресечении обмена случайными, непрошенными ссылками.

Обновление Panda 2011 года было введено для решения проблемы контентных ферм, то есть веб-сайтов, которые производили некачественный, неоригинальный и автоматически сгенерированный контент и зарабатывали деньги на рекламе. Это обновление заслуживает особого упоминания, поскольку после многих изменений в течение длительного периода времени оно было включено в основной алгоритм Google.

В 2012 году было выпущено обновление Penguin , направленное на борьбу с сомнительными мерами по рассылке спама, которые включали в себя подозрительные шаблоны ссылок на веб-сайтах в сочетании с текстом привязки, содержащим ключевые слова, по которым веб-издатели намеревались получить высокие рейтинги.