Яндекс – как создавался крупнейший поисковик России



Сервисный прообраз

В   1994 году компания “Аркадия” (к тому времени успевшая превратиться в одно из подразделений компании CompTek) создала принципиально новую технологию поиска с учетом морфологии русского языка: словарь, обеспечивавший работу системы, занимал всего 300 килобайт, то есть целиком грузился в оперативную память и работал очень быстро. Несколько лет создатели Yandex работали в основном над локальными поисковыми системами, применявшихся в различных компьютерных справочниках и энциклопедиях.

Впрочем, уже летом 1996 года руководство CompTek и разработчики поисковой системы пришли к выводу, что развитие самой технологии важнее и интереснее, чем создание прикладных продуктов на базе поиска. Исследования рынка показали своевременность и большие перспективы поисковых технологий: так в Рунете и появился Яndex. Показательно, что англоязычное наименование Яндекса расшифровывается как “Yet Another indexer” (Еще Один Индексатор), в то время как Yahoo! – это “Yet Another Highly Officious Oracle” (Еще Один Очень Исполнительный Прорицатель).

Первые продукты серии – локальный поисковки Яндеx.Site и морфословарь Яндекс.Dict – были анонсированы на выставке Netcom’96. Через полгода появился Яndex.CD – приложение, адаптированное для поиска документов на CD-ROM, затем пришел черед Яndex.Lib – полнофункциональной библиотеки для встраивания в различные приложения и базы данных. А еще через полгода стало очевидно, что ничто не отделяет CompTek от создания собственной глобальной поисковой машины. Кстати, объем всего Рунета составлял тогда всего несколько гигабайт.

Сетевое рождение

Официально поисковая машина Yandex.Ru была анонсирована 23 сентября 1997 года на выставке Softool. Основными отличительными чертами системы на тот момент были проверка уникальности документов (исключение копий в разных кодировках), а также ключевые свойства самого поискового ядра Яndex: учет морфологии русского языка (в том числе и поиск по точной словоформе), поиск с учетом расстояния (в том числе в пределах абзаца, точное словосочетание), и тщательно разработанный алгоритм оценки релевантности (соответствия ответа запросу), учитывающий не только количество слов запроса, найденных в тексте, но и “контрастность” слова (его относительную частоту для данного документа), расстояние между словами, и положение слова в документе.

Через два месяца, в ноябре 1997 года, был реализован естественно-языковый запрос: отныне к системе можно обращаться просто “по-русски”, задавать длинные запросы, например: “где купить компьютер”, “генетически модифицированные продукты” или “коды международной телефонной связи” – и получать точные ответы. К слову, средняя длина запроса в Yandex.Ru сейчас составляет 2.7 слова, а в 1997 году она была равной 1.2 слова: тогда пользователи поисковых машин были приучены к телеграфному стилю.

В 1998 году появилась возможность “найти похожий документ” и выделить список найденных серверов, а также провести поиск в заданном диапазоне дат и сортировку результатов по времени последнего изменения. За этот год объем Русского Интернета удвоился, что привело к необходимости оптимизации поисковых механизмов. В 1999 году рост Рунета продолжился, а вместе с ним вырос и Яндекс: новый поисковый робот позволил предоставить пользователям новые возможности – поиск по разным зонам текста (заголовкам, ссылкам, аннотациям, адресам, подписям к картинкам), ограничение поиска на группу сайтов, поиск по ссылкам и изображениям. Кроме того, впервые в Рунете было введено понятие “индекс цитирования” – количество ресурсов, ссылающихся на данный.

На пути к прибыли

Любопытно, что, в отличие от Google, в юридическое лицо Яндекс был преобразован лишь через три года после запуска поисковика. Проинвестировав более 5 миллионов долларов, 37% акций получила компания ru-Net Holdings; в число акционеров вошли также менеджмент и ведущие разработчики поисковой системы. К новообразованной компании перешли все права на торговую марку Яndex и сайт www.yandex.ru, а также на поисковую технологию и семейство одноименных программных продуктов.

Тогда же, в 2000 году, начинается активное продвижение системы в оффлайновых СМИ – так, в апреле на канале НТВ впервые был озвучен слоган компании “Найдется все!” В июне открытием нового дизайна сайта началась “неделя Яндекса”, каждый день которой был посвящен одному из проектов. Тогда были открыты Почта Яндекса, Яндекс.Новости, Яндекс.Открытки и Яндекс.Закладки, а также “аскетический Яндекс” (ya.ru). В том же 2000 году Яндекс стал искать не только по веб-страницам, но и по специализированным (“параллельным”) массивам данных – новостям и товарам. Кроме того, был открыт свой собственный каталог c новым (фасетным) принципом описания ресурсов.

Следующий год стал годом “пожинания плодов”: Яндекс становится лауреатом Национальной Интел Интернет-Премии, получая призы сразу в шести номинациях (в том числе как лучший сетевой сервис и лучшая поисковая система). В апреле уже сама компания учреждает новое интернет-соревнование – Открытый Кубок России по поиску в Интернете, участие в котором принимают более 1000 человек. А летом 2001 года Яндекс (к том времени переехавший в новый офис с собственной серверной) впервые выходит на первое место в Рунете по объему аудитории, обгоняя своего “заклятого соперника” – систему Rambler.

Набирая обороты

Весь 2002 год компания активно развивала коммерческие ресурсы – сперва совместно с PayCash выведя на рынок систему цифровой наличности Яндекс.Деньги, затем открыв собственный торговый центр Яндекс.Маркет, объединивший все разработки в сфере электронной коммерции. Зарабатывая деньги самостоятельно, компания не забывала бороться с теми, кто пытался вести нечестный бизнес на ее имени: домен yandex.com, зарегистрированный неким киберсквоттером, был отобран, а местный почтовый сервис начал фильтровать массовые рассылки (сбрасывая их в раздел bulk mail). Не случайно именно в 2003 году “Яндекс” сообщает о выходе на самоокупаемость. Кроме того, компания – впервые в Рунете! – выплачивает дивиденды своим акционерам.

В 2003 году развитие системы продолжилось: она научилась находить документы не только в формате HTML, но и в форматах RTF, PDF и DOC. Компания заявила, что готова давать каждому жителю страны по одному ответу в месяц – количество ответов Яндекса на поисковые запросы превысило 147 миллионов. Летом служба Яндекс.Новости радикально преобразилась: пользователям был предложен совершенно новый и оригинальный сервис – автоматическое объединение содержательно близких новостей в сюжеты и выделение главных тем дня. Кроме того, компания выпустила новую серию поисковых решений: Яndex.Server, Яndex.Publisher и Яndex.SDK.

2004 год принес “Яндексу” утроение рекламных оборотов. Основной движущей силой стала поисковая реклама (“Купи слова”), которая составила 80% оборота. В этом году существенное внимание было уделено регионам: проект Яндекс.Города привлек много новых партнеров. Кроме того, была проведена “регионализация” проектов – Новостей и Маркета: в 9 городах России прошло 10 семинаров Яндекса, которые посетило более 1000 слушателей. 100 человек были сертифицированы как специалисты по интернет-рекламе.

В том же году поисковая система “Яндекса” научился понимать новые форматы файлов – PDF, DOC, RTF, Flash, XLS и PPT. Среди новых сервисов стоит отметить поиск по блогам и форумам, а также географическим картам. Кроме того, на Яндекс.Почте была внедрена более серьезная защита от спама (“Спамооборона”), а также предложен неограниченный размер почтового ящика (наш ответ Google).

Наконец, именно Яндексу принадлежит честь создания крупнейшей в России сети хот-спотов, объединенных проектом Яндекс.WiFi. Всего лишь за полгода своего существования проект собрал в себе более 50 участников, причем их состав продолжает расти. “Яндекс.WiFi является, по сути, названием модели бизнеса, при котором Интернет в общественных местах бесплатен для пользователя, – говорит Никита Корзун, заместитель генерального директора компании. – Особо следует отметить, что мы не являемся провайдером и не конкурируем с ними, а, наоборот, помогаем строить бизнес. Яндекс выступает в роли координатора проекта, оказывает информационную поддержку, привлекает в проект новых участников”.

На сегодняшний день Яндекс – крупнейший российский портал: его доля среди поисковых машин Рунета составляет около 45%, в то время как идущий следом Rambler может похвастаться лишь 22% (доля Google и того меньше: 12%). Каждый день более 500 серверов компании отдают 2.7 терабайт трафика двум с половиной миллионам посетителей. При этом компания очень быстро растет: каждые три дня на работу принимается новый сотрудник.

Секрет успеха “Яндекса” – в сочетании локальности действий и глобальности мыслей. Многие свои идеи портал перенимает у Yahoo! и Google, однако вряд ли это копирование можно назвать признаком дурного тона. Есть здесь свои словари (lingvo.yandex.ru) с энциклопедиями (encycl.yandex.ru), укрупненная (large.yandex.ru) и уменьшенная версия (pda.yandex.ru), а также само собой разумеющийся каталог ресурсов – yaca.yandex.ru. Впрочем, ряд задумок Yandex уникален – к их примеру можно отнести медитативный поиск (dzen.yandex.ru), где вы найдете все, даже не задавая поискового запроса – за вас это сделают миллионы пользователей Яндекса…

Источник: www.webmastak.com


Заметка опубликована: Понедельник, апреля 11, 2011

Comments are closed.