Что нужно знать о поисковых машинах, каталогах и прочем, чтобы вашу страничку/сайт/портал посещали не только спам-роботы, но и реальные люди?
Этой теме посвящено множество работ в Сети, но тем не менее, вопросы у новичков (да и у бывалых "сетевиков") появляются снова и снова.
Прочитывая форумы, частенько натыкаешься на очень занятные, интересные и полезные посты. Например, читая форум "конкурирующей" CMS PostNuke, я наткнулся на весьма интересный материал от автора под ником mactep, посвященный работе известного открытого каталога Open Directory (DMOZ.ORG), и размещению ссылок в нем.
Исходный текст слегка подредактирован и дополнен, для соблюдения формата статьи/мануала и для более легкого понимания. (Также использованы цитаты parrot`a и TAndrew. Надеюсь, они на меня не обидятся.)

Google Directory (Open Directory) и Dmoz.org - это одно и то же. Вернее, наоборот. Dmoz.org - это каталог, которым пользуются многие поисковики.

DMOZ.ORG - огромный онлайн-каталог сетевых ресурсов; наверное, самый крупный в Сети. В России, а точнее, в Рунете, он до недавнего времени был не столь популярен. Даже можно сказать, что о его существовании знали единицы, связанные с Сетью по работе.
    С приходом же в Рунет Гугла (Google.ru) ситуация изменилась. Конкурируя с такими "монстрами" Рунета, как Яndex и Rambler, Гугл вышел на лидирующие позиции среди поисковых машин (сугубо личное мнение, Alecfyz). И теперь веб-мастерам добавилась еще одна "головная боль", - сделать так, чтобы "понравиться" Гуглу. Но на самом деле, это совсем даже не головная боль. Гугл замечательно (имхо, - лучше всех остальных поисковиков) работает с динамическими ссылками типа index.php?option=component (Mambo). Кроме того, это единственный поисковик, умеющий искать в документах формата pdf.

    Откуда поисковые машины берут адреса для поиска?

1. Роботы. Робот, он же - бот, он же - спайдер (spider - паук [eng] ): специальная программа, "живущая", как правило, на выделенных серверах, которая ходит по сайтам и "смотрит" их, подобно обычному пользователю, с той лишь разницей, что все "увиденное" проходит четкую фильтрацию и запоминается в базе данных. Далее уже собственно поисковый сервер просто использует эти данные, чтобы ответить на поисковый запрос пользователя. (Не думали же вы, что тот же Яндекс или Гугл шерстят весь интернет каждый раз, когда вы просите их найти вам реферат по химии ;)  ).
   
2. Автор сайта сам добавляет свой сайт в поисковую базу. Например, для Яндекса форма регистрации ресурса находится здесь: ссылка, для Гугла и для Рамблера - соответственно ссылка #1 и ссылка #2.
3. Немаловажную роль в определении релевантности страницы для поисковиков имеет факт ее нахождения в различных каталогах. Для Яндекса это Яндекс.Каталог, для Рамблера - Top 100, а для Гугла - Open Directory Project.

    Вот на последнем и остановимся более подробно.
(под словом "директория" далее подразумевается Open Directory, он же - dmoz.org)
     

Из директории и правда приходит очень мало посетителей, но... данными директории пользуются тысячи сайтов по всему миру, дублируя ее контент, начиная от самого Google и заканчивая тем, что многие поисковики ценят ссылки на ваш ресурс в DMOZ выше других ссылок, даже если GooglePR (то же самое - по-русски) страницы в DMOZ невелик. Хотя даже самый маленький там в районе 5-6. Теперь о том, как попасть в DMOZ.
Дело в том, что в DMOZ попасть и правда нелегко, если делать это стандартным, привычным для нас способом. Но это вполне возможно, и в достаточно приемлемые сроки, если делать это грамотно.

Вот несколько советов:

1) Прежде чем добавить ваш ресурс, изучите структуру DMOZ и найдите раздел ТОЧНО соответствующий вашему ресурсу.
2) Обязательно изучите структуру описания ресурсов, уже размещенных в DMOZ. Постарайтесь создат ьсвое описание в соответствием с духом и стилем описаний в соответствующем разделе DMOZ. Этим вы упрощаете работу редактора. Если редактор видит идеально (с точки зрения DMOZ) описанный ресурс — учитывается все: нерекламный характер описания, отсутствие цен, телефонов и других цифр, слов типа "лучший", "самый", "единственный" и других субъективных суждений — редактор может смело добавить ресурс нажатием одной кнопки. Так как большинство субмиттеров не делают ничего подобного перед добавлением ресурса, редактору приходится тратить свое время, а все они работающие люди, уделяющие редактированию DMOZ крохи своего ценного времени. На то, чтобы полностью переформатировать описание — сделать это за субмиттера — уходит у каждого редактора по разному, но больше чем 2–3 минуты, а это, поверьте мне, — целая вечность, когда речь идет порой о десятках ссылок, добавленных в определенную категорию DMOZ.
3) Далее. Вы учли все выше перечисленные шаги и отформатировали свое описание в стиле и духе DMOZ (кстати, за нарушение стиля и духа директории редактор после пары предупреждений лишается права редактировать в DMOZ). Далее вы подаете свою ссылку на рассмотрение. Следует учитывать, что редактор имеет право заглядывать в подотчетную директорию не реже, чем раз в четыре месяца... что это означает, вы и сами понимаете. Не буду вас расстраивать. За каждым подразделом следит более десятка пар глаз, поэтому ваша ссылка будет замечена раньше, чем до нее порой дойдет редактор раздела, так вот, существует следующий шаг, который поможет вам ускорить процесс добавления ссылки.
4) Не раньше чем через 2-3 недели после добавления вами ссылки по всем правилам и в ТОЧНО соответствующий раздел вы можете заглянуть на форум DMOZ, где в праве поинтересоваться процессом рассмотрения предложенной вами ссылки. Вот адрес русскоязычной ветки форума: http://resource-zone.com/ Советую вам хорошо изучить стиль подачи запроса о статусе размещения сайта в DMOZ, тот стиль общения, который дает положительный результат. Вкратце, это очень вежливое ненавязчивое обращение к сообществу редакторов с вопросом: "Две недели назад я предложил такой-то ресурс на рассмотрение в такую-то категорию. Не подскажите ли вы мне, уважаемые редакторы, судьбу моей заявки". Или что-то в этом роде. В форуме публикуются также ответы редакторов с подтверждение добавления или причин оклонения ресурса, поэтому, прежде чем подавать запрос, вы можете сами убедиться, какой стиль обращения приносит плоды.
5) Если редактор ответил вам, что ресурс не соответствует определенным требования каталога, не спорьте, поинтересуйтесь, как можно исправить недочеты. Зачастую ресурс не может быть принят не по персональному решению редактора, а в соответствии с правилами, стилем и структурой каталога DMOZ. Например: не принимаются сайты under construction, подавайте только готовый действующий ресурс с хорошим контентом (хороший контент — не набор AdSense boxes по разным тематикам).
В любом случае, после дружелюбного общения с редактором, я уверен, вам удастся попасть в DMOZ, а это принесет свои плоды, и не заходами из каталога, но включением в такие поисковоки как Nуеscape Search, AOL Search, Google dirrectory и кучу других, а также в более высоком рейтинге вашего сайта практически во всех зарубежных поисковиках. Нарушая любой из выше перечисленных шагов, срываясь на редактора или вопросы типа: "Блин, а чиво сайт этого ламера внесли в каталог аж два раза, а мой нет?! " отложат вашу регистрацию на неопределенный срок, который может исчисляться годами наработки практики ведения успешных переговоров.

P.S.: Все советы основаны на личном опыте регистрации (после первой подачи заявки я ждал полтора года, после второй, грамотной, 2 недели), а также на опыте профессионального общения с редакторами отечественных и зарубежных СМИ.

P.P.S.: Повторную заявку на включение в DMOZ (в соответствии со всеми выше перечисленными рекомендациями) стоит подавать не раньше чем через 2 месяца после первой, сравните с подачей запроса статуса вашей заявки: 2–3 недели.

Для русскоязычного сайта в списке поисковиков, с которых приходит народ, Гугл стоит на 2-4 месте (1-е место обычно Яндекс или реже Рамблер), так что игнорировать его нельзя.
В любом случае стоит хотя бы попробовать добавить свой ресурс в DMOZ; тем более, у вас теперь есть практическое пособие для этого ;)

Удачи.