YaCy

29 Грудня, 2013 2

YaCy (от англ. Yet another Cyberspace, Ещё одно Киберпространство; созвучно с англ. Ya see) – свободно распространяемая децентрализованная поисковая система, построенная по принципу одноранговых сетей (P2P). Есть версии для операционных систем семейства Microsoft Windows, Linux, Mac OS X.

Основной программный модуль, написанный на Java, функционирует на нескольких тысячах компьютеров (по состоянию на 2011 год) участников сети YaCy. Каждый участник проекта независимо исследует Интернет, анализируя и индексируя найденные страницы и складывает результаты индексирования в общую базу данных (так называемый индекс), который совместно используется всеми пользователями YaCy по принципу P2P.

В отличие от частично распределённых поисковых систем, сеть YaCy характеризуется децентрализованной архитектурой. Все узлы эквивалентны и отсутствует центральный сервер. Программа может работать в режиме поискового робота или в качестве локального прокси-сервера, индексируя страницы, посещаемые пользователем (при этом игнорируются страницы с признаками персональных данных – cookies и т. п.).

Доступ к функциям поиска обеспечивается за счёт локально запущенного веб-сервера, который генерирует поисковую страницу с полем для ввода поисковых запросов и возвращает результаты поиска в том же формате, что и другие популярные поисковые системы.

Программа YaCy распространяется под лицензией GNU General Public License. Проект поддерживает европейское отделение фонда свободного программного обеспечения (FSFE).

Проект YaCy был основан Михаэлем Кристеном (нем. Michael Christen) в 2003 году.

Другие функции YaCy

YaCy обеспечивает всех пользователей прокси-функцией, которая позволяет также подключатся к другим узлам по адресу ИМЯУЗЛА.yacy или ИМЯХЕША.yacyh. www.ИМЯУЗЛА.yacy может быть главной страницей пользователя, под share.ИМЯУЗЛА.yacy находится файлообменник, а ИМЯУЗЛА.yacy это стандартный интерфейс доступа.

Другие поддомены могут быть специально созданы путём создания папки с именем поддомена. Динамический DNS не поддерживается.

Кроме .yacy-домена, YaCy предоставляет возможность создавать домашнюю страницу и папки, которые могут быть связаны с текущим IP или адресом динамического DNS и доступны для не YaCy пользователей.
YaCy имеет встроенную функцию передачи сообщений с помощью которой можно отправлять текстовые сообщения (с форматированием вики), и, в зависимости от настройки приёмника, также отправлять файлы.
YaCy имеет встроенные вики и блог.
Есть управление закладками, которые могут быть общедоступными и личными.
Есть возможность внесения отдельных областей в чёрные списки.
Есть OpenSearch-интерфейс.

Каждый узел обеспечивает доступность его по адресу http://<адрес-узла>:<порт-узла>/opensearchdescription.xml, например http://sciencenet.fzk.de:8080/opensearchdescription.xml. Чтобы добавить вашу персональную поисковую систему YaCy в список поисковых систем Mozilla Firefox нужно открыть этот XML-файл в браузере и сохранить его в папку “searchplugins”, а затем перезаупустить Mozilla Firefox.

Преимущества YaCy

Совместный поиск может быть осуществлён с YaCy практически всегда: всегда есть часть сети, которая будет доступна.
Интернет-пользователи поисковика YaCy независимы от компаний, их рейтинга (который надо заработать) и их цензуры.
Программное обеспечение с открытым исходным кодом, распространяемое по лицензии GNU General Public License и является бесплатным.
При использовании прокси‐сервера клиента, он может просканировать страницы из глубокой паутины или неиндексированных сетей общего пользования (таких, как I2P), которые не могут быть проиндексированными обычными пауками, такими как в Google, Yahoo! или Bing.
YaCy не обязательно связан с участием в общественном YaCy-кластере и может, таким образом, быть использованным в качестве поисковой системы в частных сетях (таких, как внутренняя сеть компании) или в частных поисковых сервисах (и индексах) определённой группы страниц.

Недостатки YaCy

Спамеры, теоретически, могут запускать свои узлы, возвращающие спам в качестве результата.

Поэтому клиент имеет функцию проверки страниц на наличие искомого текста.

Из‐за того, что YaCy необходимо связаться с другими узлами для запроса, и из‐за упомянутой выше (необязательной) проверки достоверности результатов, поиск занимает больше времени, чем в традиционных поисковых системах.
Протокол YaCy организован с использованием индивидуальных HTTP-запросов, что влечет за собой большие задержки, чем при использовании UDP или TCP с постоянным подключением.
В общественной сети «freeworld» для поиска по Всемирной паутине в настоящее время представлено относительно мало «активных» «старших» узлов (хранящих накопленный поисковый индекс и отвечающих на поисковые запросы от других узлов), и они могут выдать относительно немного результатов по сравнению с крупными поисковыми машинами.

На один узел приходится до нескольких десятков миллионов записей, поэтому их полное перемещение между узлами занимает значительное время, и резкое выключение или добавление значительного количества узлов может временно ухудшить качество сети для некоторых поисковых запросов, как это произошло после выпуска версии 1.0 в ноябре 2011 года, когда количество участников быстро увеличилось примерно до 4000 или 1000 (позже оно несколько уменьшилось, оставшись в несколько раз большим, чем до выпуска версии 1.0). Чем больше узлов находится в сети, тем меньше данных хранится на каждом узле относительно размера индекса, и тем меньше влияние на сеть изменения количества узлов. В начале марта 2012 года «активными» были около 1/6 одновременно работавших узлов.