Поиск по файлообменникам - что это, зачем и почему мы не слышали об этом раньше
Что такое поиск по файлообменникам и как они работают?
В Интернете доступно огромное количество серверов, работающих по протоколу FTP. (Чем протокол FTP отличается от HTTP/HTTPS, что будет, если заменить начало URL-адреса большинства сайтов - можно прочитать в любом специализированном справочнике, сейчас же интересно рассмотреть поисковики, индексирующие файлы на FTP-серверах).
Так как большинство FTP-серверов хранит данные в свободном доступе, без необходимости ввода логина и пароля, (а если с паролем - то создатели поисковой системы стараются узнать его и предоставить доступ своим пользователям) потому, что не каждый хост определен владельцем как хранилище приватных данных или данных сайта - очевидно, что возникает возможность просматривать и индексировать файлы, лежащие на серверах, допускающих анонимное подключение.
Вот, вкратце, и вся предыстория появление FTP-поисковиков: они «проходят» по доступным серверам, создают базу данных файлов, создают точную копию расположения и иерархического устройства директорий и предоставляют расположение файла в ответ на запрос пользователя с названием, фрагментом или другими параметрами файла, доступными к пониманию поисковой системы. Да, хорошие решения в это сфере ищут по любому фрагменту, доступному внутри файла.
Особенности FTP-поисковиков
Подобные поисковики - это история только про файлы. Без агрессивной рекламы, редиректов, всплывающих окон, внезапных звуков, громоздких фреймов и т.д. Просто ссылки на файлы - и все. Вы получаете комплект файлов, подключаетесь к серверу и загружаете к себе на компьютер нужные вам файлы через FTP-клиент или «проводник».
FTP-поисковики нужны для быстрого поиска, быстрой загрузки и концентрации ресурсов компьютера и пользователя исключительно на поиске файлов - без навязчивой рекламы, всплывающих окон и потери скорости.
Обзор имеющихся решений в области FTP-поиска. Сравнение, описание и тест-драйв
Сразу стоит сказать, что рассматриваемые ниже сервисы - это далеко не полный список решений, доступных в нише поисковых систем, работающих по протоколу FTP, но это список наиболее крупных и мощных сервисов с обширной базой доступных серверов и мощным функционалом поиска.
FileSearch.ru
Проект запущен более 20 лет назад. FS индексирует огромное количество российских FTP-серверов и тысячи зарубежных. Доступны только серверы с анонимным доступом. На момент написания данной статьи, индексная база составляет 31 595 791 файлов общим объемом 51565.6 Gb. Сервис регулярно обновляет индексы и следит за наличием файлов на серверах, что видно при поиске - неактивных ссылок в выдаче практически нет, так как они удаляются из базы индексации в течение нескольких недель
Данный поисковик предлагает искать файлы, каталоги, аудио и видео файлы, изображения и сервера по их именам. Данный сервис поддерживает поиск внутри домена, а также поиск конкретной папки на сервере, поиск по размеру, по маске, по регулярным выражениям или точному фрагменту текста. Кроме того сервис выдает всю информацию о файле и внесенных в него изменениях.
Мамонт
Проект Константина Айги, на который обязательно стоит обратить внимание, так как проект разрабатывал всего один человек с абсолютного нуля.
Во многом функционал этого поисковика совпадает с FileSearch.ru, уступает в количестве проиндексированных файлов, поддерживает обычный веб-поиск по сайтам, а также поиск внутри архивов.
FreeWareWeb.com
На фоне остальных рассмотренных поисковиков выглядит пестрой рекламной доской объявлений, с нелогично составленными блоками и внешне (как и многие другие FTP-поисковики) похож на сайт двадцатилетней давности. По функционалу беднее, чем FileSearch.ru, выдает до 2000 результатов и не поддерживает поиск по регулярным выражениям.
Как уже было сказано выше, это далеко не все имеющиеся решения, позволяющие осуществлять FTP-поиск, а лишь список, состоящий из нескольких крупных проектов, и необходимый для получения общего представления о теме статьи. С появлением файлообменников и развитием таких поисковых гигантов как Google, изолированные FTP-поисковики постепенно уходят в прошлое, становятся заброшенными (частично или полностью) или вовсе уходят в историю развития интернет-технологий.
Скорее всего, буквально через несколько лет поиск по протоколу FTP уйдет в прошлое так как современные поисковые решения уже стирают границы, во всяком случае, для конечного пользователя и умеют находить и текстовые документы, и архивы, и музыку по напеваемому фрагменту, а с помощью нейронных сетей могут догадываться о том, что конкретно хочет увидеть конкретный пользователь на видео. К сожалению, основное преимущество FTP-поисковиков в скорости уничтожается, становится незаметным и неосязаемым с развитием вычислительной мощности, а также технологий индексации и хранения данных. Но, если вам интересен поиск файлов по FTP - теперь вы знаете, куда обратиться.