UrlChecker v1.0

Thursday, December 13, 2007 14:58
Категория: release

Простой скрипт для чека списка юрлов на валидность.
Для работы требуется наличие интерпритатора языка Python (www.python.org).
Скрипт тестировался под версией Питона 2.5 и ОС WinXP and FreeBSD

Запускается из командной строки:

python check.py page_db.txt text_search
python check.py guest.txt

Первый параметр база юрлов, одна строка один url.
Второй параметр - текст наличие которого на странице переводит страницу в ранг “хороших” :)

Результаты сохраняются в файлы (на каталог со скриптом права 777):

good_file = “good_urls.txt”
bad_file = “bad_urls.txt”

Какой из них что значит, думаю, не стоит объяснять ;)

Скрипт по умолчанию работает в 10 потоков, но думаю это число можно без проблем увеличить
до 20, 30, 50 и т.д., сколько сервер выдюжит и канал.
Параметр в скрипте - thread_count = 10 #Кол-во потоков используемых в скрипте для чека юрлов

Для чего это надо?
Возможно вам это и не надо,если перед вами не встаёт задачи быстро проверить
большую базу юрлов на живучесть или на пробив после рассылки, даже хотябы на
наличие формы на странице. Данный скрипт такое выполняет с лёгкостью,в отличие
от бедного SpamIt-а или VIP-а, их задача состоит не в том чтобы тратить время
на обработку страниц без форм,а совсем в другом. ;)

Скачать

Комментарии (10)

  1. buy viagra

    13 December 2007 в 8:02 pm

    Спасибо за энтузиазм :-)

  2. UrlChecker : Блог Молчуна

    17 December 2007 в 12:42 am

    [...] Для чего это надо? Возможно вам это и не надо, если перед вами не встаёт задачи быстро проверить большую базу юрлов на живучесть или на пробив после рассылки, даже хотя бы на наличие формы на странице. Данный скрипт такое выполняет с лёгкостью, в отличие от бедного SpamIt-а или VIP-а, их задача состоит не в том чтобы тратить время на обработку страниц без форм, а совсем в другом Дальше [...]

  3. Geek

    21 December 2007 в 3:22 am

    Спасибо, полезный скриптик. Самое главное - шустрый

  4. Psixo

    21 December 2007 в 7:01 pm

    Шустрый то шустрый,если его на дедике пускать, но некоторые проблемы с ним есть. Скоро будет пофиксенная версия с оптимизированной многопоточностью, в данной вариации съедается много оперативки.

  5. bers

    26 December 2007 в 1:56 pm

    Жду новую версию :)

  6. Энди

    7 January 2008 в 2:41 pm

    Быстро, просто, эффективно.
    Пошёл просить хостера включить python на моём аккаунте…

  7. Влад

    19 January 2008 в 9:51 pm

    А у меня есть питон. Строчки - работают :)
    Осталось с самим языком разобраться. Говорят, с фрейморком (забыл как называется) питоновым, сам питон намного интереснее, чем просто питон?

  8. escort

    25 January 2008 в 10:02 pm

    Идейно!

  9. Artur

    3 March 2008 в 11:47 am

    Версия на рапидшаре 0.0.2 или 1.0?

  10. Берия

    3 March 2008 в 1:34 pm

    новая 2я версия!

Оставить комментарий

Вы можете оставить комментарий или трекбэк с вашего сайта.