Библиотека WebWalker : Программирование для всех. Языки программирования, программирование баз данных, технологии. Статьи для програмиста скачать бесплатно учебники книги документация форум : Статьи

Данная библиотека предоставляет возможность обхода на сайте всех ссылок. Таким образом, используя эту библиотеку Вы сможете проанализировать рекурсивно весь сайт.

Основные преимущества:

Простота в использовании
Отказоустойчивость
Возможность ускорения обхода ссылок путем размножения процессов

Требования:

Perl, MySql
Библиотеки DBI, DBD::MySql, LWP::Simple, LWP::UserAgent, HTML::LinkExtor

Как видно из требований, библиотека WebWalker работает с базой данных MySQL, это связано с тем, что библиотека хранит все необходимые данные для обхода сайта в таблице базы данных.

Пример использования:

use WebWalker;

%params = (
-dbName => 'WebWalk',
-dbHost => 'localhost',
-dbLogin => '',
-dbPasswd => '',
-dbTable => 'links',
-ContentProcess => &ContentProcess,
-LinkProcess => &LinkProcess,
-ProxyServer => 'http://192.168.50.75:3128',
-Timeout => 300,
-Proxy => 'yes',
-URL => 'http://volph.appua.com'
);

Init(%params);

while(1) { Process(); }

sub ContentProcess {

print @_[0];

}

sub LinkProcess {

print @_[0]."n";
return @_[0];
}

Как видно из примера, необходимо инициализировать несколько свойств и событий, а затем циклически вызывать процедуру Process().

Рассмотрим подробнее свойства и события:

-dbName - название базы данных (БД)
-dbHost - ip-адрес расположения БД
-dbLogin - логин БД
-dbPasswd - пароль БД
-dbTable - таблица БД, в которой библиотека будет хранить свои данные, для каждого сайта необходимо указывать разные имена
-ContentProcess - указатель на событие (процедуру), которое вызывается при получении контекста HTML-страницы, в качестве параметра данному событию передается собственно сам контекст страницы
-LinkProcess - указатель на событие (функцию), которое вызывается при нахождении в HTML-странице URL-адреса в теге <a>. В качестве параметра, передается значение атрибута href тега <a>. Если событие возвращает пустое значение, значит данная ссылка не будет обрабатывать библиотекой для обхода, иначе необходимо возвращать правильный HTTP- адрес
-ProxyServer - адрес прокси-сервера в виде http://address:port
-Timeout - таймаут в секундах
-Proxy - использование прокси-сервера (yes/no)
-URL - HTTP-адрес сайта, который необходимо рекурсивно обойти

СОВЕТ
Для ускорения процесса обхода всех ссылок на сайте, необходимо запустить параллельно несколько скриптов.

Если у Вас возникли какие то вопросы или предложения, пишите по адресу volph@appua.com. По вопросам приобретения данной библиотеки обращайтесь также по адресу volph@appua.com, оплата символическая или возможно Вы получите ее бесплатно. Александр Кулик

HTML 5: пять вещей вызывающих особый интер....

HTML 5 — это грядущее обновление гипертекстового языка разметки, основного способа создания контента для размещения его во всемирной паутине. Разработка HTML остановилась в 1999 году, на версии HTML 4.01 и с тех пор web-содержимое изменилось так, что текущие спецификации HTML перестали соответствовать сегодняшним требованиям. HTML 5 нацелен на то, чтобы увеличить функциональную совместимость HTML и соответствовать растущим требованиям разнообразного и смешанного web-контента. HTML 5 так же нацелен на устранение недостатков четвертой версии. В этой статье мы взглянем на 5 новых интересных вещей в HTML 5.

Элемент управления ListView был представлен в .Net Framework 3.5 как замена устаревшему GridView. Новый элемент имеет более расширенный функционал, чем его предшественник, но в тоже время лишен некоторых внутренних механизмов, что впрочем целиком следствие из расширенной универсальности ListView. Среди отличий ListView и GridView можно назвать и гибкую настройку разметки, что позволяет выводить данные не только в табличном виде, но и вообще в любом каком пожелает программист. Благодаря шаблонам ItemTemplate, EditItemTemplate, InsertItemTeplate можно настроить внешний вид при любом из состояний ListView: редактировании или выборе элемента.

Компания Стимулсофт предоставляет для разработчиков мощный набор инструментов для создания отчетов для Microsoft Visual Studio .Net 2005 и 2008; эти инструменты доступны как для Windows Forms, так и для Web Forms. Это генератор отчетов Stimulsoft Reports.Net. Генератор отчетов Stimulsoft Reports.Net имеет ряд особенностей: простая работа с дизайнером отчетов, полная поддержка экспорта в PDF, Word, Excel и многие другие форматы. Crystal Report и Microsoft Reporting Service – очень хорошие программные продукты для повседневной работы, но, если Вам необходимо создать отчеты с поддержкой кросс-табов, drill down, Ajax, штрих-кодов и возможностью подключения одновременно более одного источника данных, то Stimulsoft Reports.Net поможет Вам сэкономить массу времени. Также, данный генератор отчетов позволяет пользователям создавать свои собственные отчеты любой сложности. И все эти особенности делают Stimulsoft Reports.Net хорошим выбором в сфере программных продуктов для Business Intelligence.