Gungho::Manual::Intro.ja - 高性能クローラーフレームワーク
use Gungho; Gungho->run(\%config);
一般的にWebクローラーは(1)ページを取得する (2)解析する を永続的に行う ものですが、この一連の動作の中にrobots.txtの処理やスロットリング等、 複数のクローラーを開発しているとその度に繰り返し実装し直す必要のある部品が 多々あります。
Gunghoはそれらの機能をなるべくフレームワーク側で吸収し、アプリケーション開発者 はクローラーの基本部品の事は考えずにそのアプリケーション独自の仕組みの開発に 専念できるよう開発されたWebクローラーフレームワークです。
0.09xxxバージョンでは基本機能はほぼかたまり、1.00000に向けてインターフェースや 細かいユーザビリティの面での改善を見据えて開発が進んでいます。
Gunghoについて、設計思想、基本的な構成等
簡単なクローラーの作成方法等、チュートリアル
よくある質問等
これから開発が予定されている部品、機能。
1 POD Error
The following errors were encountered while parsing the POD:
=over without closing =back
To install Gungho, copy and paste the appropriate command in to your terminal.
cpanm
cpanm Gungho
CPAN shell
perl -MCPAN -e shell install Gungho
For more information on module installation, please visit the detailed CPAN module installation guide.