ただいま整理中。
Blogspot (Blogger?) に移行しました!
タイムライン | 技術系 | TIPS | ライフハック系 | その他 | 左記カテゴリ以外は、右の欄の下のタグクラウドへ!
.

2010年10月07日

Ruby関連 HTML/Webスクレイピング・ライブラリ・レビュー

※[ブックマーク]ボタンの中に delicious, reddit, digg, Google+(G+) のボタンもあります。

HTML/Webのスクレイピング処理の観点から、有名どころのRubyのライブラリについて、現状(2010年10月時点)を調査した。調査項目は凡例に示すとおりである。ライブラリの比較・選定に際して、判断のひとつの材料として資することを、期待している。


なにかご意見がありましたら、お気軽にコメントをどうぞ。
2014-05-06追記: 新しいのはこちら→2014年版





《スポンサードリンク》

■凡例



  • ■の次に、ライブラリ名 (現時点(2010年)でのバージョン)を記す

  • desc に、ライブラリの目的・機能仕様などの説明を記す

  • update に、ライブラリの更新期間を記す。ここで、yyyy-と記されている場合、yyyy年から現時点でも更新されていることを表す

  • url には、ライブラリのHPを記す。特にない場合、また情報が不足している場合は、補うに足るurl(ソースコードのurl)を追記している

  • ライセンスには、配布条件等のライセンスを記す

  • ソースコードには、ライブラリの格納場所のurlを記す

  • インストールには、ライブラリのインストール方法を記す

  • コメントには、補足の情報、私見などを記す


■Hpricot (0.8.2)


desc:
Hpricot は、非常に柔軟なHTMLパーサーで、田中 哲(TANAKA, Akira)の
HTree とジョン・レッシグ(John Lessig)の jQuery に基づいている。しかし、
コード・スキャナは、C でコーディングし直された。


update:
2006-


url:
http://hpricot.com/
http://github.com/hpricot/hpricot


ライセンス:
MIT License (see http://github.com/hpricot/hpricot/blob/master/COPYING )


ソースコード:
github:
http://github.com/hpricot/hpricot
http://github.com/hpricot/hpricot/wiki


rubyforge:
N/A


インストール:
gem install hpricot


コメント
多くの派生ライブラリを持つHTMLパーサー。webスクレイピングにも使うこと
ができる。
以前の公式サイト(http://code.whytheluckystiff.net/hpricot/)は、リン
ク切れである。


田中 哲氏のhtreeは、 http://www.a-k-r.org/index.html からたどることがで
きる。


■Mechanize (1.0.0)


desc:
Mechanizeライブラリは、webサイト間のやり取りを自動化するために
使用される。Mechanizeは、自動でクッキーを格納して送信、リダイレクトを
フォローし、リンクをたどったり、フォームをサブミットsubmitできる。フォーム・フィ
ールドは増やしたり、サブミットできる。また、履歴となった訪れたサイトを
調査する。


update:
2005-


url:
http://mechanize.rubyforge.org/mechanize/
http://mechanize.rubyforge.org/mechanize/Mechanize.html


ライセンス:
GPL 2 (http://mechanize.rubyforge.org/mechanize/LICENSE_rdoc.html )


ソースコード:
github:
http://github.com/tenderlove/mechanize


rubyforge:
http://rubyforge.org/projects/mechanize/


インストール:
gem install mechanize


コメント:
Andy LesterによるPerlの同名のライブラリ:Mechanize の強い影響のもとに開
発された。webスクレイピングのためのライブラリである。
ruby 1.8.6 と nokogiri に依存している。


インストール時に、エラーが発生するという報告がWeb上に散見される。この場合、gemとRailsの更新等が事前に必要とのこと。
※追記2010/12/7:バージョン1.0.0では、Hpricotではなく、Nokogiriを使用するようになっているようだ。


■ScrAPI toolkit for Ruby (1.2.0)


desc:
CSSセレクタと選択 => 抽出 => 格納 処理ルールを使ったスクレイパーを書く
ためのフレームワーク。


update:
2006-2008


url:
http://blog.labnotes.org/tag/scrapi/


ライセンス:
MIT License (http://github.com/assaf/scrapi/blob/master/MIT-LICENSE )


ソースコード:
github:
http://github.com/assaf/scrapi


rubyforge:
http://rubyforge.org/projects/scrapi/


install:
gem install scrapi


コメント:
少し情報が古い(2007年)が、このような意見もあった:“Web scraping in
Ruby: why I had to use scrAPI instead of WWW::Mechanize and Hpricot”
http://blog.bigsmoke.us/2007/05/02/scrapi-wins-over-mechanize-and-hpricot-for-web-scraping-in-ruby


開発は、止まっているようだ。


■scRUBYt! (0.4.06)


desc:
scRUBYt! は、Rubyで記述された、シンプルだがパワフルなwebスクレイピング・
ツールキットである。目的は、webページ・クローリング、HTMLタグ・属性・
XPath・フォーム名のルック・アップ処理の超めんどくささ、また、その他Web
ページまたはFirebugから直接コピペしたようなサンプルからこれらを理解
するような、典型的な低レベルなwebスクレイピングから、あなたをフリーに
することである。


update:
2007-


url:
http://scrubyt.org/
http://scrubyt.rubyforge.org/files/README.html


ライセンス:
GPL 2 (http://github.com/scrubber/scrubyt/blob/master/COPYING )


ソースコード:
github:
http://github.com/scrubber/scrubyt


rubyforge:
http://rubyforge.org/projects/scrubyt/


インストール:
gem install hpricot
gem install mechanize
gem install scrubyt


コメント:
hpricot と mechanize (選択的に、AJAXのスクレイピングにFireWtir)に依存
している。


■nokogiri (1.4.3.1)


desc:
Nokogiri は、libxmlラッパーである。Nokogiri は、XPathやCSSの検索のため
のインタフェースを持ち、また、HTML, XML, SAX, そしてReaderパーサーの機
能がある。Nokogiri は、Hpricotの寄り道リプレイスメントでもある。


update:
2008-


url:
http://nokogiri.org/


ライセンス:
The MIT License (via http://nokogiri.org/ )


ソースコード:
github:
http://github.com/tenderlove/nokogiri/


rubyforge:
http://rubyforge.org/projects/nokogiri/


インストール:
gem install nokogiri


コメント:
この中で、一番包括的な機能を持つパーサー。もちろん、webスクレイピングに
も使うことができる。




posted by もふもふ at 23:28 | ロンドン | Comment(0) | TrackBack(0) | カテゴリ: 技術 | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント: [必須入力]

※ブログオーナーが承認したコメントのみ表示されます。

この記事へのトラックバック
トラックバックURLは,"Trackback(x)"のリンクを押すと表示されます.
×

この広告は180日以上新しい記事の投稿がないブログに表示されております。