【Python】Scrapyを使った、スクレイピングのチュートリアルが公開 ~ indeed.comの求人情報をスクレイピングする

9月13日、「How to Crawl the Web with Scrapy」が公開された。

この記事はPythonのScrapyを利用して、indeed.comの求人情報をスクレイピングするチュートリアルになっている。
Webスクレイピングとは、公開されているウェブサイトからデータをダウンロードするプロセスのことである。
APIや公開データがない場合にも、データを取得することができる。

スクレイピングの例として、以下のようなものがある。

ただし、Webスクレイピングは利用規約に違反する恐れがあるので、注意が必要だ。

「免責事項：indeedのWebスクレイピングは、同社の利用規約に違反しています。この記事は、教育目的のためにのみ用意されています。Webサイトをスクレイピングする前に、必ず利用規約を読み、robots.txtのガイドラインに従ってください。」

このチュートリアルでは環境構築からスクレイピング、データの保存を取り上げている。

Webクローラーを書くためにscrapyを使用すると、ウェブページからデータを解析して保存するという最初のステップを通過することができる。
これは、Webクローリングのデータに依存するプロジェクトの最初の構成要素だ。

データを取得した後は、そこから必要な価値を抽出することができる。
例えば、スクレイピングされたすべてのウェブサイトを、独自の基準でソート、フィルタリングして表示するウェブサイトを作ったり、キーワード検出を利用して、自分が最も興味を持っているリストを作れたりする。

このチュートリアルのすべてのコードを含むpythonファイルはここからダウンロードが可能だ。