Description
対象
プログラミング初心者も可です。 スクレイピングしたいサイトがあれば、その場でレクチャーをします。 2/3の「Rubyを使ったスクレイピングワークショップ」のプログラムと同様です。
必要となるもの
RubyがインストールされたノートPC (WindowsでもMacでもLinuxでも可) バージョンは特には問いませんが、2.3以降が無難かと思います。
内容
- 開発環境構築
- open-uriを使ったHTTP取得
- Nokogiriを使ったパース
- ChromeDeveloperツールの使い方
- HTTPヘッダに関して
- AJAX通信内容をみてJSONをパース
- ログインクッキーを使ったスクレイピング
- curlコマンド単体での実験方法
- curlコマンドをrubyソースに変換する方法
- ページングをたどった全件取得
- (上級編)puppeteer を使ったheadless chromeの操作
- (上級編)Charles を使った、スマホネイティブアプリのスクレイピング
一つのクローラーを完成させるところまでやりきります。
場所
代々木村田マンション 711
〒151-0053 東京都渋谷区代々木4丁目28−8
Media View all Media
If you add event media, up to 3 items will be shown here.