お知らせ【メンテナンスのお知らせ】4月25日(木)10:00から1時間半ほど、メンテナンス作業を予定しております。作業の間はconnpassのご利用が出来ません。ご迷惑をおかけしますが何卒ご了承ください。

お知らせ connpassではさらなる価値のあるデータを提供するため、2024年5月23日(木)を以ちましてイベントサーチAPIの無料での提供の廃止を決定いたしました。
2024年5月23日(木)以降より開始予定の「connpass 有料API」の料金プランにつきましてはこちらをご覧ください。
なお有料の対象となるのはAPIのみであり、connpassのサービスにつきましては今後も無料でご利用いただけます。

12月

20
【速習講座】Rubyでクローリング&スクレイピングをしよう懇親会アリ♪【初心者ok】
初心者歓迎 Rubyでスクレイピングを試してみます自動でデータを収集出来るので様々な応用ができます

主催 : 株式会社X-HACK

ハッシュタグ：#xhandson

募集内容	参加枠 2000円（会場払い）先着順 7/10人
申込者	申込者一覧を見る
開催日時	2018/12/20(木) 19:45 ～ 22:00 Googleカレンダー icsファイル
募集期間	2018/11/24(土) 19:07 〜 2018/12/19(水) 23:00まで
会場	Impact HUB Tokyo (会議室WHITE) 東京都目黒区目黒２丁目１１−３マップで見る会場のサイトを見る

イベントの説明

資料

https://paper.dropbox.com/doc/Ruby--AUCcc4WThepYZsrM3zrvk4~BAg-9187zpyyGMc8aTvaRBifX

重要なお知らせ

お間違えのないようにお気をつけください

このイベントで出来るようになること

少しのコードとちょっとした工夫で、Webサイトから自動でデータ収集ができるようになります
Rubyの基礎構文が理解できるようになります

スクレイピング、クローリングとは？

クローリングとは複数のウェブサイトのリンクをなぞってウェブページを探すこと
それを行うプログラムをクローラーと呼ぶ
スクレイピングとはウェブサイトのHTMLから必要なデータを取得すること
それを行うプログラムをスクレイパと呼ぶ

やること

Rubyとは？
HTMLの文書構造の解説
Rubyの環境構築
スクレイピングに必要なライブラリのインストール
スクレイピングをしてみる
コードの解説
セレクタの解説

対象

プログラミング初心者向けです
誰でもOKですが、PCを持参してください
最低限のキーボード操作ができる方が対象です

参考資料など

Rubyでクローラー

参考図書

やらないこと

最低限の文法の解説はしますが、Rubyの文法の細かい話は一旦抜きにします
まずは、体験してもらって「なんとなく分かる」を目指します

設備

ノートパソコンは各自ご用意ください
必要な方はパソコンの充電器もご持参ください
電源タップ、wifiがご利用頂けます

下記のコードの意味を完全に理解できることを目指します

require 'nokogiri'
require 'open-uri'

url = 'https://qiita.com/search?q=ruby'

charset = nil

html = open(url) do |f|
    charset = f.charset
    f.read
end

doc = Nokogiri::HTML.parse(html, nil, charset)
doc.xpath('//h1[@class="searchResult_itemTitle"]').each do |node|
  p node.css('a').inner_text
end