Python入門トップページ


目次

  1. テストの自動化と Selenium
  2. Selenium のインストール
  3. ChromeDrive - WebDriver for Chrome のダウンロードと設置
  4. Web ページを開いてみよう
  5. リンクをクリックしてみる
  6. 要素の情報を取り出す
  7. すべての要素を取り出してみよう
  8. リンクを開いて戻ってみる
  9. リンクを巡回しながら情報を取得する(1)
  10. リンクを巡回しながら情報を取得する(2)
  11. リンクを巡回しながら情報を取得する(3)
  12. 要素の見つけ方

Selenium を使って Web からデータを自動収集しよう

すべての要素を取り出してみよう

前のページの例では最初の一つのコース情報だけを取り出すことができたが,次はすべての要素を取り出してみよう.

 すべての要素の情報を取り出す (manager-selenium04.py)
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
import time       # 時間を操作するPythonの標準モジュール

# 操作するブラウザを開く
chrome_service=Service(ChromeDriverManager().install())
driver = webdriver.Chrome(service=chrome_service)
# driver = webdriver.Chrome('C:\\Users\\bk182005\\Documents\\selenium\\chromedriver.exe') # 手動インストールを使う場合

# 操作するページを開く
driver.get('https://kobegakuin-biz.jp/course/')

# 3秒待つ
time.sleep(3)

# h3 の要素をすべて検索し,そのテキストを取得する
elms = driver.find_elements(By.TAG_NAME, 'h3')
for elm in elms:
  print(elm.text)

# 3秒待つ
time.sleep(3)

# ブラウザを閉じる
driver.close()

上のコードを実行すると,すべての情報を取り出すことができます.

(base) C:\Users\bk182005\Documents\python>python manager-selenium04.py ⏎

DevTools listening on ws://127.0.0.1:60191/devtools/browser/820b13c1-956a-4174-a952-650b95136472
経営・商学コース
会計コース
経営情報科学コース
専門語学・海外研修
スポーツサイエンスユニット

(base) C:\Users\bk182005\Documents\python>

目次に戻る