目次
- テストの自動化と Selenium
- Selenium のインストール
- ChromeDrive - WebDriver for Chrome のダウンロードと設置
- Web ページを開いてみよう
- リンクをクリックしてみる
- 要素の情報を取り出す
- すべての要素を取り出してみよう
- リンクを開いて戻ってみる
- リンクを巡回しながら情報を取得する(1)
- リンクを巡回しながら情報を取得する(2)
- リンクを巡回しながら情報を取得する(3)
- 要素の見つけ方
Selenium を使って Web からデータを自動収集しよう
ChromeDrive - WebDriver for Chrome のダウンロードと設置
Google Chrome を操作するためには Web Driver for Chrome が必要になります．学内の情報処理実習室等でとりあえず Selenium を使いたい場合は，ここの手順に従って，手動で Web Driver を設置すると良いでしょう．ただし，この環境を継続的に使用すると Google Chrome がバージョンアップしたときに設置し直す作業が必要になります．一方で，ここの手順に従って，webdriver-manager をインストールすると，使用中の Google Chrome のバージョンに適合した Web Driver を自動的にインストールできるので，Google Chrome のバージョンアップがあっても自動的に更新され，問題なく使い続けることができるようになります．
手動での設置と更新
Google Chrome を操作するためのドライバを公式サイト https://sites.google.com/chromium.org/driver/ からダウンロードします．このとき，すでにインストールされている Google Chrome のバージョンを確認し，対応するバージョンのドライバーをダウンロードすると良いでしょう．Google Chrome のバージョンは「ヘルプ」メニューから「Google Chrome について」を開けば確認できます．
ダウンロードしたドライバファイル (.zip 形式) を展開し，chromedrive.exe ファイルをドキュメントフォルダに作成した selenium フォルダに設置します．なお，設置場所はどこでも良いが，設置場所の情報が後に必要になるので覚えておく必要があります．
以下では，ドライバファイルを「C:\Users\bk182005\Documents\selenium\chromedrive.exe」に設置したものとして作業を進める．
(base) C:\Users\bk182005>cd Documents ⏎ (base) C:\Users\bk182005\Documents>cd selenium ⏎ (base) C:\Users\bk182005\Documents\selenium>dir ⏎ ドライブ C のボリューム ラベルは Main です ボリューム シリアル番号は 12D8-4AB8 です C:\Users\bk182005\Documents\selenium のディレクトリ 2021/07/07 12:47 <DIR> . 2021/07/07 12:47 <DIR> .. 2021/07/07 12:46 10,196,480 chromedriver.exe 1 個のファイル 10,196,480 バイト 2 個のディレクトリ 83,812,511,744 バイトの空き領域 (base) C:\Users\bk182005\Documents\selenium>
なお，Google Chrome が自動更新で最新版にアップデートされた際には，このドライバファイルを手動で更新しなければなりません．
また，Mac で「セキュリティとプライバシー」環境設定を行っている場合は，ダウンロードしたドライバファイルを Finder で「右クリック」して「このアプリケーションで開く」，「ターミナル」の順にクリックして，次の画面で「開く」をクリックするまでダウンロードしたドライバの実行が許可されません．バージョンアップの都度この作業が必要になります．
自動インストールとアップデート
「Anaconda Prompt」で pip install webdriver-manager を実行すれば，webdriver-manager をインストールできます．なお，インストールされているモジュールの一覧は pip list で確認できます．詳細はここを参照のこと．Jupyter Notebook のマジックコマンドを利用しても構いません．