【Python】ブラウザ操作を徹底解説！初心者でもわかりやすい具体例つきで紹介

プログラミング言語•2025/1/18

はじめに

Pythonでブラウザ操作を行う方法はいくつかあります。
たとえば、ページを移動したりフォームに入力したりする自動化は、業務でも役立つ場面が少なくありません。
一方で「どうやってブラウザを自由に制御すればいいのか」「そもそもHTTPリクエストとは何なのか」など、初学者にはわかりにくい部分が多いかもしれません。

そこで本記事では、Python ブラウザ操作 に焦点を当てて、実際の使いどころやライブラリの紹介、サンプルコードを交えながらわかりやすく整理していきます。
ここで取り上げる方法を知っておくと、ウェブ上の繰り返し作業を省力化したり、動的なページからデータを収集したりできるようになります。

この記事を読むとわかること

Pythonからブラウザを操作する代表的なライブラリや手法
Seleniumを使ったブラウザ自動化の基本的なコード例
requests + BeautifulSoupを使った静的ページのデータ取得方法
Playwrightなど別の手段を検討する際のヒント
実務での活用シーンや注意点の理解

Pythonブラウザ操作の概要

Pythonでブラウザ操作をする場合、大きく二つのアプローチがあります。
一つ目はSeleniumなどのツールを使って、実際のブラウザを自動操作する方法です。
二つ目はHTTPリクエストを直接送受信して、ページ情報を取得・送信する方法です。

前者の方法では、ChromeやFirefoxなどの実ブラウザを立ち上げ、サイトを開いた上でボタンをクリックしたり、フォームに情報を入力したりできます。
動的にJavaScriptが動作するページであっても、ユーザーが普段ブラウザで行うのと同じように操作できるのが特徴です。

一方、後者では requests や BeautifulSoup などを使って、HTTP通信を直接扱います。
実際にブラウザを立ち上げるのではなく、サーバーとのやりとりをコード上で再現するイメージです。
ただし、この方法はJavaScriptで動的に生成されるコンテンツには対応しづらいという側面があります。

どちらのアプローチを取るか は、取り組みたい内容やページの構造などによって変わります。
頻繁にクリック操作や動的な挙動が必要ならばSeleniumなどを使うのが自然です。
一方、単純なHTTPアクセスで済むものならrequestsのようなライブラリで効率よく進められます。

Seleniumを使ったブラウザ操作

Pythonでブラウザを自動操作するときによく使われるライブラリの一つが Selenium です。
Seleniumは、ウェブアプリケーションのテストや定型操作の自動化など、多様なシーンで利用できます。

Seleniumの導入

Seleniumを使う場合、最初にPythonパッケージをインストールし、ブラウザごとに対応したWebDriverを用意します。
以下は、代表的な手順の一例です。


pip install selenium

Chromeを使用するなら ChromeDriver を用意し、Firefoxなら GeckoDriver を用意します。
ブラウザとWebDriverのバージョンが合っていないとエラーが起きることがあるため、注意が必要です。

ブラウザ操作を実行する際は、対象となるウェブページの利用規約や公開ポリシーを必ず確認してください。

Seleniumを使った基本的な操作

Seleniumを使ってPythonからブラウザを立ち上げ、URLにアクセスし、簡単な要素取得やクリックを行うコード例を見てみましょう。


from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import time

# Chromeの場合の例
driver = webdriver.Chrome()

# ウェブページにアクセス
driver.get("https://example.com")

# タイトルを取得して表示
print(driver.title)

# テキストボックスを取得して文字を入力
search_box = driver.find_element(By.NAME, "q")
search_box.send_keys("Python ブラウザ 操作")
search_box.send_keys(Keys.RETURN)

# 2秒待ってから、現在のURLを確認
time.sleep(2)
print(driver.current_url)

# ブラウザを閉じる
driver.quit()

このコードでは、webdriver.Chrome() を使い、Google Chromeを立ち上げています。
driver.get("https://example.com") で目的のURLへ移動し、その後で要素を取得し、テキストを入力するなどの操作を行っています。
最後は driver.quit() でブラウザを閉じるのが一般的な流れです。

上記の例では検索ボックスに文字を入力してから、Keys.RETURN を使ってエンターを送信しています。
By.NAME や By.ID など、要素の取得方法はいくつかあるので、目的のページ構造に応じて使い分けましょう。

requests と BeautifulSoupを使った操作

Seleniumのように実際のブラウザを立ち上げるのではなく、もっと軽量な方法でページのHTMLを取得し、そこから情報を解析したいケースもあります。
このときよく使われるのが requests と BeautifulSoup の組み合わせです。

requestsは、PythonのコードからHTTPリクエストを送るためのライブラリです。
BeautifulSoupは、取得したHTMLを解析し、任意のタグやクラスなどを抽出しやすくするためのライブラリです。

requests + BeautifulSoup の基本的な流れ

ここでは、例としてあるニュースサイトのトップページから記事タイトルを取得する簡単なサンプルを示します。


import requests
from bs4 import BeautifulSoup

url = "https://example.com/news"
response = requests.get(url)

# ステータスコードが200番台であれば成功
if response.status_code == 200:
    # HTMLをパース
    soup = BeautifulSoup(response.text, "html.parser")

    # 見出しに該当するタグを全て取得
    headlines = soup.find_all("h2", class_="news-headline")

    for i, headline in enumerate(headlines, start=1):
        print(f"{i}. {headline.get_text()}")
else:
    print("ページを取得できませんでした。")

requests.get(url) でサーバーにアクセスし、response.text からページのHTMLを取り出します。
BeautifulSoup を使うと、特定のタグやクラス名を指定して情報を取り出せます。
ただし、この方法はJavaScriptで動的に生成されたコンテンツを取得できない場合がある点に注意してください。

Playwrightでのブラウザ操作

Seleniumの代替手段として注目されているのが Playwright です。
Playwrightは、もともとブラウザの自動化を行うために開発されたツールの一つで、複数のブラウザエンジン（ChromiumやFirefoxなど）を共通のAPIで操作できます。

Playwrightの特徴

さまざまなブラウザに対して共通のコードで操作を行える
非同期処理に対応しやすい構造
ヘッドレスモード（画面を表示せずに操作のみ実行）に対応

たとえば、pip install playwright を行った後、以下のように簡単な操作を記述可能です。


import asyncio
from playwright.async_api import async_playwright

async def run():
    async with async_playwright() as p:
        # ChromiumやFirefoxなどを選べる
        browser = await p.chromium.launch(headless=False)
        page = await browser.new_page()
        await page.goto("https://example.com")

        # タイトルを表示
        print(await page.title())

        # テキスト入力
        await page.fill("input[name='q']", "Python ブラウザ 操作")

        # エンターキーを押す
        await page.press("input[name='q']", "Enter")

        # しばらく待つ
        await asyncio.sleep(2)
        await browser.close()

asyncio.run(run())

このように async/await を使って処理を制御するため、たくさんの操作が混在する場面でも比較的扱いやすい点が特徴です。
より複雑なテストやスクレイピングの自動化を進めたいときには、有力な選択肢となるでしょう。

実務で活用される具体的なシーン

Pythonでのブラウザ操作は、実務でも幅広い場面で利用されています。
たとえば「社内業務の定型タスクを自動化したい」「取引先のウェブシステムに毎日ログインし、データを取得してからメールを送る」など、さまざまな使い方があります。

ログインとフォーム入力の自動化

ウェブシステムへのログインやフォーム入力を繰り返す場合、毎回手動で行うのは大変です。
SeleniumやPlaywrightでログインページを開き、ユーザー名やパスワードを入力してログインボタンを押す一連の操作を自動化すると、大幅に時間を節約できます。

発注システムのデータ収集

社内で使われている発注管理システムにアクセスし、注文情報や在庫状況を取得するケースもあります。
ここでは、動的に変化するテーブルやページ遷移を繰り返すシーンが多いかもしれません。
このようなときは実際のブラウザを使ってページを移動しながら、一括で情報を取得できるSeleniumが適しています。

競合サイトや市場データのウォッチ

requestsとBeautifulSoupを用いる場合は、比較的シンプルにHTTPレスポンスを解析してデータを抽出できます。
静的なページ構造が多いサイトでは、必要な部分を効率よく取得し、定期的に監視するような仕組みを構築できます。
一方、動的要素が多いサイトならSeleniumやPlaywrightへ切り替えるなど、状況に合わせて使い分けが重要です。

トラブルシューティングのポイント

Pythonによるブラウザ操作は便利ですが、実際に使ってみるとつまづきやすい部分もあります。
ここでは代表的な例をいくつか挙げてみます。

セレクタが見つからない

Seleniumなどで要素を探すとき、HTML構造やクラス名が予想と違う場合があります。
また、読み込みが完了する前に要素を取得しようとして失敗するケースもあります。
一定時間待機したり、要素が表示されるまで待機するメソッド（WebDriverWait など）を使うと改善することが多いです。

JavaScriptが多用されている

JavaScriptで画面が書き換わるタイミングが早いと、ページ読込直後には目的の要素がまだ存在しないことがあります。
この場合も待機を挟んだり、条件付きで要素が現れるまで待つ仕組みを組み込むことが必要です。

ログインがリセットされる

ログインページを自動化していて、セッションやCookieがうまく引き継がれない場合があります。
SeleniumやPlaywrightでは、ブラウザを立ち上げ直すとセッションが初期化されがちです。
再ログインが必要かどうかをチェックするロジックを入れるなど、シナリオを想定した実装が求められます。

Pythonブラウザ操作で知っておきたいコツ

ブラウザ操作を実装するうえでは、単にコードを書くだけではなく、いくつかのポイントを理解するとスムーズに進められます。

要素の探し方を工夫する

Seleniumで要素を探す際、By.ID や By.NAME、By.CSS_SELECTOR など複数の探し方があります。
開発者ツールで実際のHTML構造を確認しながら、要素を一意に取得できるセレクタを使うとトラブルを減らせます。

例外処理の活用

ネットワークが不安定だったり、サイトが一時的にメンテナンス状態になることがあります。
その場合、リトライ処理を組み込んだり、エラーが起きたらどのようにログを残すかを検討するとより安定した実装になります。

パフォーマンスに気を配る

Seleniumで大量のページを巡回する場合、操作が多すぎると時間がかかることがあります。
タイミングをうまく待ったり、不要なページ遷移を減らすなどの工夫が必要です。
requests + BeautifulSoupで済むならそのほうが高速になるケースもあるので、ニーズに合った選択が大切です。

まとめ

Pythonを使ったブラウザ操作は、Seleniumなどで実際のブラウザを動かす方法と、requestsのようにHTTPリクエストを直接扱う方法の2パターンがあります。
どちらを選ぶかは扱うサイトの作りや目的によって異なりますが、基本的には動的処理が多いならSeleniumやPlaywright、静的なページを対象とするならrequests + BeautifulSoupが向いている場合が多いです。

また、実務シーンではログインの自動化やフォーム入力など、定型的な操作を効率化したり、最新情報を素早く収集したりするのに利用されます。
ただし、要素の取得方法やタイミング管理、利用規約への配慮など、いくつかのポイントを押さえて運用することが大切です。

本記事で紹介したやり方を参考にしながら、Python ブラウザ操作 の可能性をぜひ活用してみてください。