HaneCa

独り立ちへ向けた長い道

Pythonでスクレイピング(Cookie取得)

投稿日: 2011年8月5日 最終更新日: 2020年4月12日

urllib2とcookielibでWebサイトへアクセスしたときに、Cookieを取得するサンプル

import urllib2, cookielib
from BeautifulSoup import BeautifulSoup

if __name__ == '__main__':
# アクセスするWebサイトのURLを設定
url = 'http://www.google.co.jp'

# Cookieを格納するオブジェクト
cookie = cookielib.CookieJar()
# Webサイトへアクセスするオブジェクト
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
# Webサイトへアクセス
web = opener.open(url)
# BeautifulSoupで解析
html = BeautifulSoup(web)
# 取得したCookie内容を表示
print cookie
# 取得したHTML内容を表示
print html.prettify()

Cookieが設定されている場合、cookielib.CookieJarオブジェクトとして取得できる

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください