【プログラミング】ChatGPTで学ぶ！Pythonスクレイピング入門

前回は、Pythonをしようして簡単なプロジェクトの実行を行いました。
【プログラミング】ChatGPT活用！Pythonプロジェクトの仮想環境設定、今回は、Pythonでスクレイピングをやっていきます。
スクレイピングは、ウェブ上の情報を自動的に取得するための強力なツールです。この入門ガイドでは、ChatGPTを活用して、Pythonでのスクレイピングの基本から実践までをわかりやすく解説します。ステップバイステップで進めるので、プログラミング初心者でも安心して学べます。これを機に一緒にデータ収集の世界へ一歩踏み出してみましょう。

Pythonの始め方についてはこちらの記事を参考にしてみてください！！

参考記事

: 【初心者必見】ChatGPTで始めるPythonプログラミング入門
プログラミングを始めたいと思っているけど、プログラミングって何から始めたらいいかわからないし、プログラムを書くのは英語もできないから難しそうと思っているあなたに朗報です。ChatGPTを使って学習をす ...

ブログ内のコードはコピーして使用できます

スクレイピングって何？

スクレイピングとは、ウェブサイトから自動的に情報を集める技術のことです。たとえば、あるウェブサイトにたくさんのデータが載っているときに、そのデータを一つ一つ手でコピーするのは大変ですよね。スクレイピングを使えば、プログラムがその作業を自動で行ってくれるので、時間を節約できるんです。Pythonというプログラミング言語を使って、こうしたデータを簡単に集めることができます。

実際にスクリピングでデータの収集をしてみよう

スクレイピングを使えば、ウェブサイトから欲しい情報が手軽に手に入れられます。このガイドでは、Pythonを使って実際にスクレイピングを行い、ウェブ上のデータを自動で集める方法を解説します。
コードややり方についてはChatGPTにアシスタントをしてもらいながら進めていきます。

データを収集するメリット

1. データ収集と分析

多くのウェブサイトには有益な情報が掲載されていますが、それらの情報は手動で収集するには時間がかかります。ウェブスクレイピングを使うことで、自動的にウェブサイトからデータを収集し、後で分析することができます。

価格比較: 複数のショッピングサイトから商品の価格情報を収集して比較する。
株価データ収集: 金融サイトから株価のデータを定期的に収集し、トレンドを分析する。
ニュース集約: ニュースサイトから最新の記事や見出しを収集して、特定のトピックに関する情報を集約する。

2. 自動化されたレポート作成

ウェブからデータを取得して、定期的なレポートを自動的に生成することができます。これにより、手作業でのデータ入力や整理の手間が省けます。

SEOレポート: ウェブサイトの検索エンジン順位を定期的に取得し、レポートにまとめる。
天気情報のレポート: 気象サイトから天気予報を取得し、自分の地域や旅行先の天気を自動的にレポート化する。

3. データベースの更新

ウェブから取得した情報を使って、自分のデータベースやリストを更新することができます。これにより、データが最新の状態に保たれます。

企業情報の更新: 企業の公式サイトから最新の連絡先情報や役員情報を取得し、データベースを更新する。
製品リストの更新: メーカーのサイトから新製品や仕様変更の情報を取得し、製品カタログを更新する。

4. 自動化されたタスク

ウェブスクレイピングを使って、ウェブサイト上での繰り返しタスクを自動化することもできます。これにより、時間を節約し、効率を上げることができます。

求人情報の監視: 求人サイトから新しい求人情報を定期的に取得し、自動的に通知を受け取る。
イベントの登録: イベントサイトで新しいイベントが公開されたら自動的に登録する。

スクレイピングをする前に環境設定を忘れずにやっておきましょう

タイトルテキスト

: 【プログラミング】ChatGPT活用！Pythonプロジェクトの仮想環境設定
前回は、Pythonを使ってシンプルなプロジェクトに取り組みました。【プログラミング】ChatGPTで深めるPython実践プロジェクトでは、基礎を学びながら楽しく進められたと思います。、そして、次回 ...

ステップ1: 必要なライブラリのインストール

まずは、仮想環境がアクティブな状態で、必要な2つのライブラリをインストールします。

requests

ウェブページからデータを取得するためのライブラリです。これを使うと、Pythonからウェブサイトにアクセスして、その内容（HTMLなど）を取得することができます。

pip install requests

1	pip install requests

beautifulsoup4

取得したHTMLデータを解析し、特定の情報（例えば、タイトルやリンク）を抽出するためのライブラリです。

pip install beautifulsoup4

1	pip install beautifulsoup4

pip install requests beautifulsoup4というコマンドを実行すると、これら2つのライブラリがインストールすることもできます。

pip install requests beautifulsoup4

1	pip install requests beautifulsoup4

ライブラリのインストールの確認

pip list

pip list

pip listを使って確認してみましょう！！
インストールできていると以下の状態になります。

できていない場合はこのように出てきます。

ステップ2: ウェブページからデータを取得

次に、Pythonコードを使ってウェブページのデータを取得してみましょう。今回は、例として「https://example.com」というシンプルなサイトからデータを取得します。

import requests

# ウェブページのURL
url = 'https://example.com'

# ウェブページを取得
response = requests.get(url)

# レスポンスの内容を確認
print(response.text)

import requests

# ウェブページのURL

url = 'https://example.com'

# ウェブページを取得

response = requests.get(url)

# レスポンスの内容を確認

print(response.text)

出力

HTMLでデータを取得する理由

response.textで取得したページの内容がHTMLとして表示されるのには、いくつか重要な理由があります。

1. ウェブページの構造

ウェブページはHTML（HyperText Markup Language）という言語で書かれています。HTMLは、ウェブページの内容を構造化するための言語で、テキスト、画像、リンク、ボタンなど、ページに表示されるさまざまな要素がどのように配置され、表示されるかを指定します。

<!DOCTYPE html>
<html>
<head>
    <title>Example Page</title>
</head>
<body>
    <h1>Hello, World!</h1>
    <p>This is an example paragraph.</p>
    <a href="https://example.com">Visit Example.com</a>
</body>
</html>

<!DOCTYPE html>

<html>

<head>

<title>Example Page</title>

</head>

<body>

<h1>Hello, World!</h1>

<p>This is an example paragraph.</p>

<a href="https://example.com">Visit Example.com</a>

</body>

</html>

2. 必要な情報を抽出するため

ウェブスクレイピングの目的は、ウェブページから特定の情報を抽出することです。HTMLを解析することで、ページ内のどこにその情報があるかを見つけ出し、その情報を取り出すことができます。

タイトルを取得: <title>タグの中のテキストを取得して、ページのタイトルを抽出します。
リンクを取得: <a>タグのhref属性を読み取って、ページ内の全てのリンクをリストアップします。

3. ウェブページの再現と理解

HTMLをそのまま取得することで、ウェブページがどのように構造化されているか、そしてどの部分にどのようなデータが含まれているかを理解することができます。これにより、どの部分からデータを抽出するかを決めやすくなります。

4. JavaScriptによる動的なコンテンツ

一部のウェブサイトは、JavaScriptを使って動的にコンテンツを生成します。この場合、response.textで取得できるHTMLには、JavaScriptが実行される前の状態が含まれます。そのため、必要なデータがそのHTML内にない場合、JavaScriptがどのようにデータを生成しているかを理解する必要があります。

ポイント

requests.get(url) を使って指定したURLのページを取得します。
response.text で取得したページのHTML内容が表示されます。

ステップ3: データの解析と抽出

取得したHTMLデータから、特定の情報を抽出するためにBeautifulSoupを使用します。まず、ページのタイトルを取得してみましょう。

import requests
from bs4 import BeautifulSoup

# ウェブページのURL
url = 'https://example.com'
response = requests.get(url)

# BeautifulSoupを使ってHTMLを解析
soup = BeautifulSoup(response.text, 'html.parser')

# ページのタイトルを取得
title = soup.title.string
print("タイトル:", title)

import requests

from bs4 import BeautifulSoup

# ウェブページのURL

url = 'https://example.com'

response = requests.get(url)

# BeautifulSoupを使ってHTMLを解析

soup = BeautifulSoup(response.text, 'html.parser')

# ページのタイトルを取得

title = soup.title.string

print("タイトル:", title)

出力

タイトル: Example Domain

1	タイトル: Example Domain

ポイント

BeautifulSoup(response.text, 'html.parser') を使ってHTMLを解析します。
soup.title.string でページのタイトルを取得できます。

ステップ4: 抽出したデータの表示または保存

次に、ページ内の全てのリンクを取得して、links.txtというファイルに保存するコードを書いてみましょう。

import requests
from bs4 import BeautifulSoup

# ウェブページのURL
url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# ページ内の全てのリンクを取得
links = soup.find_all('a')

# リンクをファイルに保存
with open('links.txt', 'w') as file:
    for link in links:
        href = link.get('href')
        if href:
            file.write(href + '\n')

import requests

from bs4 import BeautifulSoup

# ウェブページのURL

url = 'https://example.com'

response = requests.get(url)

soup = BeautifulSoup(response.text, 'html.parser')

# ページ内の全てのリンクを取得

links = soup.find_all('a')

# リンクをファイルに保存

with open('links.txt', 'w') as file:

for link in links:

href = link.get('href')

if href:

file.write(href + '\n')

出力

今回取得したデータについて

スクレイピングでhttps://www.iana.org/domains/exampleから取得したデータは、そのウェブページのHTMLコード全体です。このHTMLには、ページの構造、コンテンツ、リンクなど、ウェブページに表示されているすべての要素が含まれています。

具体的に何を取得したのか？

スクレイピングによって取得したのは、https://www.iana.org/domains/exampleのウェブページがブラウザで表示される前の「生データ」です。このデータには以下のような情報が含まれています：

ページのタイトル:
- <title>Example Domains</title> というタグで囲まれた部分。この部分がブラウザのタブや検索結果で表示されるタイトルになります。
見出しや段落:
- <h1>タグや<p>タグで囲まれたテキスト部分。例えば、「Example Domains」という見出しや、ドメイン名の説明文など。
リンク:
- <a>タグで定義されるリンク。このページ内に他のページへのリンクが含まれていれば、それも取得されています。
メタデータ:
- ページの<head>セクションに含まれるメタタグ（<meta>タグ）など。これは、ページの説明やキーワード、文字コードなどの情報を含んでいます。
スタイルやスクリプト:
- ページの外観を制御するためのCSSや、動的な動作を制御するためのJavaScriptも含まれます。

例としてのHTMLの一部

<!DOCTYPE html>
<html>
<head>
    <title>Example Domains</title>
    <meta charset="UTF-8">
</head>
<body>
    <h1>Example Domains</h1>
    <p>As described in ...</p>
    <a href="https://www.iana.org">More Information</a>
</body>
</html>

<!DOCTYPE html>

<html>

<head>

<title>Example Domains</title>

</head>

<body>

<h1>Example Domains</h1>

<p>As described in ...</p>

<a href="https://www.iana.org">More Information</a>

</body>

</html>

取得データの使用例

タイトルの取得: soup.title.string を使ってページのタイトル「Example Domains」を抽出できます。
リンクの抽出: soup.find_all('a') を使ってページ内のリンク（例: href="https://www.iana.org"）を抽出できます。
本文のテキストの解析: soup.find_all('p') で段落のテキストを抽出し、ページの説明文を取得できます。

ポイント

soup.find_all('a') で全ての<a>タグ（リンク）を取得します。
各リンクのhref属性をファイルに書き出します。

今回はここまでとなります！！

まとめ

今回はここまでの内容となります。
スクレイピングを使って、データの収集を行うことで分析やデータベースを作成することができます。
正直、現段階では私もスクレイピングの効果をそこまで理解できていませんが、HTML情報を取得しその中から自分の必要な情報だけを習得することができるようなっていきたいですね😊

Pythonを学びたい方はこちらの記事を参考にしてみてください

: プログラミング完全ガイド：基礎からスクレイピング＆API活用までのまとめ
プログラミングの世界に足を踏み入れたばかりの初心者から、さらなるスキルアップを目指す中級者まで、すべての方に向けた完全ガイドです！この記事では、これまでに執筆したプログラミング関連の記事をまとめ、プロ ...

プログラミング学習を進めているけれど、まだ副収入につなげられていない…そんなあなたへ！今こそ、学んだスキルを活かして副業に挑戦する絶好のチャンスです。プログラミングだけでなく、自分のスキルや商品をネットで販売する『ネットショップ』を開設してみませんか？

ネットショップを持つことで、自分の知識やスキルをより多くの人に届け、副収入を得ることが可能です。学んできたプログラミングを活かして、ショップのカスタマイズや運営も自由自在に行えますし、もし商品作成が難しい場合でも、デジタル商品やサービス提供など、いろんな選択肢があります。

このステップで一歩踏み出せば、今学んでいることが副収入に直結し、自分の時間をより有効に使うことができるはずです！一緒にネットショップを開設し、副業の第一歩を踏み出しましょう！

タイトルテキスト

: 【スキルアップ】オンラインショップ開設　おすすめ５選
オンラインショップの開設は、スキルアップと収益の両方を追求する絶好の機会です。特に今の時代、手軽に始められるプラットフォームが増え、初心者でも短期間でショップをオープンできるようになりました。しかし、 ...

プログラミングを学びたいけど、どこから始めたらいいのか分からない、自分に合っているか不安…そんな悩みを持っている方におすすめしたいのが、 無料相談 サービスです！

この無料相談では、あなたの現状や目標に合わせて、最適な学習プランを一緒に考えてくれます。どんなスキルが必要なのか、どうやって学習を進めると効果的かを具体的にアドバイスしてもらえるので、無駄なく効率的にスタートを切ることができます。

さらに、プログラミング学習には同じ目標を持つ仲間がいること、そして頼りになる メンター の存在がとても大きな支えになります。独学ではどうしてもつまずきやすい部分も、メンターがあなたの成長に合わせて親身にサポートしてくれるので、安心して学びを進められます。

まずは 無料相談 で、あなたに合ったプランを見つけて、スキルアップへの第一歩を踏み出してみませんか？今なら、迷っている方でも気軽に相談できるチャンスです！

テックアカデミー無料メンター相談

次回の記事はこちらから

: 【プログラミング】ChatGPTと進める！Pythonスクレイピング実践編
前回の記事では、Pythonを使ったスクレイピングの基本をChatGPTと一緒に学びました。前回記事、【プログラミング】ChatGPTで学ぶ！Pythonスクレイピング入門初めてのスクレイピング体験で ...

【プログラミング】ChatGPTで学ぶ！Pythonスクレイピング入門

スクレイピングって何？

実際にスクリピングでデータの収集をしてみよう

データを収集するメリット

ステップ1: 必要なライブラリのインストール

ステップ2: ウェブページからデータを取得

出力

HTMLでデータを取得する理由

1. ウェブページの構造

2. 必要な情報を抽出するため

3. ウェブページの再現と理解

4. JavaScriptによる動的なコンテンツ

ステップ3: データの解析と抽出

出力

ステップ4: 抽出したデータの表示または保存

出力

今回取得したデータについて

具体的に何を取得したのか？

例としてのHTMLの一部

取得データの使用例

まとめ

関連