前回は、Pythonをしようして簡単なプロジェクトの実行を行いました。
【プログラミング】ChatGPT活用！Pythonプロジェクトの仮想環境設定、今回は、Pythonでスクレイピングをやっていきます。
スクレイピングは、ウェブ上の情報を自動的に取得するための強力なツールです。この入門ガイドでは、ChatGPTを活用して、Pythonでのスクレイピングの基本から実践までをわかりやすく解説します。ステップバイステップで進めるので、プログラミング初心者でも安心して学べます。これを機に一緒にデータ収集の世界へ一歩踏み出してみましょう。
Pythonの始め方についてはこちらの記事を参考にしてみてください！！
ブログ内のコードはコピーして使用できます
スクレイピングって何？
スクレイピングとは、ウェブサイトから自動的に情報を集める技術のことです。たとえば、あるウェブサイトにたくさんのデータが載っているときに、そのデータを一つ一つ手でコピーするのは大変ですよね。スクレイピングを使えば、プログラムがその作業を自動で行ってくれるので、時間を節約できるんです。Pythonというプログラミング言語を使って、こうしたデータを簡単に集めることができます。
実際にスクリピングでデータの収集をしてみよう
スクレイピングを使えば、ウェブサイトから欲しい情報が手軽に手に入れられます。このガイドでは、Pythonを使って実際にスクレイピングを行い、ウェブ上のデータを自動で集める方法を解説します。
コードややり方についてはChatGPTにアシスタントをしてもらいながら進めていきます。
データを収集するメリット
1. データ収集と分析
多くのウェブサイトには有益な情報が掲載されていますが、それらの情報は手動で収集するには時間がかかります。ウェブスクレイピングを使うことで、自動的にウェブサイトからデータを収集し、後で分析することができます。
- 価格比較: 複数のショッピングサイトから商品の価格情報を収集して比較する。
- 株価データ収集: 金融サイトから株価のデータを定期的に収集し、トレンドを分析する。
- ニュース集約: ニュースサイトから最新の記事や見出しを収集して、特定のトピックに関する情報を集約する。
2. 自動化されたレポート作成
ウェブからデータを取得して、定期的なレポートを自動的に生成することができます。これにより、手作業でのデータ入力や整理の手間が省けます。
- SEOレポート: ウェブサイトの検索エンジン順位を定期的に取得し、レポートにまとめる。
- 天気情報のレポート: 気象サイトから天気予報を取得し、自分の地域や旅行先の天気を自動的にレポート化する。
3. データベースの更新
ウェブから取得した情報を使って、自分のデータベースやリストを更新することができます。これにより、データが最新の状態に保たれます。
- 企業情報の更新: 企業の公式サイトから最新の連絡先情報や役員情報を取得し、データベースを更新する。
- 製品リストの更新: メーカーのサイトから新製品や仕様変更の情報を取得し、製品カタログを更新する。
4. 自動化されたタスク
ウェブスクレイピングを使って、ウェブサイト上での繰り返しタスクを自動化することもできます。これにより、時間を節約し、効率を上げることができます。
- 求人情報の監視: 求人サイトから新しい求人情報を定期的に取得し、自動的に通知を受け取る。
- イベントの登録: イベントサイトで新しいイベントが公開されたら自動的に登録する。
スクレイピングをする前に環境設定を忘れずにやっておきましょう
広告募集中
ステップ1: 必要なライブラリのインストール
まずは、仮想環境がアクティブな状態で、必要な2つのライブラリをインストールします。
requests
- ウェブページからデータを取得するためのライブラリです。これを使うと、Pythonからウェブサイトにアクセスして、その内容（HTMLなど）を取得することができます。
|
1 |
pip install requests |
beautifulsoup4
- 取得したHTMLデータを解析し、特定の情報（例えば、タイトルやリンク）を抽出するためのライブラリです。
|
1 |
pip install beautifulsoup4 |
pip install requests beautifulsoup4というコマンドを実行すると、これら2つのライブラリがインストールすることもできます。
|
1 |
pip install requests beautifulsoup4 |
ライブラリのインストールの確認
|
1 |
pip list |
pip listを使って確認してみましょう！！
インストールできていると以下の状態になります。
できていない場合はこのように出てきます。
ステップ2: ウェブページからデータを取得
次に、Pythonコードを使ってウェブページのデータを取得してみましょう。今回は、例として「https://example.com」というシンプルなサイトからデータを取得します。
|
1 2 3 4 5 6 7 8 9 10 |
import requests # ウェブページのURL url = 'https://example.com' # ウェブページを取得 response = requests.get(url) # レスポンスの内容を確認 print(response.text) |
広告募集中
出力
HTMLでデータを取得する理由
response.textで取得したページの内容がHTMLとして表示されるのには、いくつか重要な理由があります。
1. ウェブページの構造
ウェブページはHTML（HyperText Markup Language）という言語で書かれています。HTMLは、ウェブページの内容を構造化するための言語で、テキスト、画像、リンク、ボタンなど、ページに表示されるさまざまな要素がどのように配置され、表示されるかを指定します。
|
1 2 3 4 5 6 7 8 9 10 11 |
<!DOCTYPE html> <html> <head> <title>Example Page</title> </head> <body> <h1>Hello, World!</h1> <p>This is an example paragraph.</p> <a href="https://example.com">Visit Example.com</a> </body> </html> |
2. 必要な情報を抽出するため
ウェブスクレイピングの目的は、ウェブページから特定の情報を抽出することです。HTMLを解析することで、ページ内のどこにその情報があるかを見つけ出し、その情報を取り出すことができます。
- タイトルを取得:
<title>タグの中のテキストを取得して、ページのタイトルを抽出します。 - リンクを取得:
<a>タグのhref属性を読み取って、ページ内の全てのリンクをリストアップします。
3. ウェブページの再現と理解
HTMLをそのまま取得することで、ウェブページがどのように構造化されているか、そしてどの部分にどのようなデータが含まれているかを理解することができます。これにより、どの部分からデータを抽出するかを決めやすくなります。
4. JavaScriptによる動的なコンテンツ
一部のウェブサイトは、JavaScriptを使って動的にコンテンツを生成します。この場合、response.textで取得できるHTMLには、JavaScriptが実行される前の状態が含まれます。そのため、必要なデータがそのHTML内にない場合、JavaScriptがどのようにデータを生成しているかを理解する必要があります。
広告募集中
ステップ3: データの解析と抽出
取得したHTMLデータから、特定の情報を抽出するためにBeautifulSoupを使用します。まず、ページのタイトルを取得してみましょう。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
import requests from bs4 import BeautifulSoup # ウェブページのURL url = 'https://example.com' response = requests.get(url) # BeautifulSoupを使ってHTMLを解析 soup = BeautifulSoup(response.text, 'html.parser') # ページのタイトルを取得 title = soup.title.string print("タイトル:", title) |
出力
|
1 |
タイトル: Example Domain |
ステップ4: 抽出したデータの表示または保存
次に、ページ内の全てのリンクを取得して、links.txtというファイルに保存するコードを書いてみましょう。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
import requests from bs4 import BeautifulSoup # ウェブページのURL url = 'https://example.com' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') # ページ内の全てのリンクを取得 links = soup.find_all('a') # リンクをファイルに保存 with open('links.txt', 'w') as file: for link in links: href = link.get('href') if href: file.write(href + '\n') |
出力
今回取得したデータについて
スクレイピングでhttps://www.iana.org/domains/exampleから取得したデータは、そのウェブページのHTMLコード全体です。このHTMLには、ページの構造、コンテンツ、リンクなど、ウェブページに表示されているすべての要素が含まれています。
具体的に何を取得したのか？
スクレイピングによって取得したのは、https://www.iana.org/domains/exampleのウェブページがブラウザで表示される前の「生データ」です。このデータには以下のような情報が含まれています：
- ページのタイトル:
<title>Example Domains</title>というタグで囲まれた部分。この部分がブラウザのタブや検索結果で表示されるタイトルになります。
- 見出しや段落:
<h1>タグや<p>タグで囲まれたテキスト部分。例えば、「Example Domains」という見出しや、ドメイン名の説明文など。
- リンク:
<a>タグで定義されるリンク。このページ内に他のページへのリンクが含まれていれば、それも取得されています。
- メタデータ:
- ページの
<head>セクションに含まれるメタタグ（<meta>タグ）など。これは、ページの説明やキーワード、文字コードなどの情報を含んでいます。
- ページの
- スタイルやスクリプト:
- ページの外観を制御するためのCSSや、動的な動作を制御するためのJavaScriptも含まれます。
例としてのHTMLの一部
|
1 2 3 4 5 6 7 8 9 10 11 12 |
<!DOCTYPE html> <html> <head> <title>Example Domains</title> <meta charset="UTF-8"> </head> <body> <h1>Example Domains</h1> <p>As described in ...</p> <a href="https://www.iana.org">More Information</a> </body> </html> |
広告募集中
取得データの使用例
- タイトルの取得:
soup.title.stringを使ってページのタイトル「Example Domains」を抽出できます。 - リンクの抽出:
soup.find_all('a')を使ってページ内のリンク（例:href="https://www.iana.org"）を抽出できます。 - 本文のテキストの解析:
soup.find_all('p')で段落のテキストを抽出し、ページの説明文を取得できます。
今回はここまでとなります！！
まとめ
今回はここまでの内容となります。
スクレイピングを使って、データの収集を行うことで分析やデータベースを作成することができます。
正直、現段階では私もスクレイピングの効果をそこまで理解できていませんが、HTML情報を取得しその中から自分の必要な情報だけを習得することができるようなっていきたいですね😊
Pythonってどんな物？
プログラミングってどんな物？という方はこちらの記事を参考にしてみてください！！
また、プログラミングに興味はあるけどどうやって勉強していいのかわからないという方はプログラミングを視覚的に理解できる講座を作っていますのでこちらを参考にしてみてください！
Udemyというプラットホームを使用して作成した講座です。
初心者向けに作った講座となっております。以下から講座の確認ができるので見てみてください
プログラミング学習を進めているけれど、まだ副収入につなげられていない…そんなあなたへ！今こそ、学んだスキルを活かして副業に挑戦する絶好のチャンスです。プログラミングだけでなく、自分のスキルや商品をネットで販売する『ネットショップ』を開設してみませんか？
ネットショップを持つことで、自分の知識やスキルをより多くの人に届け、副収入を得ることが可能です。学んできたプログラミングを活かして、ショップのカスタマイズや運営も自由自在に行えますし、もし商品作成が難しい場合でも、デジタル商品やサービス提供など、いろんな選択肢があります。
このステップで一歩踏み出せば、今学んでいることが副収入に直結し、自分の時間をより有効に使うことができるはずです！一緒にネットショップを開設し、副業の第一歩を踏み出しましょう！
次回の記事はこちらから
