Pythonは、データ分析を効率的に行うための強力なツールとして多くのプロフェッショナルに利用されています。本記事では、Pythonを使ったデータの収集、前処理、可視化、そして分析の手順をわかりやすく解説します。データ分析を始めたい初心者の方にも、Pythonの強力なライブラリ「pandas」や「Matplotlib」を活用して、手軽に分析を始める方法をステップバイステップで紹介します。Pythonでデータ分析の基礎をしっかりと身につけ、ビジネスやプロジェクトに活かすための第一歩を踏み出しましょう。
この記事では、Pythonでデータの前処理・可視化・分析をやっていきます
Pythonって何？
Pythonとは、汎用性が高く、使いやすいプログラミング言語の一つです。1990年代にオランダのプログラマー、グイド・ヴァンロッサムによって開発され、現在では世界中の開発者やデータサイエンティストに広く使用されています。
Pythonは、以下の特徴があるため初心者にも人気です。
- 読みやすい構文: Pythonのコードは、まるで英語の文章のように直感的で読みやすい構文が特徴です。これにより、プログラムが複雑であっても理解しやすく、学びやすい言語です。
- 幅広い用途: Pythonは、データ分析、機械学習、Web開発、自動化、ゲーム開発、科学計算など、さまざまな分野で活用されています。特にデータ分析や人工知能（AI）分野ではその力を発揮しています。
- 豊富なライブラリとフレームワーク: Pythonには、数多くのライブラリ（拡張機能）があり、データ分析では「pandas」「NumPy」、機械学習では「scikit-learn」「TensorFlow」などが有名です。これらのライブラリを活用することで、複雑な作業も効率的に行うことができます。
- 大規模なコミュニティ: 世界中の開発者がPythonを使用しているため、学習資料やフォーラム、サポートが豊富です。何か困った時でも、コミュニティの力を借りて解決することが容易です。
Pythonはプログラミング初心者だけでなく、経験者にも愛されている言語で、今後も需要が高まると予想されています。
データ分析って何？
データ分析とは、収集したデータを整理・処理し、そこから有益な情報やパターンを導き出すプロセスです。これにより、意思決定や予測、問題解決に役立つ洞察を得ることができます。データ分析はビジネス、科学、医療、マーケティングなど、多くの分野で重要な役割を果たしています。
データ分析は、一般的に以下のステップで行われます。
- データの収集
データ分析の最初のステップは、分析対象のデータを収集することです。これは、調査、アンケート、センサーデータ、ウェブサイトのアクセスログ、ビジネスの売上データなど、さまざまなソースから得られます。 - データの前処理（クリーニング）
収集したデータには、欠損値やエラー、異常値などが含まれていることが多いため、これを整理して分析に適した形式に整える必要があります。このプロセスでは、データのクリーニングやフォーマットの変更が行われます。 - データの可視化
データをグラフやチャートにして視覚的に表現し、パターンやトレンドを視覚的に確認できるようにします。これにより、データの特徴や異常を簡単に理解することができます。 - データ分析・モデリング:
ここでは統計的手法や機械学習アルゴリズムなどを使ってデータのパターンや傾向を解析します。目的に応じて、相関分析や回帰分析、分類、予測モデルなどが使われます。 - インサイトの抽出:
分析結果をもとに、業務改善や意思決定に役立つ重要な情報を引き出します。例えば、売上のトレンド、顧客の行動パターン、業務の最適化などが挙げられます。 - 意思決定・改善策の実施:
分析で得られたインサイトをもとに、経営戦略やマーケティング施策を改善し、実際の業務に活用します。
データ分析は、データの大きさや複雑さに応じて、**定量分析（数値データを扱う）や定性分析（テキストデータや非数値データを扱う）**のアプローチを取ることがあります。また、分析の目的や手法によって、記述的分析（過去のデータの把握）、予測的分析（未来のトレンド予測）、診断的分析（なぜその結果が生じたかを探る）、**処方的分析（最適な解決策を提示）**といった種類に分けられます。
データ分析を行うことで、膨大なデータの中から意味のある情報を抽出し、適切な行動や意思決定に結びつけることができます。
Pythonでデータ分析を始めよう
Pythonのインストールからデータの取り扱い、分析方法まで、データ分析に必要な知識を一つひとつ学んでいきましょう。
Python環境のセットアップ
まず、Pythonがインストールされていることを確認し、必要なライブラリをインストールします。よく使われるライブラリは以下の通りです。
- NumPy: 数値計算用
- Pandas: データ操作と分析
- Matplotlib: グラフ作成
- Seaborn: 高度なデータビジュアライゼーション
インストールコマンド:
|
1 |
pip install numpy pandas matplotlib seaborn |
データの理解
data.info()を使ってデータフレームの基本的な情報を確認することができます。これにより、各カラムの名前、データ型（例えば、数値か文字列か）、欠損値があるかどうかなどの詳細が表示されます。
今回扱うデータは、私のXのデータを使って分析をしていきます。
CSVファイルはこちらから取得してください
実際の手順
1.データの読み込み データをpandasで読み込み、データフレームとして扱います。
|
1 2 |
import pandas as pd data = pd.read_csv('test2X.csv') # CSVファイルを読み込む |
2.data.info()でデータの概要を確認 これを実行することで、各カラムのデータ型や欠損値の有無、行数などを確認できます。
|
1 |
data.info() |
取得データ
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
<class 'pandas.core.frame.DataFrame'> RangeIndex: 7 entries, 0 to 6 Data columns (total 13 columns): # Column Non-Null Count Dtype --- ------ -------------- ----- 0 日付 7 non-null object 1 インプレッション数 7 non-null int64 2 いいね 7 non-null int64 3 エンゲージメント 7 non-null int64 4 ブックマーク 7 non-null int64 5 共有 7 non-null int64 6 新しいフォロー 7 non-null int64 7 返信 7 non-null int64 8 リポスト 7 non-null int64 9 プロフィールへのアクセス数 7 non-null int64 10 ポスト 7 non-null int64 11 動画再生数 7 non-null int64 12 メディアの再生数 7 non-null int64 dtypes: int64(12), object(1) |
データのクリーニング
データのクリーニングを行います。データクリーニングは、分析を行う前にデータの品質を確保するための重要なプロセスです。今回は、主に以下の2つの作業を行います。
欠損値の確認
欠損値がある場合、それを除去するか補完する必要があります。まずはデータセットに欠損値が含まれているかどうかを確認します。
|
1 2 |
# 各カラムに欠損値があるかどうかを確認 print(data.isnull().sum()) |
結果として、すべてのカラムで0が表示されている場合、欠損値はないことになります。
データ型の確認と変換
時系列データ（日付）は、分析を行うためにdatetime型に変換する必要があることがよくあります。これを行うことで、日付を基にした操作（時間の比較やグループ化）が簡単になります。
|
1 2 3 |
# '日付'カラムをdatetime型に変換 data['日付'] = pd.to_datetime(data['日付']) print(data['日付'].head()) # 変換結果を確認 |
出力データ
|
1 2 3 4 5 6 |
0 2024-09-28 1 2024-09-29 2 2024-09-30 3 2024-10-01 4 2024-10-02 Name: 日付, dtype: datetime64[ns] |
重複データの確認
データが重複している場合、それを取り除きます。
|
1 2 3 |
# 重複行の確認と削除 print(data.duplicated().sum()) # 重複行があるか確認 data = data.drop_duplicates() # 重複があれば削除 |
データの集計と要約
データの集計と要約 です。ここでは、データの基本的な統計量を確認し、データの傾向を把握します。これにより、各カラムの平均値や最小値・最大値、分布のばらつきなどを理解することができます。
基本統計量の確認
describe() を使って、数値データの基本的な統計量（平均値、標準偏差、最小値、最大値など）を確認します。
|
1 2 |
# 基本的な統計量を確認 print(data.describe()) |
実際に得られたデータ
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 |
日付 インプレッション数 いいね エンゲージメント ブックマーク 共有 \ count 7 7.000000 7.000000 7.00000 7.000000 7.0 mean 2024-10-01 00:00:00 1207.142857 34.857143 58.00000 0.142857 0.0 min 2024-09-28 00:00:00 503.000000 30.000000 45.00000 0.000000 0.0 25% 2024-09-29 12:00:00 592.000000 30.000000 51.00000 0.000000 0.0 50% 2024-10-01 00:00:00 679.000000 35.000000 52.00000 0.000000 0.0 75% 2024-10-02 12:00:00 900.000000 38.000000 65.50000 0.000000 0.0 max 2024-10-04 00:00:00 4284.000000 43.000000 76.00000 1.000000 0.0 std NaN 1369.697829 5.241774 11.56143 0.377964 0.0 新しいフォロー 返信 リポスト プロフィールへのアクセス数 ポスト 動画再生数 \ count 7.000000 7.000000 7.000000 7.000000 7.000000 7.000000 mean 1.571429 5.571429 0.285714 5.285714 3.857143 0.857143 min 0.000000 2.000000 0.000000 2.000000 2.000000 0.000000 25% 1.000000 3.500000 0.000000 3.000000 2.500000 0.500000 50% 1.000000 5.000000 0.000000 5.000000 4.000000 1.000000 75% 2.000000 7.000000 0.500000 7.500000 4.500000 1.000000 max 4.000000 11.000000 1.000000 9.000000 7.000000 2.000000 std 1.272418 3.101459 0.487950 2.751623 1.772811 0.690066 メディアの再生数 count 7.000000 mean 5.000000 min 1.000000 25% 2.000000 50% 2.000000 75% 3.500000 max 21.000000 std 7.118052 |
特定のカラムに関する詳細な分析
例えば、インプレッション数やエンゲージメントの平均やばらつきを知りたい場合、以下のように個別に確認することもできます。
|
1 2 3 4 5 6 |
# インプレッション数の平均 print("インプレッション数の平均:", data['インプレッション数'].mean()) # いいねの最大値と最小値 print("いいねの最大値:", data['いいね'].max()) print("いいねの最小値:", data['いいね'].min()) |
実際に得られたデータ
|
1 2 3 |
インプレッション数の平均: 1207.142857142857 いいねの最大値: 43 いいねの最小値: 30 |
グループ化して集計
日付別にデータを集計したり、特定の条件でデータをグループ化して集計することもできます。
|
1 2 3 |
# 日付ごとのインプレッション数の平均を計算 grouped_data = data.groupby('日付')['インプレッション数'].mean() print(grouped_data) |
実際に得られたデータ
|
1 2 3 4 5 6 7 8 9 |
日付 2024-09-28 503.0 2024-09-29 4284.0 2024-09-30 1077.0 2024-10-01 723.0 2024-10-02 535.0 2024-10-03 679.0 2024-10-04 649.0 Name: インプレッション数, dtype: float64 |
データの可視化
データをグラフで表現することで、傾向や相関関係を直感的に理解しやすくなります。今回は、基本的な可視化方法をいくつか紹介します。
ヒストグラム
各変数の分布を確認するためにヒストグラムを使います。例えば、インプレッション数の分布を見たい場合、以下のようにします。
参考コード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
import matplotlib.pyplot as plt # Prepare data for the bar chart dates = data['日付'] impressions = data['インプレッション数'] likes = data['いいね'] # Create a bar chart for impressions and likes plt.figure(figsize=(10, 6)) plt.bar(dates, impressions, label='Impressions', alpha=0.7, color='blue') plt.bar(dates, likes, label='Likes', alpha=0.7, color='green', bottom=impressions) # Add labels and title plt.xlabel('Date') plt.ylabel('Count') plt.title('Impressions and Likes by Date') plt.xticks(rotation=45) plt.legend() # Display the bar chart plt.tight_layout() plt.show() |
出力
散布図
散布図（さんぷず、Scatter Plot）とは、二つの変数間の関係を視覚的に表現するためのグラフです。横軸（X軸）と縦軸（Y軸）にそれぞれ異なる変数をプロットし、それらの点の位置から変数間の相関関係やパターンを読み取ることができます。
参考コード
|
1 2 3 4 5 6 7 8 |
# Create a scatter plot to visualize impressions and likes plt.figure(figsize=(8, 6)) plt.scatter(data['インプレッション数'], data['いいね'], alpha=0.7, color='blue') # Add labels and title plt.xlabel('Impressions') plt.ylabel('Likes') plt.title('Scatter Plot of Impressions vs Likes') |
出力
ヒートマップ
ヒートマップ（Heatmap）とは、データの値を色の濃淡や色合いで視覚的に表現するグラフのことです。ヒートマップでは、色が数値の大小を表し、例えば、数値が高い場合は色が濃く、低い場合は色が薄くなるように設定されることが一般的です。これにより、データのパターンや傾向を一目で把握できるようになります。
参考コード
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
import matplotlib.pyplot as plt import seaborn as sns # 日本語フォントとして 'Meiryo' を設定 plt.rcParams['font.family'] = 'Meiryo' # 相関行列の計算 correlation = data.corr() # ヒートマップの描画 plt.figure(figsize=(10, 8)) sns.heatmap(correlation, annot=True, cmap='coolwarm', fmt='.2f', linewidths=0.5) # タイトルとレイアウトの調整 plt.title("相関関係のヒートマップ", fontsize=16) plt.xticks(rotation=45, ha='right') plt.yticks(rotation=0) plt.tight_layout() # ヒートマップの表示 plt.show() |
出力
まとめ
Pythonはそのシンプルで読みやすい構文と、強力なデータ分析ライブラリを持つため、初心者からプロフェッショナルまで幅広く使用されています。本記事では、データの収集から前処理、可視化、分析、インサイト抽出までの流れを紹介しました。特に、pandasやMatplotlibといったライブラリを活用することで、データを扱う際の作業が非常に効率的になることを実感いただけたかと思います。
データ分析は、単にデータを確認するだけでなく、その背景にあるトレンドやパターンを理解し、現実世界の課題に活かす重要なプロセスです。ぜひ、今回のステップを参考に、実際のデータを使ってより深い分析に挑戦してみてください。
また、Pythonにはこれからも多くの可能性が広がっており、データサイエンス、機械学習、人工知能分野でもさらなる発展が期待されています。Pythonを学び続けることで、データから新たな価値を引き出すスキルを手に入れることができるでしょう。
次回は、より具体的な分析事例や、Pythonの高度なデータ分析手法について掘り下げていきます。データの力を使って、あなたのプロジェクトやビジネスをさらに成長させていきましょう！
もしわからないことがあれば、このブログやXに質問等を投げていただければと思います。
Xのアカウントはこちら
プログラミング学習を進めているけれど、まだ副収入につなげられていない…そんなあなたへ！今こそ、学んだスキルを活かして副業に挑戦する絶好のチャンスです。プログラミングだけでなく、自分のスキルや商品をネットで販売する『ネットショップ』を開設してみませんか？
ネットショップを持つことで、自分の知識やスキルをより多くの人に届け、副収入を得ることが可能です。学んできたプログラミングを活かして、ショップのカスタマイズや運営も自由自在に行えますし、もし商品作成が難しい場合でも、デジタル商品やサービス提供など、いろんな選択肢があります。
このステップで一歩踏み出せば、今学んでいることが副収入に直結し、自分の時間をより有効に使うことができるはずです！一緒にネットショップを開設し、副業の第一歩を踏み出しましょう！
プログラミングを視覚的に理解したい方やプログラミングで絵を書いてみたい方はUdemyで講座も作っているのでこちらも参考にしてみてください
Udemy講座
ChatGPTでPythonの学習を始めてみたい方は以下の記事を参考にしてみてください
プログラミングを学びたいけど、どこから始めたらいいのか分からない、自分に合っているか不安…そんな悩みを持っている方におすすめしたいのが、 無料相談 サービスです！
この無料相談では、あなたの現状や目標に合わせて、最適な学習プランを一緒に考えてくれます。どんなスキルが必要なのか、どうやって学習を進めると効果的かを具体的にアドバイスしてもらえるので、無駄なく効率的にスタートを切ることができます。
さらに、プログラミング学習には同じ目標を持つ 仲間 がいること、そして頼りになる メンター の存在がとても大きな支えになります。独学ではどうしてもつまずきやすい部分も、メンターがあなたの成長に合わせて親身にサポートしてくれるので、安心して学びを進められます。
まずは 無料相談 で、あなたに合ったプランを見つけて、スキルアップへの第一歩を踏み出してみませんか？今なら、迷っている方でも気軽に相談できるチャンスです！
