Python

【Pythonコード解説】価格.comをスクレイピングして中古車データを収集する

2021年3月7日

【Pythonコード解説】価格.comをスクレイピングして中古車データを収集する

こんにちは。TATです。

今回は久しぶりのPythonのコード解説記事です。

過去記事で紹介したシエンタとフリードの中古車データの分析で使用したPythonコードについて解説していきます。

【Pythonでデータ分析】シエンタとフリードの中古車データを分析してみた
【Pythonでデータ分析】シエンタとフリードの中古車データを分析してみた

 

本記事では、その中でもデータ収集つまりはPythonによるスクレイピング、および収集したデータを整形する前処理にフォーカスして解説します。

その後の分析(可視化やデータの集計など)については、コード付きのスクショで確認できるようにしているので過去記事をご覧くださいませ。

データ収集や前処理の部分についてはテクニカルで細かい話になってくるので別記事で出すことにしました。

コードを全て公開するので、Python学習中を方のお役に立てると嬉しいです。

【Pythonコード解説】価格.comをスクレイピングして中古車データを収集する

【Pythonコード解説】価格.comをスクレイピングして中古車データを収集する

収集ターゲットのサイトを確認する

まずは今回のターゲットでる価格.comのサイトについて確認します。

スクレイピングを行う際には、まずはサイトの構造をみる必要があります。

今回対象としたページは2種類あります。

  • 特定車種の中古車の一覧ページ
  • 各中古車の詳細ページ

 

基本的には一覧ページへ行って、そこで各詳細ページのURLを取得して順番にアクセスしていくような流れになります。

全部終わったら次にページに進み、次のページがなくなるまでこれを繰り返していきます。

 

特定車種の中古車の一覧ページ

まずは中古車の一覧ページを確認します。

今回の分析対象となるシエンタとフリードのページはこちらになります。

https://kakaku.com/kuruma/used/spec/Maker=1/Model=30098/Generation=41908/Page=1/ (シエンタ)

https://kakaku.com/kuruma/used/spec/Maker=2/Model=30264/Generation=42017/Page=1/(フリード)

最後のPageの数字を変えるとページを切り替えることができることがわかります。

 

一覧ページはこんな感じです。

(参照元:価格.com)

次ページに行くには>ボタンを押すか、ページを直接選びます。

URLではPageの後に続く数字を変更すればOKです。

 

各中古車の詳細ページ

次に詳細ページを確認します。

詳細ページでは一覧ページよりも詳細な情報を入手することができます。

(参照元:価格.com)

右側には走行距離などのデータがあります。

これは一覧ページでも確認できる情報です。

必要な情報がこれで十分であれば、一覧ページから収集すれば十分ですね。

 

しかし詳細ページには下にスクロールするとさらに細かいデータがあります。

(参照元:価格.com)

装備・オプションや車両情報が揃っています。

これらの情報は詳細ページにこないと見ることができません。

ゆえに、ここのデータが必要になるのであれば、データはこのページから収集する必要があります。

今回は特に装備・オプションのデータも欲しかったので、詳細ページからデータを収集しました。

 

一覧ページは60ページまでしか表示できない・・・

次に問題点の確認です。

鋭い方ならもうお気づきかもしれませんが、一覧ページをよく見ると最高でも60ページまでしか表示できないことがわかります。

(参照元:価格.com)

1ページで20件ずつ表示されるので、最高でも1,200件までしか表示できないことがわかります。

スクショの通り、シエンタの中古車は2,216件もあるので全てを表示することができません。

よって少し工夫が必要になります。

今回は、地域ごとに分割してデータ収集することにしました。

左側にある条件で、地域を選択するとエリアを絞って検索することができます。

これで総数が1,200以下になるように調整します。

今回の場合は、次のように分けるといい感じになりました。

  1. 北海道, 東北, 関東
  2. 甲信越, 北陸, 東海, 近畿
  3. 中国, 四国, 九州, 沖縄

ここではマニュアルでやってますが、ちゃんと作り込むなら件数に応じてうまく条件を分割して検索するプログラムを入れ込んでもOKです。

今回はスピード重視でマニュアルで対応した次第です。

一回きりの情報収集なので、マニュアルでやったほうが早いという判断です。

ちなみにエリアごとに分けて検索するとURLは次のようになります。

  1. 北海道, 東北, 関東
    → "https://kakaku.com/kuruma/used/spec/Maker=1/Model=30098/Generation=41908/Prefecture=1,2,9/Page=1/"
  2. 甲信越, 北陸, 東海, 近畿
    → "https://kakaku.com/kuruma/used/spec/Maker=1/Model=30098/Generation=41908/Prefecture=17,24,29/Page=1/"
  3. 中国, 四国, 九州, 沖縄
    → "https://kakaku.com/kuruma/used/spec/Maker=1/Model=30098/Generation=41908/Prefecture=36,42,47/Page=1/"

これらのURLから情報を収集して、全て合体すればデータが完成します。

ちなみにフリードは総数が1,200件以下だったので、分割して検索する必要はありませんでした。

 

データ収集用のソースコードを全て公開します

サイトの確認が終わったところで早速データを収集します。

Pythonでスクレイピングしてデータを収集します。

 

まずはコードをどうぞ

まずはとりあえず全コードを一気にお見せします。

その後にコードを機能ごとにかいつまんで解説していければと思います。

あんまりきれいなコードではないですがご容赦くださいw

 

ざっくり解説します

なるべく多くのコメントをつけるようにしたので、どこで何をやっているのかはなんとなくお分かりいただけるかと思います。

簡潔にプログラムの流れについて解説しておきます。

ここでは3つの関数を作成しました。

それぞれの役割は関数名の通りです。

  • get_html:指定したURLのHTMLを取得する
  • parse_car_detail_info:中古車の詳細ページからデータを抽出する
  • check_next_page:次のページが存在するかチェックする

 

63行目以降がメインのコードになります。

67行目でURLのリストを定義しています。

これは地域ごとに分けたシエンタの一覧ページとフリードの一覧ページです。

それぞれのURLに対して次ページがなくなるまでスクレイピングしていく流れになります。

 

それぞれのURLでPageを指定したら一覧ページのHTMLを取得します。(80行目)

20件の中古車データを取得して、それぞれのURLにアクセスして詳細情報を取得します。

取得データはall_dataに追加していきます。

各ページを取得するたびに1秒待つ動作を入れて、サーバーへの負担を軽減しています。

最終的に集めたデータをDataFrameに変換して収集完了です。

 

収集データを確認する

上記のコードで収集したデータがこちらになります。

ご覧の通り、謎のカラムが入っていますねw

収集したデータをそのまま分析に使うことはほとんどありません。

データをきれいにする前処理が必要になってきます。

 

【前処理】収集したデータを整形する

次に収集したデータを整形する前処理の作業について解説していきます。

基本的にスクレイピングで集めたデータをそのまま分析に使うことができる場合はほとんどありません。

データの型を変換したり、不要なデータを削除したり、いろいろな整形作業が必要になってきます。

 

実施した前処理

今回行った作業は次の通りです。てんこ盛りですw

ポイント

  • 「年式/初度登録」カラムから年式(西暦)を抽出
  • 「価格」「燃費(JC08モード)」カラムを数値データに変換
  • 「走行距離」カラムを数値データ(km単位)に変換
  • 「未使用車」「禁煙車」「ワンオーナー」「修復歴」カラムの対象となるものを1、そうでないものを0に変換
  • フリードになぜか1991年のデータが紛れていたので排除
  • 「価格」あるいは「年式」情報がないデータは排除

 

これらの処理を施すことで、データ分析が可能な状態になります。

 

コードを公開

それでは上記の前処理を行うためのコードを公開します。

一気にまとめてどうぞ。

 

上記のコードを使うと、データをきれいに前処理することができます。

基本的にはapply関数を使ってワンコマンドで処理しています。

apply関数を使うと列単位でまとめて処理できるので便利です。

lambda関数を使えば関数を定義せずに関数を扱うことができるので、一回きりの処理を行う場合は便利です。

処理が複雑だったり、何度も繰り返し同じ処理を行う場合には関数として外出しした方が便利になります。

 

完成データを確認

前処理を完了したデータがこちらになります。

変なカラムは排除されて、データもきれいに整形されていることが確認できます。

ここまでの処理が完了してようやくデータ分析を開始することができます。

データ収集もなかなか大変な作業ですが、それ以上にこの前処理の作業の方が大変です。

そして単純にめんどくさいです。

データを確認した上で、分析に使うにはどんな作業が必要なのかをいちいち調べる必要があるのでデータ内容によってはかなり厄介な作業になります。

しかしながら、この作業をおろそかにするとデータ分析が行えないので、この作業は必須になります。

 

ここまで紹介したコードで準備したデータを使って、こちらの記事で紹介している分析を行いました。

【Pythonでデータ分析】シエンタとフリードの中古車データを分析してみた
【Pythonでデータ分析】シエンタとフリードの中古車データを分析してみた

 

データ分析にはPythonが最適です。

ここまで解説してきたように、Pythonを使うと短いコードでわりと簡単にデータの収集や分析をすることができます。

Pythonはデータ分析やAI関連に強くて、世界中で人気を集めている言語です。

すっきりとしたコード体系で、誰でもきれいなコードが書けるような設計になっています。

過去の記事では、データ分析としてPythonをご紹介している記事や、Pythonでできることをまとめたものがありますので、もしPythonにご興味があれば合わせてご覧ください。

【いますぐ始められます】データ分析をするならPythonが最適です。【学習方法もご紹介します!】
【人気上昇中】今人気のプログラミング言語「Python」は何ができるのか?できることまとめます【転職でも有利です】
【目的別】Pythonが学べるUdemyのおすすめコースを紹介します【随時更新】

 

まとめ

いかがでしたでしょうか。

今回は過去記事で紹介したシエンタとフリードの中古車データの分析で使用したPythonコードについて解説しました。

【Pythonでデータ分析】シエンタとフリードの中古車データを分析してみた
【Pythonでデータ分析】シエンタとフリードの中古車データを分析してみた

 

特にデータ収集と整形にフォーカスしてPythonコードを全て公開して解説しました。

現在Pythonを学習している方やこれからPythonを学ぼうとしている方に少しでもお役に立てば嬉しいです。

ここまで読んでくださってありがとうございました。

 

データ販売を始めました


オニールとミネルヴィニの投資手法を日本株に適用するために必要なデータの販売を始めました。

あらゆるデータを集約して、誰でも簡単にスクリーニングできるようにCSV形式でデータを提供します。

オニールとミネルヴィニの投資手法を日本株に適用するために必要なデータを販売します!

続きを見る




Pythonの独学ならUdemyがオススメ!


Udemyなら、セール中だと90%オフとかで買えるのでコスパ最強です。

僕はUdemyでPython独学に成功しました。

関連
【目的別】Pythonが学べるUdemyのおすすめコースを紹介します【随時更新】

続きを見る



関連
プログラミングの独学にUdemyをおすすめする理由!【僕はUdemyでPythonを独学しました!】

続きを見る



Udemyを詳しく見る!



プログラミングスクールもオススメ!



プログラミングスクールもオススメの選択肢です。

初心者をしっかりサポートしてくれるシステムが整っているので、挫折する可能性が一気に下がります。

効率よく最速で学ぶならプログラミングスクールが最適です。

関連
【まとめ】Pythonが学べるおすすめプログラミングスクール

続きを見る



関連
プログラミング学習は独学とプログラミングスクールどちらにすべきか?【結論、全部試すべし!】

続きを見る



関連
高額なプログラミングスクールを利用する価値はあるのか?【結論、人それぞれですw】

続きを見る




TechAcademy (テックアカデミー)


オンラインに特化したプログラミングスクールで、プログラミングの他に動画編集などの豊富なコースが用意されています。







TechAcademyを詳しく見る!



TECH::CAMP (テックキャンプ)


いつでも講師に質問できるチャットシステムが最強です!







TECH::CAMPを詳しく見る!



 

CodeCamp (コードキャンプ)


講師とのマンツーマンレッスンで挫折しない!







CodeCampを詳しく見る!


-Python
-, , , , ,

© 2021 気ままなブログ