2023年Q3（7〜9月）の運用実績のご報告です。

2023年Q3（7〜9月）の運用実績は、合計で+99,151円でした。

内訳は以下の通りです。

• 配当金および分配金：+ 132,641円
• 売買益：-33,490円
• 合計：+ 99,151円

ここで売買益に含めているのは、売却して利益が確定している銘柄です。

保有中銘柄の含み益・含み損は含まれません。

売買益はマイナスになりました。。。

2023年Q3（7〜9月）の運用実績（+ 99,151円）

配当金および分配金の内訳

まずは配当金および分配金の内訳です。

2023年Q3（7〜9月）中に受け取った配当金および分配金の合計は132,641円でした。

内訳は次の通りです。

• 7814 日本創発グループ: 1,100円
• IBM: 14,053円
• JNJ: 7,037円
• KO: 7,058円
• MCD: 4,815円
• MMM: 17,156円
• PG: 5,876円
• QQQ: 1,764円
• SPYD: 13,880円
• T: 17,033円
• VT: 6,217円
• VTI: 4,962円
• VYM: 9,474円
• VZ: 18,432円
• WMT: 3,784円
• 合計: 132,641円

上記の通り、合計で132,641円の配当金をいただきました。

前年同期の配当金は92,960円でしたので、順調に積み上がってきました。

ちなみに配当金を月ごとに見るとこんな感じです。9月に集中してますね。

ばらつきがかなり大きいですが、9月みたいに1ヶ月で8万円とかもらえたら結構嬉しい。毎月10万くらいほしい。。。

売買益の内訳

次に売買益について内訳を紹介していきます。

売買益の結果としては、合計で-33,490円でした。

2023のQ3は全然バイバイしませんでした。

全部で7銘柄取引して、3勝4敗です。ボロボロですね。しかもマイナスの損失率が高い。。。

学びと今後の投資戦略

2023年Q3の反省と今後の投資戦略についてまとめます。

今回はそもそも取引を全然してないので反省もないですw

強いて反省を上げるなら本業との両立もっと頑張らないといけないということですかね。。。w

とりあえず本格的な売買再開に向けて色々動いてはいるのでそちらについて簡単にご紹介しておこうと思います。

新しいシステムを開発中。完成したら投資でニート生活をリニューアルしてnoteで提供しているデータもアップデートします。

まず大きな変化をご紹介しておきます。

現在、「投資でニート生活」をリニューアルしようとしています。

X.comのAPIの条件も変わってきているので、発信する内容も変えたいと思ってます。

これに伴い、ここまで色々溜まってきていたシステムに対する不満を一気に解決してやろうと、再始動してますw

「投資でニート生活」は、管理を楽にするためにwordpressに移行しようかなと思ったりもしています。

さらに「投資でニート生活」とは別に、レラティブストレングスなどの指標を簡単に見られるようにするためのダッシュボードを作ろうとしたりしています。

ただ、まだまだ開発には時間がかかりそうでして、実際に移行できるのは年内にできればいい方かな？という感じのスピード感です。

また、レラティブストレングスについては、これまでは週次で更新していましたが、新しいシステムでは毎日更新するつもりなので精度も上がると思います。

こんな感じですね。

だいぶプログラムができてきた

こんな感じで適当に証券コードをぶん投げればチャートが自動生成できるようになった

これをDashboardにしてもっとインタラクティブに動かせるようにしたい

チャートもカスタマイズできるようにしたい

一旦は僕が必要なものだけ実装しようと思う pic.twitter.com/nZQCrw5rLQ

— TAT@オニール流とミネルヴィニ流を日本株へ！ (@investortat) September 15, 2023

完成までまだしばらくお待ちください。開発頑張ります。

本業が忙しくて手が回らない問題。10月から本気出すw

最近、本業が忙しくなりつつあり、「投資でニート生活」の開発や株の分析に時間を全然使えていない状態です。

9月5日以降は全く売買もしていませんでした。。。

10月になって少し落ち着きを取り戻してきたので、また活動を本格的に再開していきたいと思っています。

まずは分析のためにも一刻も早く新システムを作り上げたい。。。

アメリカ株のポートフォリオ

最後にアメリカ株のポートフォリオの公開です。

2023年9月末時点のアメリカ株のポートフォリオはこちらになります。

 

この投稿をInstagramで見る

 

TAT@オニール流とミネルヴィニ流を日本株へ！(@investortat)がシェアした投稿

今四半期も淡々と積み立てました。

• 7月入金：30万円
• 8月入金：30万円
• 9月入金：30万円
• 配当金の再投資：132,641円

よって、2023年Q3の3ヶ月間の合計投資金額は 1,032,641円でした。

今四半期も合計投資額が100万円を超えました。

よくよく考えると年間で400万円投資に回してるって頭おかしいですよね。。。

もうちょっと家族と使っちゃってもいいのかなと感じる今日この頃です笑

まとめ

ここでは2023年Q3（7〜9月）の運用実績を報告しました。

2023年Q3（7〜9月）の運用実績は、合計で+99,151円でした。

今期は本業が忙しくて、株のための時間がなかなか取れない状況でしたが、10月からは少しずつ再開していきたいです。

でもそのためには今開発しているシステムを作り上げる必要があるので、しばらくこっちにコミットしようと思います。

TwitterやInstagramでも発信していますので是非ともフォローしていただけると嬉しいです。

最後まで読んでくださり、ありがとうございました。

Copyright © 2023 気ままなブログ All Rights Reserved.

2023年Q2（4〜6月）の運用実績のご報告です。

2023年Q2（4〜6月）の運用実績は、合計で+190,188円でした。

内訳は以下の通りです。

• 配当金および分配金：+ 134,519円
• 売買益：+55,669円
• 合計：+ 190,188円

ここで売買益に含めているのは、売却して利益が確定している銘柄です。

保有中銘柄の含み益・含み損は含まれません。

小学ですが、今四半期も売買益はなんとかプラスに維持することができました。

2023年Q2（4〜6月）の運用実績（+ 190,188円）

配当金および分配金の内訳

まずは配当金および分配金の内訳です。

2023年Q2（4〜6月）中に受け取った配当金および分配金の合計は134,519円でした。

内訳は次の通りです。

• 7191 イントラスト: 1,400円
• HDV: 7,811円
• IBM: 13,327円
• JNJ: 6,681円
• KO: 5,951円
• MCD: 4,638円
• MMM: 13,600円
• PG: 5,488円
• QQQ: 1,571円
• SPYD: 14,064円
• T: 12,828円
• VT: 9,615円
• VTI: 4,960円
• VYM: 10,208円
• VZ: 15,662円
• WMT: 6,715円
• 合計: 134,519円

上記の通り、合計で134,519円の配当金をいただきました。

2022年Q2の配当金は81,388円だったので、ざっくり1.5倍です。順調に増えています。

ちなみに配当金を月ごとに見るとこんな感じです。

6月がダントツで多いです。

売買益の内訳

次に売買益について内訳を紹介していきます。

売買益の結果としては、合計で+55,669円でした。

結構売買してますね。

全部で13銘柄取引して、5勝8敗です。

余裕の負け越しです。それでも全体ではプラスとなりました。

これは損切りが素早くできたことが要因と思います。

学びと今後の投資戦略

2023年Q2の反省と今後の投資戦略についてまとめます。

新たな発見をしてから投資の精度が改善しました。

52週高値と50日移動平均線との乖離率を見たら精度が上がった

5月の後半、チャートを見てたらふとこんなことに気づきました。

TAT

ボックス理論に加えて、50日移動平均線との乖離率を見ればいいのではないか？

これまではボックス理論をメインで使っていたのですが、どうもうまくいくことと失敗することが両極端で、大きな利益はなかなか取れない状況が続いていました。

失敗した投資を見ていくと、どうやらエントリー時で50日移動平均線から現在の株価がかなり乖離していることが多かったことに気づきました。

20％を超えた乖離をしている場合も結構ありました。

乖離率を見ると、買われすぎ、売られすぎの判断をすることができます。

色々と思考をめぐらしながらチャートを眺めた結果、次のように考えに至りました。

TAT

ボックス理論に加えて、次の2つの乖離率を考慮した上で投資を判断する。

• 52週高値と50日移動平均線の乖離率
• 直近の終値と50日移動平均線の乖離率

そして乖離率の計算の仕方は、通常のやり方と少し変えました。

ほとんどの場合、50日移動平均線に対する乖離率を計算します。

この場合、例えば、終値と50日移動平均線の乖離率は、終値が移動平均線の上にいればプラス、下にいればマイナスになります。

しかし、僕の場合は乖離率を損切りポイントの目安として活用したかったので、終値に対する50日移動平均線の乖離率を計算しました。

こうすることで、直近の終値から何％下落したら50日移動平均線に接するのかを把握することができます。

50日移動平均線よりも終値が下にいる銘柄についてはそもそも投資の対象から外しています。

52週高値と50日移動平均線の乖離率も同様の計算方法です。

つまり、52週高値から何％下落したら50日移動平均線に接するのかを把握するために利用します。

この乖離率が僕が個人的に利用している損切りポイントである8％未満であれば、損切りをリスクは大きく下げることができます。

実際、このやり方を取り込んでからは成績が明らかに良くなりました。

損切りのリスクが小さくなったので、損小利大になりました。

もちろん、条件が厳しくなった分、エントリーするチャンスも減ってしまうのですが、それでも勝率が改善するなら全然OKです。

そして月別の売買益をまとめるとこんな感じのなります。

乖離率を考慮した5月後半から精度が上がり、6月にいくつか利確してそこそこの利益を取ることができました。

ちなみにこの方法をやろうと決めてから、noteで提供しているレポートにも乖離率を追加しました。

レポートを見れば52週高値、終値に対する50日移動平均線の乖離率が一目で確認することができるので、効率的に銘柄選定を行うことができるようになりました。

例として、うまくいった銘柄を1つだけご紹介しておきます。

トーセイです。

監視銘柄への登録、52週高値更新、乖離率が10％未満と全ての条件を満たしていました。

 

この投稿をInstagramで見る

 

TAT@投資でニート生活(@investortat)がシェアした投稿

近々レポートをアップデートしようと思っています

乖離率の発見をしてから、noteで提供するレポートをアップデートしようと思っています。

すでに乖離率は追加したのですが、これを日別で確認できるようにチャートに加えようと思っています。

他にもいくつかの点でレポートを修正したい部分があります。

ちょっと最近は仕事が忙しくて時間があまり取れないのですが、どうにか時間を作ってレポートをアップデートさせようと思っています。

もう少々お待ちください。

アメリカ株のポートフォリオ

最後にアメリカ株のポートフォリオの公開です。

2023年6月末時点のアメリカ株のポートフォリオはこちらになります。

 

この投稿をInstagramで見る

 

TAT@投資でニート生活(@investortat)がシェアした投稿

今四半期も淡々と積み立てました。

• 4月入金：30万円
• 5月入金：30万円
• 6月入金：30万円
• 配当金の再投資：134,519円

よって、2023年Q2の3ヶ月間の合計投資金額は 1,034,519円でした。

四半期の合計投資額が100万円を超えました。

配当金を再投資しているのが結構効いてる感じですね。

このまま継続していきます。

まとめ

ここでは2023年Q2（4〜6月）の運用実績を報告しました。

2023年Q2（4〜6月）の運用実績は、合計で+190,188円でした。

2023年Q1に続き、Q2でもプラスを維持することができました。

売買益をプラスで維持できたのは嬉しいですね。

そして乖離率を考慮してからは精度が上がったので、今後はさらに利益を伸ばしていければ嬉しいですね。

noteで提供しているレポートも時間見つけてアップデートします。

TwitterやInstagramでも発信していますので是非ともフォローしていただけると嬉しいです。

最後まで読んでくださり、ありがとうございました。

Copyright © 2023 気ままなブログ All Rights Reserved.

今日のテーマは「スクレピングとは何か？」です。

悩んでいる人

スクレイピングってなんだろう？ウェブからデータを収集する技術であることは聞いたことあるけど細かいことはよくわからない。どんな場面で活用できるのだろうか・・・

上記の疑問に答えていきます。

本記事の信憑性

TATのプロフィール（2023年3月現在）

• 社会人になってからPythonを独学して転職に成功
• これまでPythonを使ったデータ分析、AI開発、ダッシュボード開発、プロセスオートメーションなどの業務に従事
• IT→金融→不動産→アドテク（全て外資系企業）と、色々な業界を渡り歩きながら経験とスキルを積んでいます
• OANDA証券やOctoparseなどに技術系の記事を提供

TAT

スクレイピングは、ウェブ上にあるデータを抽出する技術のことを指します。

スクレイピングを使えば、ウェブ上にある大量の情報の効率的に収集することができ、そのデータをビジネスや研究などに活用することができます。

業務効率化の観点でもスクレイピングは便利です。

マニュアルでウェブサイトから情報を収集する場合、1つ2つなら問題ありませんが数百個、数千個になってくると大変な作業になってきます。

スクレイピングを活用すればこういった作業を自動化でき、さらに定期的に実行すれば日々の業務を完全自動化することも可能です。

情報の価値が高まりつつある現在の情報社会においては、いかにたくさんの価値ある情報を収集できるかが重要になってくる場面があります。

スクレイピングの技術があればこういった場面で優位に立つことができます。

本記事では、スクレイピングについて紹介します。

スクレイピングとは何か、スクレイピングで何ができるのか、さらにスクレイピングを関連の強いPythonについても紹介していきます。

この記事を読んでいただくと、スクレイピングの基本を理解することができ、スクレイピングを実践するために必要なプロセスがわかります。

スクレピングについて知りたい、スクレピングを勉強してみたい、という方は是非とも最後まで読んでいただけると嬉しいです。

スクレイピングとは何か？

まずはスクレイピングについて紹介していきます。

スクレイピングとは、広義にはデータを収集して整理する作業のことを指します。

ただし、ここでは特にWebスクレイピングについて焦点を当てて紹介していきます。

実際の工程では、プログラムがウェブサイトを巡回し、HTMLやCSSなどのコードを解析してデータを抽出します。

これにより、大量のウェブページから情報を効率的に収集することが可能になります。

スクレイピングで何ができるのか

次にスクレイピングの利用例を紹介します。

スクレイピングを使うと、具体的にどんなことができるのでしょうか。

データ収集

スクレイピングを利用する最大のメリットはやはりデータ収集です。

手動で大量のデータを集めるのは大変ですが、スクレイピングを活用すれば効率的に収集することができます。

例えば、株式投資の場面では、株価データや業績データなどをスクレイピングで収集して、それらを活用して投資判断を下すことができます。

また、不動産業者であれば、複数の物件の情報を収集し、適正価格を判断することが可能です。

市場調査

市場調査もスクレイピングを活用できる場面の1つです。

商品やサービスの評価や価格、ユーザーのフィードバックなどを収集し、市場の動向を把握することが可能です。

例えば、新商品を開発する際に、同じカテゴリーの既存商品の評価や価格、ユーザーフィードバックを収集し、それを基に商品開発を進めることが可能です。

データ分析

データ分析のためにスクレイピングでデータを収集することはよくあります。

収集したデータを分析することで、新たな知見を得ることができます。

特にビジネスにおける用途は多いです。

データを活用して判断することをデータドリブンといったりもしますが、こういった判断を行うためにはきちんとデータを見て判断することが大事です。

例えば、スクレイピングで収集したユーザーレビューや評価データを分析し、商品やサービスの強みや弱み、改善点を発見することが可能です。

スクレイピングを使えば、こういった分析・判断のために必要なデータを効率的に収集することができます。

オートメーション

そして最後に、日々の繰り返し作業を自動化することも可能です。

ログイン操作、フォームの入力、ボタンのクリックなどの一連の操作を自動化することで、作業効率を大幅に向上させることができます。

例えば、毎日定時にウェブサイトの情報を確認する必要がある場合、その作業をスクリプト化し、自動化することが可能です。

日々の繰り返し業務から解放されることで、少し早く帰宅することもできますし、空いた時間を使って別の業務を行うこともできます。

このように、スクレイピングはたくさんの場面で活用することができます。

日々の作業を効率化することができるので、スクレイピングのスキルを持っておくと重宝される場面がたくさんあります。

スクレイピングの注意点

スクレイピングはさまざまな用途に利用できるとても強力な技術ですが注意点もあります。

ここで、スクレイピングを行う際に注意すべき点について簡単にまとめます。

きちんとルールを守って行うことが大切です。

著作権

1つ目は著作権です。

基本的に、自分自身の業務効率化を目的としている場合や分析のための情報収集などについては問題なしとされています。

ただし、収集したデータをそのまま第三者に提供するとか、取得したデータをそのまま利用する場合には注意が必要です。

個人情報の扱い

収集する情報に個人情報が含まれている場合には注意が必要です。

個人を特定可能な情報を含むデータをスクレイピングする場合、データ保護法に違反する可能性があります。

個人情報が含まれているようなデータはスクレイピングしない方が無難です。

利用規約

スクレイピングを行う際には、サイトの利用規約も確認する必要があります。

サイトによっては、「スクレイピングを禁止する」と利用規約に明記している場合もあります。

この場合、スクレイピングするのはアウトです。

スクレイピングする際にはきちんと確認するようにしましょう。

サーバーへの負荷

最後にサーバーへの負荷も考慮しましょう。

利用規約に「スクレイピングの禁止」との記載がなくても、「サーバーに過度な負担を与える行為を禁止とする」みたいな書き方がされている場合も結構あります。

この場合、スクレイピングはアウトではありませんが、サーバーへの負荷は考慮しなくてはいけません。

一度に大量のリクエストを送るようなやり方は避けるべきです。

基本的に、いかなるサイトをスクレイピングする場合においても、このサーバー負担を考えたプログラムを設計することが大切です。

やりすぎるとアクセスブロックされる場合もありますので気をつけてください。

Pythonとスクレイピング

次にプログラミング言語の1つであるPythonについてご紹介します。

スクレイピングを行う際には、プログラムを書く必要があります。

実際にはOctparseなどのサービスを使えば、ノーコードでもスクレイピングができてしまうのですが、より自分専用に自由に設計したい場合はプログラミングのスキルが必要になってきます。

プログラミング言語はたくさんありますが、スクレイピングをするにあたってダントツでおすすめなのがPythonです。

Pythonとは？

Pythonはプログラミング言語の1つです。

他のプログラミング言語に比べて、読みやすく、短くて簡潔なコードを書くことが可能な言語で、プログラミング初心者でも比較的学びやすい言語とされています。

Pythonはスクレイピングの他にも、データ分析やAI、ウェブ開発など、さまざまな用途に活用できます。

スクレイピングによるデータの収集、分析、可視化、さらにはAIの実装など、あらゆる用途に対応できることから、Pythonの需要は世界中で高まりつつあります。

Pythonがスクレイピングに適している理由

次にPythonがスクレイピングに適している理由をご紹介します。

以下の通りです。

1番の理由は、スクレイピングに特化したライブラリが豊富なことにあると思います。

BeautifulSoupやScrapyなどのライブラリを活用すると、短いコードでHTMLを簡単に解析することができ、任意の情報を自由に抽出することができるようになります。

Pythonの学習

Pythonは数あるプログラミング言語の中でも比較的学びやすいと言われています。

構造がシンプルで、比較的短いコードで複雑な処理にも対応できるのが魅力です。

Pythonでスクレイピングを実装するためには、Pythonの最低限の知識と、スクレイピングに必要なPythonライブラリの理解が必要です。

さらにはHTMLやCSSの構造についても理解しておくと、スクレイピングがスムーズに実装できるようになります。

これらの知識を学ぶにはいろいろな方法があります。

プログラミングスクールを活用するのもありですし、Udemyなどの動画学習サイトを利用するのもありです。

Pythonでスクレイピングを実行する

次にPythonを使用してスクレイピングを実行するまでの流れについてご紹介していきます。

Pythonを使用したスクレイピングの流れ

まずは全体の流れを確認しましょう。

簡単なスクレイピングを実行してみる

実際に簡単なスクレイピングを実行してみましょう。

実際のコードを見ると、かなり短いコードでスクレイピングが実装できるということが実感いただけると思います。

ここでは簡単な例として本サイト「気ままなブログ」のトップページをスクレイピングして、サイトのタイトルを取得してみることにしましょう。

必要なライブラリのインストール

まずはライブラリのインストールです。

Pythonでスクレイピングを行うためには、requestsとbeautifulsoup4(bs4)という2つのライブラリが必要です。

次のコマンドでこれらのライブラリをインストールするには以下のコマンドを使用します。

Pythonはすでにインストールされている前提です。

pip install requests
pip install bs4

これで必要ライブラリをインストールすることができます。

ウェブページからのHTMLの取得

次にウェブページからHTMLを取得します。

今回の対象とするサイトは本サイト「気ままなブログ」です。

HTMLを取得するためには以下のコードで実行できます。

from bs4 import BeautifulSoup
import requests

# urlを定義
url = "https://myfrankblog.com"

# htmlの取得
r = requests.get(url)

これで指定したURLのHTMLを取得できます。

requests.get(url)は指定したURLからHTTPリクエストを送り、サーバーからのレスポンスを受け取ることができます

HTMLの解析

次に、取得したHTMLを解析します。

HTMLの解析にはbs4のBeautifulSoupを使います。

# htmlを解析
soup = BeautifulSoup(r.content, "html.parser")

これでBeautifulSoupクラスのインスタンスが作成されて、さまざまなデータにアクセスすることができるようになります。

データの抽出

解析したHTMLからデータを抽出します。

ここでは例としてサイトのタイトルを取得してみます。

# タイトルを取得
title = soup.find("title").getText()

# 表示
print(title)

確認すると、サイトのタイトルがきちんと取得されていることがわかります。

簡単ですよね。

こんな感じで、BeautifulSoupを使うといろいろなデータを抽出することができます。

データの保存

最後に、抽出したデータを保存します。

Pythonのライブラリには、データをファイルに保存するための便利な関数が多数含まれています。

ExcelやCSV形式で保存したり、バイナリデータをとして保存したり、テキストファイルとして保存したり、いろいろな方法でデータを保存することができます。

ここでは例としてテキストファイルに保存してみます。

# テキストファイルに保存する
with open('title.txt', 'w') as f:
    f.write(title)

きちんとファイルに保存されていることが確認できます。

これはかなり簡単な例ですが、このような感じで、比較的に少ないコートで簡単にスクレイピングを実装することができるのがPythonの特徴です。

基本的には、必要なライブラリが揃っているので、それらを組み合わせることにより、より複雑なデータも取得することができます。

スクレイピングの具体例

スクレイピングを使った具体例を本ブログで紹介している記事から紹介します。

岸田首相の「検討」の発言回数を集計したり、SUUMOのデータを収集して最適な賃貸物件を探したり、価格.comのデータから中古車データを収集して分析したり、いろいろなことをしています。

これらはただの一例に過ぎないので、詳しくは本サイトで「スクレイピング」と検索してみてください。

結構ふざけた分析記事もたくさんありますw

応用的なスクレイピングテクニック

スクレイピングの基本を身につけたら、より応用的なテクニックにも挑戦してみましょう。

Pythonなら動的なウェブページのスクレイピング、ページネーションなど、複雑なサイトにも対応することも可能です。

動的なウェブページのスクレイピング

現代のウェブサイトの多くはJavaScriptを使用して動的にコンテンツを生成しています。

そのため、Pythonのrequestsライブラリだけでは取得できない情報が存在します。

このような場合はSeleniumなどといったウェブブラウザを自動操作できるツールを活用すれば解決できます。

本サイトでも、Seleniumを使ったスクレイピングを紹介しています。

ページネーション

多くのウェブサイトは大量の情報を持っていて、一つのページに全ての情報を表示することはできません。

そこで情報は複数のページ（ページネーション）に分けて表示されます。

ページネーションを持つウェブサイトから情報を抽出する場合、各ページのURLを順にスクレイピングするか、あるいはSeleniumのようなツールを使って「次へ」ボタンを自動的にクリックすることで全てのページから情報を取得します。

ログイン処理

Seleniumを使えば、サイトへのログイン処理も実装可能です。

ログインして情報を取得したり、SNSで自動いいねとつけたりといろいろな用途に活用できます。

結論：Pythonを学習してスクレイピングを活用しよう！

スクレイピングを利用すると、ウェブから大量の情報を効率的に収集することができます。

これにより、普段の作業を効率化したり、収集したデータを分析してビジネスに活用したり、いろいろな場面で利用することができます。

スクレイピングが活躍できる場面は結構あるので、スキルとして持っておくと結構重宝されます。

スクレイピングを行うにはPythonの基礎的な知識と、スクレイピングに必要なライブラリ（requestsやBeautifulSoupなど）の知識が必要です。

Pythonは、スクレイピング以外にもデータ分析やデータの可視化、AIの実装やウェブサイト開発など、さまざまな用途に利用できることから需要が増加しています。

他のプログラミング言語に比べて比較的学びやすいことも特徴の1つです。

もし本記事を読んで、スクレイピングやPythonに興味が出たら是非ともチャレンジしてみてください。

本記事がみなさんの参考になれば幸いです。

最後まで読んでくださり、ありがとうございました。

Copyright © 2023 気ままなブログ All Rights Reserved.

今日のテーマは「【まとめ】PythonとSeleniumでSBI証券を操作して自動売買システムを構築する！」です。

こちらはまとめ記事になります。

これまで書いてきたSeleniumとPythonを使ってSBI証券を操作する方法に関する記事をまとめます。

関連記事が増えるたびに随時更新していくつもりです。

結論、SeleniumとPythonを使えばSBI証券で自動売買システムを構築することが可能です。

自動ログイン、銘柄の売買、取引のキャンセル、約定履歴の収集など、さまざまなことができます。

必要なセットアップ

自動売買システムを構築するために必要なセットアップは以下のとおりです。

PythonとSeleniumの準備

Seleniumのセットアップ方法についてはこちらの記事をご参照ください。

Pythonのインストール方法やライブラリのインストール方法についても合わせて解説しています。

SBI証券の口座開設

SBI証券を利用して売買するので、口座開設が必要です。

ネット申し込みできるので便利です。

SBI証券をみる

自動売買システムの構築

それではここから自動売買システムを構築するために必要な機能をまとめていきます。

これらを組み合わせることで自動売買システムを構築することができます。

SBI証券のサイトへの自動ログイン

まず最初に必要なことはSBI証券のサイトにログインすることです。

ログインすると、個別銘柄の売買や約定履歴の取得など、さまざまな機能を実行したり、情報を取得することができるようになります。

日本株の売買注文を出す/キャンセルする

次に売買注文です。

新規で発注することも、発注中の取引をキャンセルすることもできます。

指値や逆指値などといった複雑な注文にも対応しています。

日本株のポートフォリオを取得する

現在保有している銘柄を取得することも可能です。

パフォーマンスを確認して利確や損切りの判断などに利用できます。

買付余力、信用建余力を取得する

買付余力や信用建余力を取得すれば、新規でエントリーする際などに残預金を確認することができます。

約定履歴を取得する

約定履歴を取得することで、いつ売買を行なったかを管理できたり、チャート上に売買記録をプロットして確認したりすることができるようになります。

損益履歴を取得する

損益履歴を取得すると、勝率や平均利益率/損失率などの情報を計算することができます。

月ごとにまとめて成績を時系列に可視化することなども可能です。

Pythonを使えば自動売買も作れる！

ここまで紹介した記事のコードを活用すれば、Pythonで自動売買のシステムを構築することができます。

PythonはAIやデータ分析に強いプログラミング言語であり、世界中で需要が増加しています。

そのほかにもWebサイト開発や自然言語処理、プロセスオートメーションやスクレイピングなど、様々な用途に活用することができます。

本記事で紹介した自動売買システムの構築も用途の1つです。

スキルとして身につけておくとキャリアにも有利に働きます。

プログラミング言語の中では比較的学びやすく、僕自身も社会人になってから独学でPythonを習得しました。

もしPythonに興味があれば是非ともトライしてみてください。

まとめ

本記事では「PythonとSeleniumでSBI証券を操作して自動売買システムを構築する！」というテーマで、これまでの記事をまとめました。

Pythonを使えばWebブラウザを操作して自動売買システムを構築することが可能です。

もしご興味があれば是非とも作ってみてください。

そして一緒に億り人を目指しましょう！

ここまで読んでくださり、ありがとうございました。

Copyright © 2023 気ままなブログ All Rights Reserved.

今日のテーマは「【Python】SeleniumでSBI証券から日本株の買付余力を取得する方法」です。

PythonとSeleniumを使って、SBI証券のサイトから日本株の買付余力を取得する操作を自動化してみます。

ついでに信用建余力もまとめて取得してみます。

新規でエントリーする際には、現状の保有株から計算される買付余力の確認が必要になります。

本記事で紹介するコードを活用すれば、買付余力が取得できるようになるので、売買判断等に活用することができます。

SBI証券へのログイン

事前準備として、PythonとSeleniumでSBI証券にログインしておく必要があります。

Seleniumの準備やSBI証券へログインする方法についてはこちらの記事で解説しています。

ログインが完了したら、本記事で紹介するコードを実行することができます。

日本株の買付余力を取得するまでの流れ

次にPythonとSeleniumでSBI証券のサイトから日本株の買付余力を取得するまでの流れについて確認します。

ざっくりこんな感じかと思います。とてもシンプルです。

1についてはこちらの記事で解説している内容になるので、（）書きにしました。

本記事では1はスキップして、2〜3を実装する方法を解説していきます。

PythonとSeleniumでSBI証券サイトから日本株の買付余力の取得を実装する

それでは2~3の流れを順番に解説していきます。

「口座管理」ページへ遷移する

まずは「口座管理」ページへ遷移します。

SBI証券にログインしてから、「口座管理」をクリックすればOKです。

Chromeの検証からHTMLソースを確認すると、title=”口座管理”となっていることが確認できます。

この情報を利用して、Seleniumで「口座管理」をクリックします。

# 口座管理ページへ遷移
driver.find_element_by_css_selector("img[title=口座管理]").click()

これで口座管理ページへ遷移することができます。

これで最初のステップ完了です。

買付余力と信用建余力を取得する

次に買付余力と信用建余力を取得します。

先ほどのページにすでに情報がありますね。

信用建余力はそのまま同じ名前で記載されています。

買付余力は取引可能額となっています。少し下にいくと2営業日ごと3営業日後の買付余力も確認できます。

これらの情報をPythonで取得していきます。

信用建余力や取引可能額が記載されている部分はテーブルになっており、td要素のなかにdivが入っています。

これを利用すればPythonを使って情報を抽出することができます。

次のコードでは、信用建余力と買付余力、さらに2営業日後と3営業日後の買付余力を取得しています。

from bs4 import BeautifulSoup
import re

# htmlを取得
html = BeautifulSoup(driver.page_source, "html.parser")

# 信用建余力
div = html.find("div", text=re.compile("信用建余力"))
margin_buying_power = div.findNext("div").getText().strip()

# 買付余力
buying_power = div.findNext("tr").findAll("div")[-1].getText().strip()

# 買付余力(2営業日後)
div = html.find("div", text=re.compile("買付余力\\(2営業日後\\)"))
buying_power_d2 = div.findNext("div").getText().strip()

# 買付余力(3営業日後)
buying_power_d3 = div.findNext("tr").findAll("div")[-1].getText().strip()

これで買付余力と信用建余力を取得することができます。

僕の口座のデータ取得時の余力バレちゃいますが、こんな感じです。

ちなみにこれらは文字列になっているので、数値として扱う際には変換が必要になります。

これで必要なデータを取得することができました。

最後にコードをまとめてどうぞ！

最後に、これまでのコードをまとめたものを共有します。

データの読み込み時間を考慮して、driver.implicitly_wait(60)を加えました。

これは次の処理を行うにあたり、対象となる要素が見つかるまで待機するという命令になります。

これがないとページが読み込まれる前に値を入力しようしたり次の処理を行おうとしてエラーが発生する場合があるので、処理に時間がかかる箇所に追加しておくとプログラムの安定感が増します。

それではどうぞ！

from bs4 import BeautifulSoup
import re

# 口座管理ページへ遷移 
driver.find_element_by_css_selector("img[title=口座管理]").click()
driver.implicitly_wait(60)

# htmlを取得
html = BeautifulSoup(driver.page_source, "html.parser")

# 信用建余力
div = html.find("div", text=re.compile("信用建余力"))
margin_buying_power = div.findNext("div").getText().strip()

# 買付余力
buying_power = div.findNext("tr").findAll("div")[-1].getText().strip()

# 買付余力(2営業日後)
div = html.find("div", text=re.compile("買付余力\\(2営業日後\\)"))
buying_power_d2 = div.findNext("div").getText().strip()

# 買付余力(3営業日後)
buying_power_d3 = div.findNext("tr").findAll("div")[-1].getText().strip()

これで、PythonとSeleniumを使って、SBI証券のサイトから日本株の買付余力を取得することができるようになりました。

まとめ

本記事では「【Python】SeleniumでSBI証券から日本株の買付余力を取得する方法」について解説しました。

PythonとSeleniumを使えば、買付余力を自動で取得することができます。

基本的にはブラウザ上で行う操作は全てSeleniumで置き換えることができます。

買付余力を取得できれば、新規でエントリーする際の口座状況の把握に活用することができます。

少し現金を残して余裕を持って投資するような戦略を構築することも可能になりますね。

最後まで読んでくださり、ありがとうございました。

Copyright © 2023 気ままなブログ All Rights Reserved.

今日のテーマは「【Python】SeleniumでSBI証券から日本株の損益履歴を収集する方法」です。

PythonとSeleniumを使って、SBI証券のサイトから日本株の損益を収集する操作を自動化してみます。

過去の記事では約定履歴を収集する方法について解説しました。

今回の記事では損益の収集です。

このデータを集計すれば、月ごとの勝率や平均利益率、損切り回数などいろいろな分析に活用することができます。

SBI証券へのログイン

事前準備として、PythonとSeleniumでSBI証券にログインしておく必要があります。

Seleniumの準備やSBI証券へログインする方法についてはこちらの記事で解説しています。

ログインが完了したら、本記事で紹介するコードを実行することができます。

日本株の損益履歴(譲渡益税)を収集するまでの流れ

次にPythonとSeleniumでSBI証券のサイトから日本株の損益履歴を収集するまでの流れについて確認します。

ざっくりこんな感じかと思います。

1についてはこちらの記事で解説している内容になるので、（）書きにしました。

本記事では1はスキップして、2〜5を実装する方法を解説していきます。

PythonとSeleniumでSBI証券サイトから日本株の損益履歴収集を実装する

それでは2~5の流れを順番に解説していきます。

「口座管理」→「取引履歴」→「譲渡益税明細」ページへ遷移する

まずは譲渡益税のページに遷移します。

SBI証券にログインしてから、「口座管理」→「取引履歴」→ 「譲渡益税明細」とクリックすればOKです。

順番にHTMLの要素を確認してみます。

「口座管理」についてはtitle=”口座管理”となっています。

「取引履歴」については、titleやaltなどの要素はありませんが、aタグで文字列が”取引履歴”となっています。

最後に、「譲渡益税明細」です。こちらもaタグで文字列が”譲渡益税明細”となっています。

これらの要素を利用してSeleniumでページ遷移していきます。

# 口座管理ページへ遷移
driver.find_element_by_css_selector("img[title=口座管理]").click()
driver.implicitly_wait(60)

# 取引履歴ページへ遷移
driver.find_element_by_link_text("取引履歴").click()
driver.implicitly_wait(60)

# 譲渡益税明細ページへ遷移
driver.find_element_by_link_text("譲渡益税明細").click()
driver.implicitly_wait(60)

データの読み込み時間を考慮して、driver.implicitly_wait(60)を加えました。

これは次の処理を行うにあたり、対象となる要素が見つかるまで待機するという命令になります。

これがないとページが読み込まれる前に値を入力しようしたり次の処理を行おうとしてエラーが発生する場合があるので、処理に時間がかかる箇所に追加しておくとプログラムの安定感が増します。

これで譲渡益税のページへ遷移することができます。

条件を選択する

次に条件の選択です。

譲渡益税明細のページでは次の条件を指定することができます。

全てドロップダウンメニューになっていますね。

それぞれの要素をチェックすると、全てにnameが付与されていることが確認できます。

こちらは受渡日です。

1ページあたりの表示件数についてもname=”max_cnt”となっています。

これらのnameを利用してドロップダウンの値を選択していきます。

やり方は全て同じですので、ここでは1ページあたりの表示件数を例にとって解説していきます。

Seleniumでドロップダウンメニューを選択するには、selenium.webdriver.support.select.Selectを使います。

# 表示件数
max_count_div = driver.find_element_by_name("max_cnt")
max_count_options = Select(max_count_div)

# 値の取得 ついでにintに変換
max_count_value_list = [int(c.get_attribute("value")) for c in max_count_options.options]

こんな感じでSelectを使います。対象の要素を取得してSelectに引き渡せばOKです。

ここから選択できる値を取得することもできます。文字列になっているのでついでにintに変換しました。

値を選択する際には、値を直接指定することもできますし、indexで指定することもできます。

値を直接指定する場合は該当する値がない場合はエラーになってしまうのでindexで選択する方が無難です。

先ほど作成したmax_count_value_listから任意の値を検索してそのindexを利用することもできます。

この場合intで指定できるので使い勝手が良くなります。

次のコードでは全て100件を選択しています。

# indexで指定
max_count_options.select_by_index(1)

# 値で指定
max_count_options.select_by_value("100")

# max_count_value_listを利用してindexを指定
max_count_options.select_by_index(max_count_value_list.index(100))

どれを使っても結果は変わらないのでお好きなものを選んでいただければOKです。

受渡日についても同様のやり方で設定できます。

全ての項目を網羅したコードは最後に共有します。

ここでは一旦次に進みます。

「照会」ボタンをクリックする

条件の設定が完了したら「照会」ボタンをクリックします。

要素を確認すると、name=”ACT_search”となっているのでこれを利用します。

Seleniumで実装すると次のようになります。

# 「照会」をクリック
driver.find_element_by_name("ACT_search").click()

これで譲渡益税明細が表示されます。

僕の損益情報がダダ漏れですが、こんな感じで表示されていたらOKです。

結果を収集する

最後に表示結果を収集します。

データの収集

テーブル情報を取得して、各行のデータを収集していきます。

今回の場合、海外株の情報も混じっています。

よって、一旦全て収集してから最終的に日本株のデータだけに絞っていきます。

そしてこのプロセスを全て解説していくと長くなってしまうので、ここではコードをまとめて紹介します。

なるべく多くのコメントをつけました。

さらに、データが多いと複数ページになります。

「次へ→」というボタンがあると次のページがあることを意味するので、これを利用して次ページがなくなるまで繰り返しデータを収集するようなプログラムにしました。

from bs4 import BeautifulSoup
import unicodedata
import re
import pandas as pd

# 各行のデータを格納する変数を定義
data = []

# 次ページが存在するかをチェックするための変数を定義
is_next_page_available = True

# is_next_page_availableがTrueである限り処理を繰り返す
while is_next_page_available:
    
    # htmlを取得
    html = BeautifulSoup(driver.page_source, "html.parser")
    
    # tableを取得
    table = html.find("td", text=re.compile("銘柄")).findParent("table")

    # 全てのtr要素をチェック　一行目はカラム名なのでスキップする
    for tr in table.findAll("tr"):
        
        # 背景色とカラムの連結で銘柄情報が含まれている行かどうかを判断する
        if tr.find("td").get("bgcolor") == "#ffffff" and tr.find("td").get("colspan") == "2":
            
            # 行データを格納するリストを定義
            row = []
            
            # 全てのセルデータを収集、不要な文字を排除して、unicodedataで正規化する
            for td in tr.findAll("td"):
                if td.getText().strip() != "":
                    text = td.getText().strip().replace(",", "").replace("+", "")
                    row.append(unicodedata.normalize("NFKC", text))

            # 全てのセルデータを収集、不要な文字を排除して、unicodedataで正規化する
            for td in tr.findNext("tr").findAll("td"):
                if td.getText().strip() != "":
                    text = td.getText().strip().replace(",", "").replace("+", "")
                    row.append(unicodedata.normalize("NFKC", text))
        
            # dataに追加
            data.append(row)
    
    # 次ページがあるかチェック　あればクリック、なければ終了
    if html.find("u", text=re.compile("次へ→")):
        driver.find_element_by_link_text("次へ→").click()
        driver.implicitly_wait(60)
    else:
        is_next_page_available = False
        
# カラム名を定義
columns = ["銘柄", "取引", "売却/決済金額(費用)", "取得/新規年月日", "取得/新規金額", "損益金額", "約定日", "数量", "受渡日"]

# DataFrameに変換
df = pd.DataFrame(data, columns=columns)

これでデータが収集できます。

また、今回は損益情報の取得が目的なので、税徴収額については収集していません。

収集したデータがこちらです。

いい感じですよね。

データの整形

次に修正したデータを少し整形していきます。

これは何をやるかによってどこまで綺麗に整形するべきかは変わってくると思うのですが、ここでは次のような作業をしました。

これらを実装したコードがこちらです。

import numpy as np
import datetime
import re

# "--"とNaNに変換
df.replace("--", np.nan, inplace=True)

# 証券コードを抽出
df["証券コード"] = df["銘柄"].apply(
    lambda x: re.findall(r"[0-9]{4}", x)[0] if len(re.findall(r"[0-9]{4}", x))>0 else np.nan)

# 証券コードがあるデータのみ抽出
df = df.dropna(subset=["証券コード"]).reset_index(drop=True)

# 日付の型変換
df["約定日"] = df["約定日"].apply(lambda x: datetime.datetime.strptime(x, "%y/%m/%d"))
df["受渡日"] = df["受渡日"].apply(lambda x: datetime.datetime.strptime(x, "%y/%m/%d"))

# floatに変換
df["取得/新規金額"] = df["取得/新規金額"].apply(lambda x: float(x))
df["損益金額"] = df["損益金額"].apply(lambda x: float(x))

# intに変換
df["数量"] = df["数量"].apply(lambda x: int(x.replace("株", "")))

# 配当金を除外
df = df[df["取引"]!="株式配当金"]

これで結構データはきれいになります。

これで全てのプロセスが完了です。

あとは必要に応じてカラムを追加したり集計したりすればいろいろな分析や用途に活用できるかと思います。

最後にコードをまとめてどうぞ！

最後に、これまでのコードをまとめたものを共有します。

解説で割愛した部分も全て網羅しています。

なるべくコメントも多くつけました。

コピペ用にどうぞ。

from selenium import webdriver 
from selenium.webdriver.support.select import Select
from bs4 import BeautifulSoup
import unicodedata
import re
import pandas as pd


"""
ページ遷移
"""
# 口座管理ページへ遷移
driver.find_element_by_css_selector("img[title=口座管理]").click()
driver.implicitly_wait(60)

# 取引履歴ページへ遷移
driver.find_element_by_link_text("取引履歴").click()
driver.implicitly_wait(60)

# 譲渡益税明細ページへ遷移
driver.find_element_by_link_text("譲渡益税明細").click()
driver.implicitly_wait(60)


"""
条件選択
"""
# from 年
from_year_div = driver.find_element_by_name("ref_from_yyyy")
from_year_options = Select(from_year_div)
from_year_value_list = [int(y.get_attribute("value")) for y in from_year_options.options]

# from 月
from_month_div = driver.find_element_by_name("ref_from_mm")
from_month_options = Select(from_month_div)
from_month_value_list = [int(m.get_attribute("value")) for m in from_month_options.options]

# from 日
from_day_div = driver.find_element_by_name("ref_from_dd")
from_day_options = Select(from_day_div)
from_day_value_list = [int(d.get_attribute("value")) for d in from_day_options.options]

# to 年
to_year_div = driver.find_element_by_name("ref_to_yyyy")
to_year_options = Select(to_year_div)
to_year_value_list = [int(y.get_attribute("value")) for y in to_year_options.options]

# to 月
to_month_div = driver.find_element_by_name("ref_to_mm")
to_month_options = Select(to_month_div)
to_month_value_list = [int(m.get_attribute("value")) for m in to_month_options.options]

# to 日
to_day_div = driver.find_element_by_name("ref_to_dd")
to_day_options = Select(to_day_div)
to_day_value_list = [int(d.get_attribute("value")) for d in to_day_options.options]

# 表示件数
max_count_div = driver.find_element_by_name("max_cnt")
max_count_options = Select(max_count_div)
max_count_value_list = [int(c.get_attribute("value")) for c in max_count_options.options]

# 受渡日を設定
from_year_options.select_by_index(from_year_value_list.index(2022))
from_month_options.select_by_index(from_month_value_list.index(1))
from_day_options.select_by_index(from_day_value_list.index(1))

to_year_options.select_by_index(to_year_value_list.index(2023))
to_month_options.select_by_index(to_month_value_list.index(3))
to_day_options.select_by_index(to_day_value_list.index(31))

# 表示件数を設定
max_count_options.select_by_index(max_count_value_list.index(100))

# 「照会」をクリック
driver.find_element_by_name("ACT_search").click()
driver.implicitly_wait(60)


"""
データ収集
"""
# 各行のデータを格納する変数を定義
data = []

# 次ページが存在するかをチェックするための変数を定義
is_next_page_available = True

# is_next_page_availableがTrueである限り処理を繰り返す
while is_next_page_available:
    
    # htmlを取得
    html = BeautifulSoup(driver.page_source, "html.parser")
    
    # tableを取得
    table = html.find("td", text=re.compile("銘柄")).findParent("table")

    # 全てのtr要素をチェック　一行目はカラム名なのでスキップする
    for tr in table.findAll("tr"):
        
        # 背景色とカラムの連結で銘柄情報が含まれている行かどうかを判断する
        if tr.find("td").get("bgcolor") == "#ffffff" and tr.find("td").get("colspan") == "2":
            
            # 行データを格納するリストを定義
            row = []
            
            # 全てのセルデータを収集、不要な文字を排除して、unicodedataで正規化する
            for td in tr.findAll("td"):
                if td.getText().strip() != "":
                    text = td.getText().strip().replace(",", "").replace("+", "")
                    row.append(unicodedata.normalize("NFKC", text))

            # 全てのセルデータを収集、不要な文字を排除して、unicodedataで正規化する
            for td in tr.findNext("tr").findAll("td"):
                if td.getText().strip() != "":
                    text = td.getText().strip().replace(",", "").replace("+", "")
                    row.append(unicodedata.normalize("NFKC", text))
        
            # dataに追加
            data.append(row)
    
    # 次ページがあるかチェック　あればクリック、なければ終了
    if html.find("u", text=re.compile("次へ→")):
        driver.find_element_by_link_text("次へ→").click()
        driver.implicitly_wait(60)
    else:
        is_next_page_available = False
        
# カラム名を定義
columns = ["銘柄", "取引", "売却/決済金額(費用)", "取得/新規年月日", "取得/新規金額", "損益金額", "約定日", "数量", "受渡日"]

# DataFrameに変換
df = pd.DataFrame(data, columns=columns)

"""
データ整形
"""
# "--"とNaNに変換
df.replace("--", np.nan, inplace=True)

# 証券コードを抽出
df["証券コード"] = df["銘柄"].apply(
    lambda x: re.findall(r"[0-9]{4}", x)[0] if len(re.findall(r"[0-9]{4}", x))>0 else np.nan)

# 証券コードがあるデータのみ抽出
df = df.dropna(subset=["証券コード"]).reset_index(drop=True)

# 日付の型変換
df["約定日"] = df["約定日"].apply(lambda x: datetime.datetime.strptime(x, "%y/%m/%d"))
df["受渡日"] = df["受渡日"].apply(lambda x: datetime.datetime.strptime(x, "%y/%m/%d"))

# floatに変換
df["取得/新規金額"] = df["取得/新規金額"].apply(lambda x: float(x))
df["損益金額"] = df["損益金額"].apply(lambda x: float(x))

# intに変換
df["数量"] = df["数量"].apply(lambda x: int(x.replace("株", "")))

# 配当金を除外
df = df[df["取引"]!="株式配当金"]

これで、PythonとSeleniumを使って、SBI証券のサイトから日本株の損益履歴を収集することができるようになりました。

まとめ

本記事では「【Python】SeleniumでSBI証券から日本株の損益履歴を収集する方法」について解説しました。

PythonとSeleniumを使えば、損益履歴の収集を自動化することができました。

参照時の条件選択も全てSeleniumを通じて自由に操作することができます。

このデータを集計すれば、月ごとの勝率や平均利益率、損切り回数のカウントなど、いろいろな分析に活用することができます。

最後まで読んでくださり、ありがとうございました。

Copyright © 2023 気ままなブログ All Rights Reserved.

今日のテーマは「PythonでSeleniumを利用する方法！セットアップの流れを徹底解説します！」です。

悩んでいる人

PythonでSeleniumを使ってみたいけど、始め方がわからない。

使うまでの流れが知りたいです。。。

上記に答えていきます。

Seleniumを使えば、ブラウザ上のあらゆる操作をプログラムを介して実行できるようになります。

ページ遷移はもちろん、文字の入力やドロップダウンメニューの選択、ボタンのクリックなど、さまざまなことができます。

基本、我々がウェブ上で行う作業は全てSeleniumでもできると思っていただいて問題ありません。

本記事では、Pythonを使ってSeleniumを使うまでの流れについて解説していきます。

これからSeleniumを使ってみたいという方は、ぜひ最後まで読んでみてください。

PythonでSeleniumを使うまでの流れ

まずは全体の流れについて確認しておきましょう。

PythonでSeleniumを使うまでに必要な流れは以下のとおりです。

ここではブラウザーとしてChromeを利用することを想定しています。

順番に詳しくみていきましょう。

Pythonをインストールする（AnacondaでもOK）

まずはPythonをインストールします。

公式サイトからダウンロードしてもいいですし、Macを使ってる方はHomebrewを使ってもOKです。

Pythonでデータ分析やAI開発などをしたい方はAnacondaをダウンロードするのも良いです。

必要な外部ライブラリが一緒にセットアップできるので効率的です。

pipでSeleniumをインストール

次に必要な作業はSeleniumのインストールです。

Seleniumは外部ライブラリなので、追加でインストールする必要があります。

また、AnacondaにもSeleniumは含まれていませんので、いずれの場合でもインストールが必要です。

pipコマンドで簡単にインストールができます。

pip install selenium

特定のバージョンをインストールしたい場合は次のコマンドのようにバージョンを指定して実行します。

pip install selenium==4.1.1

”Successfully Installed Selenium”みたいな内容が表示されたらOKです。

ChromeDriverをダウンロード（Versionに注意！）

次のChromeDriverをダウンロードします。

まずは利用してるChromeのバージョンをチェック

ここで注意点が1つあります。

それがChromeのバージョンです。

現在利用しているChromeのバージョンとChromeDriverのバージョンがずれていると不具合が起きます。

ここを回避するためにまずは利用中のChromeのバージョンを確認します。

Chromeを立ち上げて、右上の点々から「ヘルプ」→「Google Chromeについて」をクリックします。

遷移先のページに行くとChromeのバージョンを確認することができます。

僕の場合だと、バージョン113です。

このバージョンの数字を覚えておけば、ひとまずここはOKです。

ChromeDriverをダウンロードする

次にChromeDriverをダウンロードします。

こちらのページからダウンロードすることができます。

ここで先ほど確認したバージョンに一致するものを探してダウンロードしてください。

基本的には最初の数字だけあってれば大丈夫と思います。

僕の場合だと113です。

クリックすると次のような画面に遷移します。

ご自身のPCに合わせたものをクリックすればダウンロードが開始されます。

これでダウンロードはOKです。

ChromeDriverを任意の場所に保存する

次にダウンロードしたChromeDriverを任意の場所に保存しましょう。

Zipファイルを解凍して、実行ファイルのみ保存すればOKです。

MacならUnix実行ファイル、Windowsだとexeファイルになってるはずです。

Seleniumを立ち上げる際に、ChromeDriverの場所は指定できるのでお好きな場所に保存してください。

PythonでSeleniumを立ち上げる

ここまできたら準備完了なので、PythonでSeleniumを立ち上げてみます。

ここではJupyter Lab (Jupyter NotebookでもOK) を使った立ち上げの流れをご紹介します。

Jupyter Labをインストール

AnacondaをインストールしていればJupyter Labも自動でインストールされていますので、こちらの作業は不要です。

Pythonだけをインストールした場合は、以下のコマンドでインストールしてください。（公式サイト）

# Jupyter Labをインストール
pip install jupyterlab

# Jupyter Notebookをインストール
pip install notebook

 SeleniumでChromeDriverを立ち上げる

最後にSeleniumでChromeDriverを立ち上げます。

from selenium import webdriver

# ChromeDriverを立ち上げる
driver = webdriver.Chrome(executable_path="ChromeDriverのPathを指定")

seleniumのwebdrvierをimportして、 webdriver.Chromeで立ち上げます。

この際、executable_pathで先ほど保存したChromeDriverのPathを指定すればOKです。

絶対Pathでも相対Pathでも指定が可能なので、お好きな方で設定してください。

Jupyter Labのフォルダーと同じ場所の保存してる場合はこんな感じでも指定できます。

# ChromeDriverを立ち上げる
driver = webdriver.Chrome(executable_path="./chromedriver")

プログラムを実行して少しするとChromeが立ち上がります。

初回の起動には少し時間がかかるかもしれません。

こんな感じで真っ白な画面が表示されて、上部に「Chromeは自動テスト ソフトウェアによって制御されています」と表記されてたらSeleniumでChromeを立ち上げることに成功しています。

これで全てのプロセスが完了しました。

あとは任意のURLに遷移したり、ボタンをクリックしたり、テキストを入力したり色々なことがPythonを介して操作することができます。

ぜひとも色々と試してみてください。

Seleniumを活用した記事をご紹介

最後におまけとして、本ブログでこれまで書いてきたSeleniumを利用した記事をご紹介しておきます。

国会の議事録を収集して分析

まずはSeleniumで国会の議事録を収集して分析した記事をご紹介します。

収集したデータを使ってワードクラウドを作ってみたり、岸田首相の「検討」の発言回数を集計したりしてみましたw

URLの遷移、検索条件のテキスト入力やドロップダウンメニューの選択、次ページへの遷移など、いろいろな操作をSeleniumで実行しています。

Seleniumを使ってデータを収集

首相の国会発言をワードクラウドで分析

岸田首相の「検討」の発言回数

Pythonによるワードクラウドの作成方法

おはぎゃーのプロセスを自動化する

次におはぎゃープロジェクトですw

株クラではお馴染みのおはぎゃーのプロセスを自動化してみました。

おはぎゃーとは「おはよう」 + 「（株価が下がって「ぎゃー」）を組み合わせた造語で、朝起きてアメリカ株が暴落してたりすると、finvizの株価ヒートマップのスクショとともに「おはぎゃー」とツイートする人が続出します。

このプロセスをPythonで自動化してみました。Seleniumを使うとスクショの取得と保存までできます。

ここではページ遷移とスクリーンショットの取得と保存をSeleniumで実行しています。

まとめ記事

Seleniumでfinvizからスクリーンショットを取得して保存する

OpenCVを使って「おはぎゃー」を判定する

Seleniumを使ってInstagramで自動いいね！を押す

Seleniumを使えば、Instagramで自動でいいね！を押すこともできます。

アカウントにログインして、任意のキーワードで検索、投稿を選択していいね！を押す、みたいな流れを自動化することができます。

やりすぎるとBot判定されるので要注意ですw

Instagramへのログイン、テキスト入力して検索、結果からいいね！をクリックするまでの動作をSeleniumで実行しています。

SBI証券で自動売買システムを構築する

Seleniumを使えば自動売買システムを構築することも可能です。

本ブログではSBI証券を使って、PythonとSeleniumで自動売買システムを構築するために役立つ記事を紹介しています。

SBI証券へのログイン、テキスト入力やドロップダウンメニューの選択、ボタンのクリックなどあらゆる操作をSeleniumで実装しています。

まとめ

本記事では、「PythonでSeleniumを利用する方法！セットアップの流れを徹底解説します！」というテーマで、PythonでSelenumを利用するまでに必要な流れを解説しました。

Seleniumを使えば、普段我々がブラウザ上で行なっているあらゆる操作をプログラムで実行することができます。

データの収集やWebサイトの動作テストなど、色々な場面で活用することができます。

マニュアル作業をSeleniumを使って自動化することができれば人生が大きく変わります。

単調な作業はプログラムにやらせておいて、自分は他の作業をすることだってできますし、早めに仕事を終えて帰ることだってできますw

この記事を読んで無事にSeleniumを利用できる環境が構築できていると嬉しいです。

そして皆さんの人生が少しでも効率化されるともっと嬉しいです。

最後まで読んでくださり、ありがとうございました。

Copyright © 2023 気ままなブログ All Rights Reserved.

今日のテーマは「【Python】SeleniumでSBI証券から日本株の約定履歴を収集する方法」です。

PythonとSeleniumを使って、SBI証券のサイトから日本株の約定履歴を収集する操作を自動化してみます。

月別の売買金額を集計したり、株価チャートに売買タイミングを表示して確認したり、いろいろなことに活用することができます。

SBI証券へのログイン

事前準備として、PythonとSeleniumでSBI証券にログインしておく必要があります。

Seleniumの準備やSBI証券へログインする方法についてはこちらの記事で解説しています。

ログインが完了したら、本記事で紹介するコードを実行することができます。

日本株の約定履歴を収集するまでの流れ

次にPythonとSeleniumでSBI証券のサイトから日本株の約定履歴を収集するまでの流れについて確認します。

ざっくりこんな感じかと思います。

1についてはこちらの記事で解説している内容になるので、（）書きにしました。

本記事では1はスキップして、2〜5を実装する方法を解説していきます。

PythonとSeleniumでSBI証券サイトから日本株の約定履歴収集を実装する

それでは2~5の流れを順番に解説していきます。

「口座管理」から「取引履歴」ページへ遷移する

まずは約定履歴のページに遷移します。

SBI証券にログインしてから、「口座管理」→「取引履歴」とクリックすればOKです。

Chromeの「検証」から該当要素を確認してみます。

「口座管理」についてはtitle=”口座管理”となっています。

「取引履歴」については、titleやaltなどの要素はありませんが、aタグで文字列が”取引履歴”となっています。

これらを利用してSeleniumでページ遷移させてみます。

# 口座管理ページへ遷移
driver.find_element_by_css_selector("img[title=口座管理]").click()
driver.implicitly_wait(60)

# 取引履歴ページへ遷移
driver.find_element_by_link_text("取引履歴").click()
driver.implicitly_wait(60)

データの読み込み時間を考慮して、driver.implicitly_wait(60)を加えました。

これは次の処理を行うにあたり、対象となる要素が見つかるまで待機するという命令になります。

これがないとページが読み込まれる前に値を入力しようしたり次の処理を行おうとしてエラーが発生する場合があるので、処理に時間がかかる箇所に追加しておくとプログラムの安定感が増します。

これで「約定履歴」のページへ遷移することができます。

これで最初のステップはOKです。

条件を選択する

次に条件を選択します。

「約定履歴」を参照する際には、いろいろな条件を設定することができます。

設定できるのは次の4つです。

これらをSeleniumを使って設定していきます。

商品指定

まずは商品指定です。

これはラジオボタンになっています。

ラジオボタンは要素をクリックすれば選択することができるので、各要素を判定できればOKです。

HTMLを見ると、それぞれにidが付与されていることが確認できます。

すべての商品ならid=”all”、株式現物ならid=”sakiT”、といったようにidが設定されているので、これを利用すれば任意の商品を設定することができます。

今回は商品とidを紐づけられる辞書を作成して対応しました。

# 商品指定
product_dict = {
    "すべての商品": "all",
    "株式現物": "sakiT",
    "株式信用": "shinT",
    "投資信託": "touzi",
    "eワラント": "caba",
    "上場カバードワラント": "stCW"
}
product = "すべての商品"
driver.find_element_by_id(product_dict[product]).click()

これで任意の商品を選択することができます。

銘柄指定

次に銘柄指定です。

こちらは入力タイプですね。

HTMLを見ると、name=”web_sec_code”となっているのでこれを利用します。

文字列を入力するにはsend_keys()を使います。

# 銘柄指定
ticker = 7203
driver.find_element_by_name("web_sec_code").send_keys(ticker)

約定日

次に約定日です。

こちらはドロップダウンメニューですね。

1ページあたりの表示件数についても同じドロップダウンメニューです。

ここでは約定日だけ解説します。

それぞれの要素をチェックすると、それぞれnameが付与されていることがわかります。

これらの要素にアクセスして値を選択すればOKです。

Seleniumでドロップダウンメニューを選択するためには、selenium.webdriver.support.select.Selectを使います。

全て同じやり方なので、ここでは約定日の開始年の設定だけ解説します。

# from 年
from_year_div = driver.find_element_by_name("ref_from_yyyy")
from_year_options = Select(from_year_div)

# 値の取得　ついでに文字列をintに変換
from_year_value_list = [int(y.get_attribute("value")) for y in from_year_options.options]

こんな感じでSelectを使います。対象の要素を取得してSelectに引き渡せばOKです。

ここから選択できる値を取得することもできます。

値を選択する際には、値を直接指定することもできますし、indexで指定することもできます。

値を直接指定する場合は該当する値がない場合はエラーになってしまうのでindexで選択する方が無難です。

先ほど作成したfrom_year_value_listから任意の値を検索してそのindexを利用することもできます。

この場合intで指定できるので使い勝手が良くなります。

次のコードでは全て2022年を選択しています。

# indexで指定
from_year_options.select_by_index(1)

# from_year_value_listを利用してindexを指定
from_year_options.select_by_index(from_year_value_list.index(2022))

# 値を直接指定
from_year_options.select_by_value("2022")

どれを使っても結果は変わらないのでお好きなものを選んでいただければOKです。

同じ要領で、その他のドロップダウンメニューもSeleniumで操作することができます。

全要素を網羅したコードは最後にまとめてご紹介します。

ここでは一旦次に進みます。

「照会」ボタンをクリックする

条件の設定が完了したら「照会」ボタンをクリックします。

要素を確認すると、name=”ACT_search”となっているのでこれを利用します。

# 「照会」をクリック
driver.find_element_by_name("ACT_search").click()

これで約定履歴が表示されます。

僕の取引履歴が丸見えですが、こんな感じで表示されたらOKです。

結果を収集する

最後に表示された取引履歴の結果を収集します。

データの収集

これにはBeautifulsoupを使っていきます。

テーブルの各行にアクセスして順番に収集していけばOKです。

さらにデータが多い場合はページが分割されているので、これも考慮する必要があります。

「次へ→」ボタンがある際には次のページが存在すると判断できるのでこれを利用します。

「次へ→」ボタンが存在し続ける限りはずっと次のページに遷移してデータを収集するような仕組みにします。

1つずつ解説していると長くなってしまうのでここではコードをまとめてご紹介します。

なるべる多くのコメントをつけるようにしました。

from bs4 import BeautifulSoup
import bs4
import unicodedata
import pandas as pd
import re

# 各行のデータを格納する変数を定義
data = []

# 次ページが存在するかをチェックするための変数を定義
is_next_page_available = True

# is_next_page_availableがTrueである限り処理を繰り返す
while is_next_page_available:
    
    # htmlを取得
    html = BeautifulSoup(driver.page_source, "html.parser")
    
    # tableを取得
    table = html.find("tr", {"id": "tr_a_color"}).findParent("table")

    # 全てのtr要素をチェック　一行目はカラム名なのでスキップする
    for tr in table.findAll("tr")[1:]:

        # 行データを格納するリストを定義
        row = []

        # 全てのtd要素からテキストを抽出
        for td in tr.findAll("td"):

            # 各contentをチェック
            for c in td.contents:

                # 要素の種類によってテキストの抽出方法を切り替える
                if isinstance(c, bs4.element.NavigableString):
                    text = c.strip()
                elif isinstance(c, bs4.element.Tag):
                    text = c.getText().strip()

                # 正規化
                text = unicodedata.normalize("NFKC", text)

                if text != "":
                    # 改行をチェック
                    for t in text.splitlines():
                        # スペース区切りをチェック
                        for t2 in t.split(" "):
                            if t2 != "":
                                # rowに追加
                                row.append(t2)
        
        # dataに追加
        data.append(row)
    
    # 次ページがあるかチェック　あればクリック、なければ終了
    if html.find("u", text=re.compile("次へ→")):
        driver.find_element_by_link_text("次へ→").click()
        driver.implicitly_wait(60)
    else:
        is_next_page_available = False


# カラム名を定義
columns = ["約定日", "銘柄", "コード", "市場", "取引", "預り", "課税", "約定数量", 
           "約定単価", "手数料/諸経費等", "税額", "受渡日", "受渡金額/決済損益"]

# DataFrameに変換
df = pd.DataFrame(data, columns=columns)

これでデータがきれいに収集できます。

１つのセル内に複数の要素がごちゃ混ぜになっているので、データをきれいに収集するのは少し厄介でコードが複雑になってしまったのですがなんとかなりましたw

データの整形

次に修正したデータを少し整形していきます。

これは何をやるかによってどこまで綺麗に整形するべきかは変わってくると思うのですが、ここでは次のような作業をしました。

これらを実装したコードがこちらです。

# 不要な文字を削除
df["預り"] = df["預り"].apply(lambda x: x.replace("/", ""))

# 不要な文字列を削除してintに変換
df["コード"] = df["コード"].astype(int)
df["約定数量"] = df["約定数量"].apply(lambda x: int(x.replace(",", "")))

# 不要な文字列を削除してfloatに変換
df["手数料/諸経費等"] = df["手数料/諸経費等"].apply(lambda x: float(x.replace(",", "")))
df["税額"] = df["税額"].apply(lambda x: float(x.replace(",", "")))
df["受渡金額/決済損益"] = df["受渡金額/決済損益"].apply(lambda x: float(x.replace(",", "")))
df["約定単価"] = df["約定単価"].apply(lambda x: float(x.replace(",", "")))

# 日付の型変換
df["約定日"] = df["約定日"].apply(lambda x: datetime.datetime.strptime(x, "%y/%m/%d"))
df["受渡日"] = df["受渡日"].apply(lambda x: datetime.datetime.strptime(x, "%y/%m/%d"))

これでデータが結構きれいになります。

これで全てのプロセスが完了です。

あとは必要に応じてカラムを追加したり集計したりすればいろいろな分析や用途に活用できるかと思います。

最後にコードをまとめてどうぞ！

最後に、これまでのコードをまとめたものを共有します。

解説で割愛した部分も全て網羅しています。

なるべくコメントも多くつけたつもりです。

ちょっと長いですが、コピペ用にどうぞ。

from selenium import webdriver 
from selenium.webdriver.support.select import Select
from bs4 import BeautifulSoup
import bs4
import unicodedata
import re
import pandas as pd
import datetime

"""
ページ遷移
"""
# 口座管理ページへ遷移
driver.find_element_by_css_selector("img[title=口座管理]").click()
driver.implicitly_wait(60)

# 取引履歴ページへ遷移
driver.find_element_by_link_text("取引履歴").click()
driver.implicitly_wait(60)

"""
条件選択
"""
# 商品指定
product_dict = {
    "すべての商品": "all",
    "株式現物": "sakiT",
    "株式信用": "shinT",
    "投資信託": "touzi",
    "eワラント": "caba",
    "上場カバードワラント": "stCW"
}
product = "すべての商品"
driver.find_element_by_id(product_dict[product]).click()

# 銘柄指定
ticker = 7203
driver.find_element_by_name("web_sec_code").send_keys(ticker)

# 約定日

# from 年
from_year_div = driver.find_element_by_name("ref_from_yyyy")
from_year_options = Select(from_year_div)
from_year_value_list = [int(y.get_attribute("value")) for y in from_year_options.options]

# from 月
from_month_div = driver.find_element_by_name("ref_from_mm")
from_month_options = Select(from_month_div)
from_month_value_list = [int(m.get_attribute("value")) for m in from_month_options.options]

# from 日
from_day_div = driver.find_element_by_name("ref_from_dd")
from_day_options = Select(from_day_div)
from_day_value_list = [int(d.get_attribute("value")) for d in from_day_options.options]

# to 年
to_year_div = driver.find_element_by_name("ref_to_yyyy")
to_year_options = Select(to_year_div)
to_year_value_list = [int(y.get_attribute("value")) for y in to_year_options.options]

# to 月
to_month_div = driver.find_element_by_name("ref_to_mm")
to_month_options = Select(to_month_div)
to_month_value_list = [int(m.get_attribute("value")) for m in to_month_options.options]

# to 日
to_day_div = driver.find_element_by_name("ref_to_dd")
to_day_options = Select(to_day_div)
to_day_value_list = [int(d.get_attribute("value")) for d in to_day_options.options]

# 表示件数
max_count_div = driver.find_element_by_name("max_cnt")
max_count_options = Select(max_count_div)
max_count_value_list = [int(c.get_attribute("value")) for c in max_count_options.options]


# 約定日を設定
from_year_options.select_by_index(from_year_value_list.index(2022))
from_month_options.select_by_index(from_month_value_list.index(1))
from_day_options.select_by_index(from_day_value_list.index(1))

to_year_options.select_by_index(to_year_value_list.index(2023))
to_month_options.select_by_index(to_month_value_list.index(3))
to_day_options.select_by_index(to_day_value_list.index(31))

# 表示件数を設定
max_count_options.select_by_index(max_count_value_list.index(100))

# 「照会」をクリック
driver.find_element_by_name("ACT_search").click()
driver.implicitly_wait(60)


"""
データの収集
"""

# 各行のデータを格納する変数を定義
data = []

# 次ページが存在するかをチェックするための変数を定義
is_next_page_available = True

# is_next_page_availableがTrueである限り処理を繰り返す
while is_next_page_available:
    
    # htmlを取得
    html = BeautifulSoup(driver.page_source, "html.parser")
    
    # tableを取得
    table = html.find("tr", {"id": "tr_a_color"}).findParent("table")

    # 全てのtr要素をチェック　一行目はカラム名なのでスキップする
    for tr in table.findAll("tr")[1:]:

        # 行データを格納するリストを定義
        row = []

        # 全てのtd要素からテキストを抽出
        for td in tr.findAll("td"):
            for c in td.contents:

                # 要素の種類によってテキストの抽出方法を切り替える
                if isinstance(c, bs4.element.NavigableString):
                    text = c.strip()
                elif isinstance(c, bs4.element.Tag):
                    text = c.getText().strip()

                # 正規化
                text = unicodedata.normalize("NFKC", text)

                if text != "":
                    # 改行をチェック
                    for t in text.splitlines():
                        # スペース区切りをチェック
                        for t2 in t.split(" "):
                            if t2 != "":
                                # rowに追加
                                row.append(t2)
        
        # dataに追加
        data.append(row)
    
    # 次ページがあるかチェック　あればクリック、なければ終了
    if html.find("u", text=re.compile("次へ→")):
        driver.find_element_by_link_text("次へ→").click()
        driver.implicitly_wait(60)
    else:
        is_next_page_available = False


# カラム名を定義
columns = ["約定日", "銘柄", "コード", "市場", "取引", "預り", "課税", "約定数量", 
           "約定単価", "手数料/諸経費等", "税額", "受渡日", "受渡金額/決済損益"]

# DataFrameに変換
df = pd.DataFrame(data, columns=columns)

"""
データの整形
"""

# 不要な文字を削除
df["預り"] = df["預り"].apply(lambda x: x.replace("/", ""))

# 不要な文字列を削除してintに変換
df["コード"] = df["コード"].astype(int)
df["約定数量"] = df["約定数量"].apply(lambda x: int(x.replace(",", "")))

# 不要な文字列を削除してfloatに変換
df["手数料/諸経費等"] = df["手数料/諸経費等"].apply(lambda x: float(x.replace(",", "")))
df["税額"] = df["税額"].apply(lambda x: float(x.replace(",", "")))
df["受渡金額/決済損益"] = df["受渡金額/決済損益"].apply(lambda x: float(x.replace(",", "")))
df["約定単価"] = df["約定単価"].apply(lambda x: float(x.replace(",", "")))

# 日付の型変換
df["約定日"] = df["約定日"].apply(lambda x: datetime.datetime.strptime(x, "%y/%m/%d"))
df["受渡日"] = df["受渡日"].apply(lambda x: datetime.datetime.strptime(x, "%y/%m/%d"))

これで、PythonとSeleniumを使って、SBI証券のサイトから日本株の約定履歴を収集することができるようになりました。

まとめ

本記事では「【Python】SeleniumでSBI証券から日本株の約定履歴を収集する方法」について解説しました。

PythonとSeleniumを使えば、約定履歴の収集を自動化することができました。

参照時の条件選択も全てSeleniumを通じて操作することができます。

これを利用すれば、日次、週次、月次の売買金額を集計したり、株価チャートに売買履歴を表示して分析したり、いろいろな用途に活用できるかと思います。

最後まで読んでくださり、ありがとうございました。

Copyright © 2023 気ままなブログ All Rights Reserved.

今日のテーマは「【Python】SeleniumでSBI証券から日本株のポートフォリオを取得する方法」です。

PythonとSeleniumを使って、SBI証券から日本株のポートフォリオを取得する方法について解説していきます。

これで、保有株の状況（損益や評価額など）を確認することができるようになります。

定期的に取得すれば、資産推移をチャートにまとめたり、日々の変動率を自動モニタリングするなどといった使い方も可能です。

SBI証券へのログイン

事前準備として、PythonとSeleniumでSBI証券にログインしておく必要があります。

Seleniumの準備やSBI証券へログインする方法についてはこちらの記事で解説しています。

ログインが完了したら、本記事で紹介するコードを実行することができます。

日本株のポートフォリオを取得するまでの流れ

次にPythonとSeleniumでSBI証券のサイトから日本株をポートフォリオを取得するまでの流れについて確認しておきます。

ざっくりとこんな感じです。

今回は最終的にポートフォリオを円グラフで可視化したいと思います。

1についてはこちらの記事で解説している内容になるので、（）書きにしました。

本記事では1はスキップして、2〜5を実装する方法を解説していきます。

具体的にはこちらの赤枠の部分のデータを収集します。

PythonとSeleniumでSBI証券から日本株のポートフォリオ取得を実装する

それでは2~5の流れを順番に解説していきます。

口座管理ページに遷移する

まずは口座管理ページへ遷移します。

Chromeの検証からHTMLソースを確認すると、title=”口座管理”となっていることが確認できます。

この情報を利用して、Seleniumで「口座管理」をクリックします。

# 口座管理ページへ遷移
driver.find_element_by_css_selector("img[title=口座管理]").click()

これで口座管理ページへ遷移することができます。

ポートフォリオ情報を取得する

次にポートフォリオ情報を取得します。

こちらの赤枠の部分です。今回で一番厄介な部分になります。

HTMLを見ると、特に特定できる要素がないことがわかります。

tableを特定するnameやidなどの情報が存在していません。

データ取得の流れ

この場合、少し工夫が必要になります。

今回は次のような流れでデータを収集しました。他にもいろいろなやり方があると思います。

できる限り具体的に書きました。

コード紹介

上記の方法をPythonで実装したコードがこちらです。

なるべくコメントを多くつけるようにしました。

from bs4 import BeautifulSoup
import re
import unicodedata

# htmlを取得
html = BeautifulSoup(driver.page_source, "html.parser")

# 全てのtableを抽出
tables = html.findAll("table")

# データを格納する変数を定義
data = []

# 各tableをチェック
for i, table in enumerate(tables):
    
    # 対象tableに該当するかチェック
    if table.find("font", text=re.compile("保有株数")) and not table.find("table"):
        
        # 区分取得
        category = table.find("b").getText().strip()
        
        # 各行のデータを取得
        for tr in table.findAll("tr"):
            
            # bgcolorで判断
            if tr.get("bgcolor") == "#b9e8ae":
                row = []

                # 証券コードと銘柄名を取得
                text = unicodedata.normalize("NFKC", tr.find("td").getText()).strip()
                row.extend(text.split(" "))

                # 保有株数, 取得単価, 現在値, 評価損益を取得
                for t in tr.findNext("tr").findAll("td"): #findNext('tr')で次の行を取得
                    row.append(t.getText().replace(",", "").replace("+", "")) # 不要な文字を排除

                # 区分を追加
                row.append(category)

                # dataに追加
                data.append(row)

これできちんとデータが取得できていることが確認できます。

unicodedataで文字列を統一

基本的にはコメントに書いてある通りの内容になっています。

ここでは突然登場しているunicodedataについてだけ簡単に解説しておきます。

unicodedataを使うと、文字列を統一することができます。

今回の使用例だとこんな感じになります。

unicodedataを使用しないと、文字列のスペースが\xa0となっています。

unicodedataを使うことできちんとスペースとして表示されるようになりました。

このように文字コードによって値が変になっている場合はunicodedataを使ってきれいにすることができます。

全角数字とかもunicodedataを使えば半角に変換できます。

データ整形を行う

次にデータ整形を行います。

収集したデータをDataFrameに変換して、さらに型変換はカラムの追加などといった作業を行います。

基本的に、スクレイピングで収集したデータは全て文字列になっているので、適切に数値に変換する作業が必要になります。

今回行った作業は次の通りです。

とてもシンプルです。

Pythonで実装すると次のようになります。

import pandas as pd

# DataFrameに変換
df = pd.DataFrame(data, columns=["証券コード", "銘柄名", "保有株数", "取得単価", "現在値", "評価損益", "区分"])

# 型変換
for col in ["証券コード", "保有株数"]:
    df[col] = df[col].astype(int)
    
for col in ["取得単価", "現在値", "評価損益"]:
    df[col] = df[col].astype(float)
    
# 評価額
df["評価額"] = df["保有株数"] * df["現在値"]

dfを確認するときちんとデータが整形されていることが確認できます。

型変換もバッチリです。

これでデータの準備は完了です。

円グラフで可視化する

最後に取得したポートフォリオを円グラフで可視化してみます。

今回はmatplotlibとplotlyを使った例をご紹介します。

matplotlib

まずはmatplotlibです。

％表示にすると見やすくなります。

import matplotlib.pyplot as plt

fig = plt.figure(figsize=(7,7))
plt.pie(
    x=df["評価額"], 
    labels=df["証券コード"], 
    counterclock=False, 
    startangle=90, 
    autopct='%1.1f%%' #%表示に変更
)

plotly

次にPlotlyです。

import plotly.express as px
fig = px.pie(data_frame=df, names="証券コード", values="評価額")

fig.update_traces(textinfo="percent+label") #ラベルと％表示
fig.update_layout(showlegend=False) #凡例を非表示

fig.show()

最後にコードをまとめてどうぞ！

最後にここまでご紹介したコードをまとめます。

コピペ用にどうぞ。

円グラフの部分は割愛します。

from bs4 import BeautifulSoup
import re
import unicodedata
import pandas as pd

# 口座管理ページへ遷移
driver.find_element_by_css_selector("img[title=口座管理]").click()
driver.implicitly_wait(60)

# htmlを取得
html = BeautifulSoup(driver.page_source, "html.parser")

# 全てのtableを抽出
tables = html.findAll("table")

# データを格納する変数を定義
data = []

# 各tableをチェック
for i, table in enumerate(tables):
    
    # 対象tableに該当するかチェック
    if table.find("font", text=re.compile("保有株数")) and not table.find("table"):
        sample = table
        
        # 区分取得
        category = table.find("b").getText().strip()
        
        # 各行のデータを取得
        for tr in table.findAll("tr"):
            
            
            # bgcolorで判断
            if tr.get("bgcolor") == "#b9e8ae":
                sample = tr
                row = []

                # 証券コードと銘柄名を取得
                text = unicodedata.normalize("NFKC", tr.find("td").getText()).strip()
                row.extend(text.split(" "))

                # 保有株数, 取得単価, 現在値, 評価損益を取得
                for t in tr.findNext("tr").findAll("td"): #findNext('tr')で次の行を取得
                    row.append(t.getText().replace(",", "").replace("+", "")) # 不要な文字を排除

                # 区分を追加
                row.append(category)

                # dataに追加
                data.append(row)
                

# DataFrameに変換
df = pd.DataFrame(data, columns=["証券コード", "銘柄名", "保有株数", "取得単価", "現在値", "評価損益", "区分"])

# 型変換
for col in ["証券コード", "保有株数"]:
    df[col] = df[col].astype(int)
    
for col in ["取得単価", "現在値", "評価損益"]:
    df[col] = df[col].astype(float)
    
# 評価額
df["評価額"] = df["保有株数"] * df["現在値"]

これで、SBI証券から日本株のポートフォリオを自動取得することができます。

まとめ

こんにちは。TATです。

今日のテーマは「【Python】SeleniumでSBI証券から日本株のポートフォリオを取得する方法」です。

PythonとSeleniumを利用すれば、SBI証券に自動ログイン（参考記事）して、そこから日本株をポートフォリオを取得することができます。

定期的に取得すれば、資産推移をチャートにまとめたり、日々の変動率を自動でモニタリングして通知を送るみたいな使い方も可能です。

アイデア次第ではもっといろいろな活用ができそうです。

最後まで読んでくださり、ありがとうございました。

Copyright © 2023 気ままなブログ All Rights Reserved.

今日のテーマは「【Python】SeleniumでSBI証券から日本株の注文をキャンセルする方法」です。

PythonとSeleniumを使って、SBI証券のサイトから日本株の注文をキャンセルする操作を自動化してみます。

過去の記事では、Seleniumで日本株の新規の売買注文を入れる方法について解説しました。

今回はこの注文をキャンセルする方法を解説します。

SBI証券へのログイン

事前準備として、PythonとSeleniumでSBI証券にログインしておく必要があります。

Seleniumの準備やSBI証券へログインする方法についてはこちらの記事で解説しています。

ログインが完了したら、本記事で紹介するコードを実行することができます。

日本株の注文をキャンセルするまでの流れ

次にPythonとSeleniumでSBI証券のサイトから日本株の注文をキャンセルするまでの流れについて確認しておきます。

ざっくりとこんな感じです。

1についてはこちらの記事で解説している内容になるので、（）書きにしました。

本記事では1はスキップして、2〜6を実装する方法を解説していきます。

PythonとSeleniumでSBI証券サイトから日本株の注文のキャンセルを実装する

それでは2~6の流れを順番に解説していきます。

「取引」から「注文照会 取消・訂正」ページへ遷移する

まずは「取引」から「注文照会 取消・訂正」ページへ遷移します。

Chromeの「検証」からそれぞれの要素をチェックします。

「取引」については、title=”取引”となっているので、これを利用すれば要素を取得できます。

「注文照会 取消・訂正」については、特にこれを特定できる要素はありませんでした。

ここでは「注文照会 取消・訂正」という文字をキーにして要素を取得したいと思います。

「注文照会」と「取消・訂正」の間に<br>が入っているので要注意です。

文字の一部から要素を特定してみます。

Seleniumで実装すると次のようなコードになります。

from selenium import webdriver 

# 注文ページへ遷移
driver.find_element_by_css_selector("img[title=取引]").click()
driver.implicitly_wait(60)    

# 注文照会、取り消し・訂正ページへ遷移
driver.find_element_by_partial_link_text("注文照会").click()
driver.implicitly_wait(60)

これで「注文照会 取消・訂正」ページへ遷移することができます。

データの読み込み時間を考慮して、driver.implicitly_wait(60)を加えました。

これは次の処理を行うにあたり、対象となる要素が見つかるまで待機するという命令になります。

これがないとページが読み込まれる前に値を入力しようしたり次の処理を行おうとしてエラーが発生する場合があるので、処理に時間がかかる箇所に追加しておくとプログラムの安定感が増します。

以上で最初のステップは完了です。

注文データ一覧を取得する

次に注文データの一覧を取得します。

「注文照会 取消・訂正」を見ると、現在注文中のデータ一覧を確認できます。

ここではデモ用に適当なオーダーを入れておきましたw

注文番号がわかれば特定できる

重要になるのが注文番号です。

取消をしたい注文の注文番号がわかっていれば簡単に対象の注文を特定することができます。

注文番号については、注文が完了した際に確認できます。

自動売買のシステムを構築する際には、この注文番号を注文完了時に何処かに保管しておくと、キャンセルするときに便利です。

とりあえず注文データ一覧を取得する

ここでは注文番号を把握してない時のことを考慮して、一旦ここにあるデータを取得してみます。

Beautifulsoupを使ってこのテーブルにあるデータを取得しました。

マルチインデックスになってるので結構厄介なのですが、注文番号が存在している行を判定して、そこから必要な情報に順番にアクセスしていきました。

細かい解説は割愛しますが、コード内になるべく多くのコメントをつけたので参考にしてみてください。

import unicodedata
from bs4 import BeautifulSoup
import re
import pandas as pd

# tableを抽出, 「注文状況」というカラムを検索して、そのtableを取得
html = BeautifulSoup(driver.page_source, "html.parser")
table = html.find("th", text=re.compile("注文状況")).findParent("table") 

# データを格納する変数を定義
data = []

# tableの各行を処理する
for tr in table.find("tbody").findAll("tr"): #tbodyの全行（tr）を取得
    
    #最初のtdにa要素があれば注文番号があると判断する
    if tr.find("td").find("a"): 

        # 行のデータを格納する変数を定義
        row = []

        # 注文番号
        row.append(tr.findAll("td")[0].getText().strip())
        
        # 注文状況
        row.append(tr.findAll("td")[1].getText().strip())

        # 注文種別
        row.append(tr.findAll("td")[2].getText().strip())

        # 銘柄、コード 同じtdにまとまっているので分割してそれぞれのデータを取得する
        text = unicodedata.normalize("NFKC", tr.findAll("td")[3].getText().strip())
        row.append(text.splitlines()[0].strip().split(" ")[0])
        row.append(text.splitlines()[0].strip().split(" ")[-1])
        
        """
        ここからは次に行のデータを取得
        """
        #取引、預り、手数料　同じtd内にまとまっているので分割してそれぞれのデータを取得する
        tmp_data = []
        for t in tr.findNext("tr").findAll("td")[0].getText().strip().replace(" ", "").splitlines():
            if t!="" and t!="/":
                tmp_data.append(t)
        
        # 信用取引の場合は取得される要素数が増えるので、要素数によって処理を分ける
        if len(tmp_data)==4:
            row.extend([tmp_data[0]+tmp_data[1], tmp_data[2], tmp_data[3]])
        else:
            row.extend(tmp_data)

        # 注文日、注文期間　同じtd内にまとまっているので分割してそれぞれのデータを取得する
        row.extend(tr.findNext("tr").findAll("td")[1].getText().replace(" ", "").strip().splitlines())  

        # 注文株数、（未約定）　同じtd内にまとまっているので分割してそれぞれのデータを取得する
        row.append(tr.findNext("tr").findAll("td")[2].getText().replace(" ", "").strip().splitlines()[0])
        row.append(tr.findNext("tr").findAll("td")[2].getText().replace(" ", "").strip().splitlines()[-1])

        # 執行条件
        row.append(tr.findNext("tr").findAll("td")[3].getText().strip())

        # 注文単価、現在値
        row.extend(tr.findNext("tr").findAll("td")[4].getText().strip().replace(" ", "").splitlines())
        
        """
        ここからは2行後のデータから条件を取得　該当データがない場合は--とする
        """
        # 条件
        if not tr.findNext("tr").findNext("tr").find("td").find("a"):
            row.append(tr.findNext("tr").findNext("tr").find("td").getText().strip())
        else:
            row.append("--")

        # dataに行データを追加
        data.append(row)
        
        
# カラム名を定義
columns = ["注文番号", "注文状況", "注文種別", "銘柄", "コード", "取引", "預り", "手数料", "注文日", 
           "注文期間", "注文株数", "（未約定）", "執行条件", "注文単価", "現在値", "条件"]

# DataFrameに変換
df = pd.DataFrame(data, columns=columns)

# 注文番号をintに変換
df["注文番号"] = df["注文番号"].astype(int)

これで綺麗にデータを取得することができます。

ここから条件指定などをして取消をしたい注文を特定することができれば便利ですね。

キャンセルしたい注文の「取消」ボタンをクリックする

次にキャンセルの処理をしていきます。

キャンセルしたい注文が特定できれば、その注文の「取消」ボタンをクリックします。

「取消」ボタンを確認すると、特に要素を特定できる要素はないので文字をキーにして要素を取得します。

# 取消ボタンを取得
driver.find_elements_by_link_text("取消")

先ほど収集したテーブルデータ（df）の行数と一致していますね。

そしてこの取得できた要素はリスト形式になっているので、indexで特定の要素にアクセスできます。

これはdfのindexと一致しているので活用できます。

ここでは例として注文番号「639」をキャンセルしてみましょう。

dfを確認するとindexは2ですので、これを利用して「取消」ボタンをクリックします。

# 取消をクリック
driver.find_elements_by_link_text("取消")[2].click()

これで注文取消画面に遷移します。

取引パスワードを入力して「注文取消」ボタンをクリックする

注文のキャンセルを確定させるためには、取引パスワードを入力して「注文取消」ボタンをクリックします。

要素を確認してみます。

取引パスワードはid=”pwd3″となっています。「注文取消」ボタンについては、value=”注文取消”となっているので、これらの要素を利用して処理を実装します。

# 取引パスワード
trade_password = "password"
driver.find_element_by_id("pwd3").send_keys(trade_password)

# 注文取消を確定
driver.find_element_by_css_selector("input[value=注文取消]").click()

これで注文取消が確定します。

遷移後のページから注文取消が成功したかをチェックする

最後に遷移後のページから注文取消が成功したのかどうかを確認します。

注文取消が成功すると、「ご注文を受け付けました。」という文言が表示されます。

これがあるかどうかをチェックすればOKです。

html = BeautifulSoup(driver.page_source, "html.parser")
if "ご注文を受け付けました。" in html.text:
    print("注文取消が完了しました。")
else:
    print("注文取消に失敗しました。")

かなりシンプルですが、これで十分に機能します。

注意点

ここで1つだけ注意点です。

注文取消が完了してもう一度「注文照会 取消・訂正」のページを確認すると、注文状況が取消中となります。

しばらくすると取消が完了して、この行そのものが消えるのですが、しばらく残っているので連続で注文を取り消す際には注意が必要です。

取消中の注文は取消のリンクが無効になっているので、行数とリンクの数が合わなくなってしまいます。

これを調整するためには、取得したdfから注文状況が取消中になっている行を削除して、indexをリセットしてあげればOKです。

df = df[df["注文状況"]!="取消中"].reset_index(drop=True)

これでリンクの数とdfの行数が一致します。

連続で注文取消を行うこともあると思うので、この処理を加えておくと安心です。

最後にコードをまとめてどうぞ！

ここまでの内容で、PythonとSeleniumを使って注文をキャンセルすることができました。

最後に、これまでのコードをまとめたものを共有します。

注文一覧のテーブルデータの取得については関数にしました。

なるべくコメントも多くつけましたつもりです。

コピペ用にどうぞ。

from selenium import webdriver 
import unicodedata
from bs4 import BeautifulSoup
import re
import pandas as pd


def extract_order_list(html):
    # tableを抽出, 「注文状況」というカラムを検索して、そのtableを取得
    table = html.find("th", text=re.compile("注文状況")).findParent("table") 

    # データを格納する変数を定義
    data = []

    # tableの各行を処理する
    for tr in table.find("tbody").findAll("tr"): #tbodyの全行（tr）を取得

        #最初のtdにa要素があれば注文番号があると判断する
        if tr.find("td").find("a"): 

            # 行のデータを格納する変数を定義
            row = []

            # 注文番号
            row.append(tr.findAll("td")[0].getText().strip())

            # 注文状況
            row.append(tr.findAll("td")[1].getText().strip())

            # 注文種別
            row.append(tr.findAll("td")[2].getText().strip())

            # 銘柄、コード 同じtdにまとまっているので分割してそれぞれのデータを取得する
            text = unicodedata.normalize("NFKC", tr.findAll("td")[3].getText().strip())
            row.append(text.splitlines()[0].strip().split(" ")[0])
            row.append(text.splitlines()[0].strip().split(" ")[-1])

            """
            ここからは次に行のデータを取得
            """
            #取引、預り、手数料　同じtd内にまとまっているので分割してそれぞれのデータを取得する
            tmp_data = []
            for t in tr.findNext("tr").findAll("td")[0].getText().strip().replace(" ", "").splitlines():
                if t!="" and t!="/":
                    tmp_data.append(t)

            # 信用取引の場合は取得される要素数が増えるので、要素数によって処理を分ける
            if len(tmp_data)==4:
                row.extend([tmp_data[0]+tmp_data[1], tmp_data[2], tmp_data[3]])
            else:
                row.extend(tmp_data)

            # 注文日、注文期間　同じtd内にまとまっているので分割してそれぞれのデータを取得する
            row.extend(tr.findNext("tr").findAll("td")[1].getText().replace(" ", "").strip().splitlines())  

            # 注文株数、（未約定）　同じtd内にまとまっているので分割してそれぞれのデータを取得する
            row.append(tr.findNext("tr").findAll("td")[2].getText().replace(" ", "").strip().splitlines()[0])
            row.append(tr.findNext("tr").findAll("td")[2].getText().replace(" ", "").strip().splitlines()[-1])

            # 執行条件
            row.append(tr.findNext("tr").findAll("td")[3].getText().strip())

            # 注文単価、現在値
            row.extend(tr.findNext("tr").findAll("td")[4].getText().strip().replace(" ", "").splitlines())

            """
            ここからは2行後のデータから条件を取得　該当データがない場合は--とする
            """
            # 条件
            if not tr.findNext("tr").findNext("tr").find("td").find("a"):
                row.append(tr.findNext("tr").findNext("tr").find("td").getText().strip())
            else:
                row.append("--")

            # dataに行データを追加
            data.append(row)


    # カラム名を定義
    columns = ["注文番号", "注文状況", "注文種別", "銘柄", "コード", "取引", "預り", "手数料", "注文日", 
               "注文期間", "注文株数", "（未約定）", "執行条件", "注文単価", "現在値", "条件"]

    # DataFrameに変換
    df = pd.DataFrame(data, columns=columns)

    # 注文番号をintに変換
    df["注文番号"] = df["注文番号"].astype(int)

    # 注文状況が取消中の行を削除してindexをリセット
    df = df[df["注文状況"]!="取消中"].reset_index(drop=True) 
    
    return df


# 注文ページへ遷移
driver.find_element_by_css_selector("img[title=取引]").click()
driver.implicitly_wait(60)    

# 注文照会、取り消し・訂正ページへ遷移
driver.find_element_by_partial_link_text("注文照会").click()
driver.implicitly_wait(60)

# htmlを取得
html = BeautifulSoup(driver.page_source, "html.parser")

# 注文一覧を取得
df = extract_order_list(html)

# 任意取消をクリック ここではindexで2を指定
driver.find_elements_by_link_text("取消")[2].click()

# 取引パスワード
trade_password = "password"
driver.find_element_by_id("pwd3").send_keys(trade_password)

# 注文取消を確定
driver.find_element_by_css_selector("input[value=注文取消]").click()

# 注文取消が成功したかをチェック
html = BeautifulSoup(driver.page_source, "html.parser")
if "ご注文を受け付けました。" in html.text:
    print("注文取消が完了しました。")
else:
    print("注文取消に失敗しました。")

テーブルデータの取得がなければ結構短いコードで実装できてしまいますね。

dfを利用すれば、注文条件でキャンセルしたいオーダーを特定することができます。

注文番号がわかっていればその値がある行のindexを取得すればOKです。

これで、PythonとSeleniumで任意の注文をキャンセルできるようになりました。

まとめ

本記事では「【Python】SeleniumでSBI証券から日本株の注文をキャンセルする方法」について解説しました。

PythonとSeleniumを利用すれば、SBI証券に自動ログイン（参考記事）して、そこから日本株の新規注文を入れたり、本記事で紹介したように注文をキャンセルすることもできます。

新規注文を入れる方法については過去の記事をご参照ください。

最後まで読んでくださり、ありがとうございました。

Copyright © 2023 気ままなブログ All Rights Reserved.