スクレイピング プログラミング 開発

python スクレイピング入門 webページのhtmlを取得してみた。

みなさん、こんばんわ。中川(@naka33321)です。最近、flaskを使ってpythonによるweb制作をやっていこうと思っていたのですが、flaskでwebサーバーを立ち上げてもerrorという文字が出るために、開発環境の時点でつまずいてしまっています。しかし、スクレイピングは今の環境でもできるのでスクレイピングを気晴らしに再びやっていってみようと思っています。

スクレイピングとは

スクレイピングとは、webサイトから情報を集めていくという技術のことです。テキストマイニングという概念がありますがそちらは、データを統計的に分析する事で少し違うのかもしれません。 決まり切っているのであれば、プログラムに任せれば楽ですし、pythonはスクレイピングが得意です。

pycharmをダウンロード

私は、pycharmを使用しているのでpycharmという開発環境の元を想定して記事を書いていこうと思います。 下のリンクからpycharmの公式サイトにアクセスすることができます。

上の画像のようにダウンロードするボタンを押します。 詳しくは、下のURLをお願いします。

pythonでwebページを取得する

最初にライブラリにrequestsモジュールをダウンロードしてください。 pycharmでのライブラリのダウンロード方法は下のURLが参考になると思います。

webページを取得するコード

今回は、アマゾンのサイトを取得してみました。

import requests
res = requests.get("https://www.amazon.co.jp/")
print(res.text)

実行しますと、たくさんのhtmlコードが出てきます

まとめ

今日はスクレイピングで情報を取得しただけでしたが、これからはまだまだ発展させていこうと思っています。 日経平均もスクレイピングしてみたのでよろしかったらお願いします。
webスクレイピングで日経平均株価を取得してみた
pythonで日経平均のページタイトルを取得してみた。
日経平均株価の平均を一時間ごとに取得する。