プログラミング 開発

pythonで日経平均のページタイトルを取得してみた。

分かりやすい言語として最近人気の出ている言語がpythonです。実際にpythonに触れたことのある人にはわかるでしょうけれど、C言語やJavaに比べて書きやすくて奥深いですよね。プログラミング初級として学習するにはもって付けの言語だと思います。私はUdacityでpythonとコンピューターサイエンス入門を学習してある程度基礎力が付いてきたかなと思ったので何か制作をしてみようと思い、webスクレイピングをやってみようと思い実際にやってみました。

pycharmという総合開発環境で作ってみた

pycharmはpythonを学習する上で強力な総合開発環境でしょう。pythonのライブラリも非常に豊富でpythonを学習するならpycharmは必須ともいえるかもしれません。チェコで開発されたようです。チェコと聞いて少しびっくりする人もいるでしょうね。しかし、どこの国にも優秀なIT人材はいるとは思いますよ。 インストールとライブラリの取得の方法は、以下のurlで見られるとわかりやすいと思いますよ。 最強のPython統合開発環境PyCharm PyCharmによるパッケージの追加方法

必要なライブラリ

私の場合は、urllib3とbeautiful4をダウンロードしました。この二つのライブラリがあれば、今回の作業はできます。

import urllib.request　
from bs4 import BeautifulSoup

#アクセスするURL
url = "http://www.nikkei.com/"

#URLにアクセスする　htmlが返ってくる <
html = urllib.request.urlopen(url)

# htmlをBeautifulSoupで扱う
soup = BeautifulSoup(html,"html.parser")

#タイトル要素を取得する
title_tag = soup.title

#要素の文字列を取得する
title = title_tag.string

#タイトルを出力
print(title_tag)
タイトルの文字列を出力
print(title)

経済、株価、ビジネス、政治のニュース:日経電子版

コード自体は簡単なものですが、このコードはwebスクレイピングをする上で基礎となりますから、手始めにやってみるといいと思いますよ。私自身webスクレイピングが自分である程度できたらクラウドワークスでwebスクレイピングの案件で副業としてやってみようとも思っています。ネットだけの情報では難しいかもしれないので一冊良質な本を買ってwebスクレイピングをやるというのも非常に良い手段だと思いますよ。

PythonによるWebスクレイピング [ RyanMitchell ] 価格:3,240円 (2018/9/10 21:29時点)