2017-07-31
2017-07-12
一人あたりの利益が高い会社をYahoo!Financeのスクレイピングで調べた
PythonでYahoo!Financeをスクレイピングし，全上場企業を対象に当期利益/従業員数のランキングを作成した．不動産と製薬は強い
http://nbviewer.jupyter.org/github/asterisk37n/notebooks/blob/master/income_per_person.ipynbincome_per_person
http://nbviewer.jupyter.org/github/asterisk37n/notebooks/blob/master/income_per_person.ipynb
The Most Net Income per Person of all Companies on Japan Stock Market¶
Which company is the best? We calculate it by net income per employee. I scraped Yahoo! Finance, Japan to get net income and the number of employees.
In [1]:
%matplotlib inline
import requests
import jsm
from bs4 import BeautifulSoup
import sqlite3
import pandas as pd
In [2]:
# getting all company codes
q = jsm.Quotes()
brands = q.get_brand()
ccodes = []
d = {}
for brand in brands:
for com in brands[brand]:
ccodes.append(com.ccode)
d[com.ccode] = com.name # to convert compnay code to company name
In [3]:
def get_profit(ccode):
r = requests.get('https://profile.yahoo.co.jp/consolidate/{}'.format(ccode))
bs = BeautifulSoup(r.text, 'lxml')
text = bs.findAll('td')[39].text
num = ''.join(s for s in text if s.isdigit())
return int(num) if num else -1
def get_num_employees(ccode):
r = requests.get('https://profile.yahoo.co.jp/fundamental/{}'.format(ccode))
bs = BeautifulSoup(r.text, 'lxml')
text = bs.findAll('td', attrs = {"width": "25%"})[-1].text
num = ''.join(s for s in text if s.isdigit())
return int(num) if num else -1
In [4]:
# iterate through companies. This may take a few minutes.
data = []
for ccode in ccodes:
pft = get_profit(ccode)
num = get_num_employees(ccode)
per = round(pft / num, 2) if pft > 0 and num > 0 else -1
datum = (ccode, pft, num, per)
data.append(datum)
print('got net income and employees from {} companies out of {}'.format(len([i for i in data if i[3] > 0]), len(ccodes)))
In [18]:
# You may want to keep data taken in the above cell into a database.
conn = sqlite3.connect('income_per_person.db')
c = conn.cursor()
c.execute('CREATE TABLE ccodes(ccode TEXT)')
c.executemany('INSERT INTO ccodes VALUES (?)', [(i,) for i in ccodes])
c.execute('CREATE TABLE names(ccode TEXT, name TEXT)')
c.executemany('INSERT INTO names VALUES (?, ?)', [(i, d[i]) for i in ccodes])
c.execute('CREATE TABLE companies(ccode TEXT, net_income INTEGER, employee INTEGER, per_person REAL)')
c.executemany('INSERT INTO companies VALUES (?, ?, ?, ?)', data)
conn.commit()
In [26]:
df_com = pd.io.sql.read_sql_query('SELECT ccode, net_income, employee, per_person FROM companies WHERE per_person > 0 ORDER BY per_person DESC', conn)
df_name = pd.io.sql.read_sql_query('SELECT ccode, name FROM names', conn)
df = df_com.join(df_name.set_index('ccode'), on='ccode')
df
Out[26]:
In [27]:
df.describe()
Out[27]:
In [28]:
ax = df[:10].plot.bar(x='ccode', y='per_person')
ax.set_title('THE 10 COMPANIES WITH THE BIGGEST NET INCOME PER PERSON')
ax.set_xlabel('Companies on stock market')
ax.set_ylabel('Million Japanese Yen')
Out[28]:
In [6]:
conn.close()
登録:
投稿 (Atom)
アクアリウムはじめました
通りすがりのアクアリウムショップで、ボトルアクアリウムを衝動買いしました(2月5日)。アカヒレ二匹がいます。コンラッド・ローレンツが『ソロモンの指輪』の中でアクアリウムをおすすめしていたので、試してみたかったのです。今回が初めてのアクアリウムなので簡単なものにしたく、また手間をか...
-
2015年7月17日 株式会社ガイアの新卒説明会に行った。パチンコ業界の大手企業だ。いったいどのような雰囲気だろうか、どんな人が来るのだろうかと思って興味深かった。 説明会の会場は狭い部屋で、学生は僕の他に男が二人、女が一人。社員は男女が一人ずつ来ていた。 説明会では、... -
懐かしい映画「マトリックス」のスクリーンセーバーの比較した。雨のようにコードが落ちてくるモニターの再現だ。 (写真提供元 http://movieimage.tripod.com/matrix/ )
-
VerilogFPGAのブロックメモリを使った。メモリがどういったものか、そしてFPGAでメモリをどうやって用いるかを調べるのに若干の苦労をしたので、記事にしておいた。もし誤謬があれば指摘願う。
