2017-07-31
2017-07-12
一人あたりの利益が高い会社をYahoo!Financeのスクレイピングで調べた
PythonでYahoo!Financeをスクレイピングし，全上場企業を対象に当期利益/従業員数のランキングを作成した．不動産と製薬は強い
http://nbviewer.jupyter.org/github/asterisk37n/notebooks/blob/master/income_per_person.ipynbincome_per_person
http://nbviewer.jupyter.org/github/asterisk37n/notebooks/blob/master/income_per_person.ipynb
The Most Net Income per Person of all Companies on Japan Stock Market¶
Which company is the best? We calculate it by net income per employee. I scraped Yahoo! Finance, Japan to get net income and the number of employees.
In [1]:
%matplotlib inline
import requests
import jsm
from bs4 import BeautifulSoup
import sqlite3
import pandas as pd
In [2]:
# getting all company codes
q = jsm.Quotes()
brands = q.get_brand()
ccodes = []
d = {}
for brand in brands:
for com in brands[brand]:
ccodes.append(com.ccode)
d[com.ccode] = com.name # to convert compnay code to company name
In [3]:
def get_profit(ccode):
r = requests.get('https://profile.yahoo.co.jp/consolidate/{}'.format(ccode))
bs = BeautifulSoup(r.text, 'lxml')
text = bs.findAll('td')[39].text
num = ''.join(s for s in text if s.isdigit())
return int(num) if num else -1
def get_num_employees(ccode):
r = requests.get('https://profile.yahoo.co.jp/fundamental/{}'.format(ccode))
bs = BeautifulSoup(r.text, 'lxml')
text = bs.findAll('td', attrs = {"width": "25%"})[-1].text
num = ''.join(s for s in text if s.isdigit())
return int(num) if num else -1
In [4]:
# iterate through companies. This may take a few minutes.
data = []
for ccode in ccodes:
pft = get_profit(ccode)
num = get_num_employees(ccode)
per = round(pft / num, 2) if pft > 0 and num > 0 else -1
datum = (ccode, pft, num, per)
data.append(datum)
print('got net income and employees from {} companies out of {}'.format(len([i for i in data if i[3] > 0]), len(ccodes)))
In [18]:
# You may want to keep data taken in the above cell into a database.
conn = sqlite3.connect('income_per_person.db')
c = conn.cursor()
c.execute('CREATE TABLE ccodes(ccode TEXT)')
c.executemany('INSERT INTO ccodes VALUES (?)', [(i,) for i in ccodes])
c.execute('CREATE TABLE names(ccode TEXT, name TEXT)')
c.executemany('INSERT INTO names VALUES (?, ?)', [(i, d[i]) for i in ccodes])
c.execute('CREATE TABLE companies(ccode TEXT, net_income INTEGER, employee INTEGER, per_person REAL)')
c.executemany('INSERT INTO companies VALUES (?, ?, ?, ?)', data)
conn.commit()
In [26]:
df_com = pd.io.sql.read_sql_query('SELECT ccode, net_income, employee, per_person FROM companies WHERE per_person > 0 ORDER BY per_person DESC', conn)
df_name = pd.io.sql.read_sql_query('SELECT ccode, name FROM names', conn)
df = df_com.join(df_name.set_index('ccode'), on='ccode')
df
Out[26]:
In [27]:
df.describe()
Out[27]:
In [28]:
ax = df[:10].plot.bar(x='ccode', y='per_person')
ax.set_title('THE 10 COMPANIES WITH THE BIGGEST NET INCOME PER PERSON')
ax.set_xlabel('Companies on stock market')
ax.set_ylabel('Million Japanese Yen')
Out[28]:
In [6]:
conn.close()
登録:
投稿 (Atom)
飲食店への商品持ち込みを批判する人への反論
持ち込み商品の反対意見について反反論がある。持ち込み商品については、それはマナー違反だからと言う人が多い。商品を持ち込んでいる客がいると、注意したところでバイト代の上がらないバイト、給料の上がらない正社員は注意をし、さらに周りの客でも注意をする人がいる。彼らにその理由を聞くと、「...
-
懐かしい映画「マトリックス」のスクリーンセーバーの比較した。雨のようにコードが落ちてくるモニターの再現だ。 (写真提供元 http://movieimage.tripod.com/matrix/ )
-
2015年7月17日 株式会社ガイアの新卒説明会に行った。パチンコ業界の大手企業だ。いったいどのような雰囲気だろうか、どんな人が来るのだろうかと思って興味深かった。 説明会の会場は狭い部屋で、学生は僕の他に男が二人、女が一人。社員は男女が一人ずつ来ていた。 説明会では、... -
VerilogFPGAのブロックメモリを使った。メモリがどういったものか、そしてFPGAでメモリをどうやって用いるかを調べるのに若干の苦労をしたので、記事にしておいた。もし誤謬があれば指摘願う。
