基于 Neo4j 和 Tushare 数据构建小型金融知识图谱

看到米哥和Libra的关于知识图谱的文章，又在近期完成证券分析的课设，想到了关联方分析能不能用知识图谱进行可视化操作，就运用neo4j进行了小型金融知识图谱尝试，基于tushare数据实现股票与行业、股东、概念股、高管信息的知识图谱。

本项目主要实现逻辑：

1.数据结构化

2. 配置neo4j

3. 数据处理

4. 导入neo4j

5. 查看关联信息

获取数据代码如下，将获取的数据储存到csv文件中，neo4j支持csv格式：

import tushare as ts
import csv
import time
import pandas as pd

pro = ts.pro_api('1dbda79ce58d052196b7ddec1663d53e4ea20571195a1a6055aab0c7')

# 获取stock_basic
stock_basic = pro.stock_basic(list_status='L', fields='ts_code, symbol, name, industry')
# 重命名行，便于后面导入neo4j
basic_rename = {'ts_code': 'TS代码', 'symbol': '股票代码', 'name': '股票名称', 'industry': '行业'}
stock_basic.rename(columns=basic_rename, inplace=True)
# 保存为stock.csv
stock_basic.to_csv('stock.csv', encoding='gbk')

# 获取top10_holders
holders = pd.DataFrame(columns=('ts_code', 'ann_date', 'end_date', 'holder_name', 'hold_amount', 'hold_ratio'))
# 获取一年内所有上市股票股东信息（可以获取一个报告期的）
for i in range(3610):
    code = stock_basic['TS代码'].values[i]
    top10_holders = pro.top10_holders(ts_code=code, start_date='20180101', end_date='20181231')
    holders = holders.append(top10_holders)
    time.sleep(0.3)# 数据接口限制
# 保存为holders.csv
holders.to_csv('holders.csv', encoding='gbk')

# 获取concept，并查看概念分类数量
concept = pro.concept()
concept.to_csv('concept_num.csv', encoding='gbk')

# 获取concept_detail
concept_details = pd.DataFrame(columns=('id', 'concept_name', 'ts_code', 'name'))
for i in range(358):
    id = 'TS' + str(i)
    concept_detail = pro.concept_detail(id=id)
    concept_details = concept_details.append(concept_detail)
    time.sleep(0.3)
# 保存为concept_detail.csv
concept_details.to_csv('concept.csv', encoding='gbk')

获取所有concept_detail和holders用了一个蠢办法，本人自学学艺不精，望谅解，整个代码运行速度非常慢，大概10多分钟才结束，请教大佬如何优化代码。

1

下载Ne4j

2

配置Ne4j

配置系统环境变量

NEO4J_HOME = C:\download\Neo4j\neo4j-community-3.5.5-windows\neo4j-community-3.5.5

Path = %NEO4J_HOME%\bin;

3

运行Ne4j

4

访问Ne4j

5

注册Ne4j服务

holders_stock.csv

需要注意的事项：

1. 每一个高管或行业或持股人应该具有唯一的ID

2.ID和ID之间一定要有对应，可以一对多或多对多，但一定要有对应，不然会报错找不到对应关系

3. 保存之后用文件另存为utf-8编码模式，不然导入neo4j后会乱码

4.股票代码在csv文件进行编辑后保存，在txt文件中发现少0，可以在Excel中使用公式

=REPT(0,6-LEN(需要补充的单元格))&(需要补充的单元格)，股票代码格式统一，防止导入生成图谱不对应

5. 在holders.csv文件中可以只有一个报告期的，不然做出来的图会出现4条线关系

1

导入数据

neo4j导入有两种方式，可以在浏览器中输入命令手动导入，也可以通过cmd运行neo4j-admin import进行导入，本文采用第二种方式。
在cmd模式下转到neo4j中的bin目录，新建import目录，将处理的数据复制到其中。
cmd运行代码：

neo4j-admin import --mode=csv --database=stock.db --nodes import/executive.csv --nodes import/stock.csv --nodes import/concept.csv --nodes import/industry.csv --relationships import/executive_stock.csv --relationships import/stock_industry.csv --relationships import/stock_concept.csv 

其中–mode=csv代表导入数据类型，–database=stock.db代表导入数据库名称，–nodes代表导入节点，–relationships代表导入关系。
如果直接把数据放在bin文件中，可省去我的import/

2

连接数据库

查看所有数据(勿试，会卡)

 match(n) return n

查看一个企业关联方

 match(n{股票代码:'601369'}) return n