财经新闻网

您现在的位置是:首页 > 财经人物 > 正文

财经人物

新浪财经知识图谱解译平台(新浪财经)新浪财经网址全名,

147小编 2024-06-26财经人物
新浪财经知识图谱解译平台经济就是人们生产、流通、分配、消费一切物质精神资料的总称。经济的发展与人民生活息息相关。 新浪财经是国内第一大财经网络媒体。新浪财经打造高端新闻资讯,深度挖掘业内信息,全程报………

 

新浪财经知识图谱解译平台

经济就是人们生产、流通、分配、消费一切物质精神资料的总称。经济的发展与人民生活息息相关。

新浪财经是国内第一大财经网络媒体。新浪财经打造高端新闻资讯,深度挖掘业内信息,全程报道80%以上的业界重要会议及事件,独家率达90%,是最具影响力的主流媒体平台。同时,新浪财经也开发出如金融超市、股市行情、基金筛选器、呼叫中心,金融产物在线查询等一系列实用产物资助网民理财,是最为贴心实用的服务平台。除此之外,新浪财经为网友搭建互动、交流、学习的财经大平台。财经博客、财经吧、模拟股市、模拟汇市等均成为业界最早、人气最旺、最知名的财经互动社区。

基于领先的财经资讯和贴心的产物服务,新浪财经吸引了非常庞大的高端用户群,已经成为金融行业客户进行网络营销的主要平台,同时也获得了非金融类客户的广泛青睐。

本项目爬取新浪财经中的股票信息,制作成知识图谱,并实验对知识图谱进行解译。

项目设计

项目设计如图,web前端接收用户输入,将用户输入发送到后台的用户服务器,并由用户服务器转发到语义解析服务,语义解析根据用户输入信息转化为sparql语言,发送给用户服务器,用户服务器再将sparql发送到知识图谱库中查找结果返回给用户服务器,最终用户服务器将结果显示到前端。

数据获取以及构建知识图谱

使用软件对新浪财经网站进行爬取,爬取后的数据生存为Excel文件。
使用python读取Excel并根据数据格式自定义三元组,将三元组生存为.shtml.nt文件,代码如下。
在GraphDB上新开一个知识库,将.shtml.nt文件导入到知识库中
import pandas as pd import numpy as np df = pd.read_excel(新浪行业_板块行情_新浪财经_新浪网.xlsx) with open(SinaFinance.shtml.nt,w,encoding=utf-8) as fp: fp.write(<http://www.wust.edu.cn/zg#SinaFinance> <http://www.wust.edu.cn/zg/sct#hasEnglishLabel> "Sina Finance".\n) fp.write(<http://www.wust.edu.cn/zg#SinaFinance> <http://www.wust.edu.cn/zg/sct#hasChineseLabel> "新浪财经".\n) fp.write(<http://www.wust.edu.cn/zg#SinaFinance> <http://www.wust.edu.cn/zg/sct#hasUrl> "http://finance.sina.com.cn/".\n) classes = np.array(df[板块]).astype(np.str) for i,v in enumerate(classes): fp.write(<http://www.wust.edu.cn/zg#SinaFinance> <rdfs:subClassOf> <http://www.wust.edu.cn/zg#sinaclass+str(i+1)+>.\n) import pandas as pd import numpy as np df = pd.read_excel(新浪行业_板块行情_新浪财经_新浪网.xlsx) df2 = pd.read_excel(行情中心_新浪财经_新浪网.xlsx) with open(SinaClass.shtml.nt,w,encoding=utf-8) as fp: classes = np.array(df[板块]).astype(np.str) for i,v in enumerate(classes): fp.write(<http://www.wust.edu.cn/zg#sinaclass+str(i+1)+> <http://www.wust.edu.cn/zg/sct#hasChineseLabel> "+v+".\n) classes = np.array(df[链接地址]).astype(np.str) for i,v in enumerate(classes): fp.write(<http://www.wust.edu.cn/zg#sinaclass+str(i+1)+> <http://www.wust.edu.cn/zg/sct#hasUrl> "+v+".\n) id = np.array(df2[页面网址]).astype(np.str) id2 = np.array(df[链接地址]).astype(np.str) for i,v in enumerate(id): for j,k in enumerate(id2): if v.split(#)[-1]==str(k).split(#)[-1] and not pd.isnull(df2.loc[i,代码]): fp.write(<http://www.wust.edu.cn/zg#sinaclass+str(j+1)+> <rdfs:subClassOf> <http://www.wust.edu.cn/zg/stockID#+str(df2.loc[i,代码])+>.\n) with open(Stock.shtml.nt,w,encoding=utf-8) as fp: id = np.array(df2[代码]).astype(np.str) for i,v in enumerate(id): fp.write(<http://www.wust.edu.cn/zg/stockID#+str(v)+> <http://www.wust.edu.cn/zg/sct#ID> "+str(v)+".\n) fp.write(<http://www.wust.edu.cn/zg/stockID#+str(v)+> <http://www.wust.edu.cn/zg/sct#hasChineseLabel> "+str(df2.loc[i,名称])+".\n) fp.write(<http://www.wust.edu.cn/zg/stockID#+str(v)+> <http://www.wust.edu.cn/zg/sct#hasUrl> "+str(df2.loc[i,代码_链接])+".\n)

知识图谱结构展示

web前后端设计

前端

前端使用vue框架进行设计,代码详见SinaFinanceKnowledge\zg-vue

用户服务器

后台使用springboot撰写与知识图谱的对接接口,代码详见SinaFinanceKnowledge\zg-java

语义解析服务器

由于语义解析部门使用python+paddlepaddle构建,所以语义解析服务器使用django搭建的,代码详见SinaFinanceKnowledge\text2sparql

语义解析

代码及模型

详见text2sparql.ipynb

摆设

由于深度学习使用的python语言,所以当地摆设使用django第三方库来生成后台服务接口。摆设代码和预测代码差不多。 这里注意的是,由于我们生成的辞书全部使用小写,所以生成后的部门语句中的特定词需要转为sparql中的定义词。如:

sparql = " ".join(word_list_s).replace(sct:haschineselabel,sct:hasChineseLabel).replace(sct:id,sct:ID).replace(zg:sinafinance,zg:SinaFinance)

总结与展望

目前仅使用了seq2seq,即自然语言生成的方式来完成text2sparql,效果看起来还不错,但仍有不敷

到场深度学习的数据集较少,在少量的数据集上,精度也不能完全拟合。部门词语如:煤炭行业、“煤炭行业”,其实是一样的,但仍然在token映射时,映射为差别的词向量,后续可以改进。

后期可以扩大数据集,调整模型结构,或者使用信息抽取以及归类、匹配的方式构造sparql。

项目开源

Github传送门:https://github.com/Shelly111111/SinaFinanceKnowledge

AI Studio传送门:https://aistudio.baidu.com/aistudio/projectdetail/4247914