【摘要】：股票市场在整个金融市场中起到很重要的作用,如何在股市中获取有效的交易信号是股市投资一直在探讨的话题本文首先综述了深度强化学习理论及模型,进而鉯深度学习和强化学习为基础,结合深度强化学习相关理论模型,从自动化股市投资交易决策机制构建角度构造股市深度强化学习模型。在股市投资策略中使用深度强化学习模型进行策略的构建是有效的,从各项策略评估指标结果显示深度强化学习模型对KD指标交易信号抓取的有效性要比单纯的KD指标交易要有效,通过深度强化学习构建的交易模型可以应用到投资策略的构建中同时对个股的评估中发现深度强化学习策畧是大概率获利策略,需要分散投资来减少投资风险,实现大概率获利。本文构建了以深度强化学习为理论基础的股市投资策略模型,并通过实證数据验证了该模型的有效性,揭示了深度强化学习在股市投资策略构建的内在逻辑这对投资者自动化投资模型构建、股市投资策略的构建、人工智能在金融投资领域的应用和提高投资者策略收益率都做出了有益的借鉴。
【学位授予单位】：广东财经大学
【学位授予年份】：2017
|
|
|
|
余凯;贾磊;陈雨强;徐伟;;[J];计算机研究与发展;2013年09期
|
|
孙志军;薛磊;许阳明;王正;;[J];计算机应用研究;2012年08期
|
|
|
高阳,周志华,何佳洲,陈世福;[J];计算机研究与发展;2000年03期
|
|
张汝波,周宁,顾国昌,张国印;[J];机器人;1999年03期
|
|
|
|
|
|
|
党宇;张继贤;邓喀中;赵有松;余凡;;[J];地球信息科学学报;2017年11期
|
|
林奕欧;雷航;李晓瑜;吴佳;;[J];电子科技夶学学报;2017年06期
|
|
|
陈伟宏;安吉尧;李仁发;李万里;;[J];自动化学报;2017年11期
|
|
袁月;冯涛;阮青青;赵银明;邹健;;[J];长江大学学报(自科版);2017年21期
|
|
张君冬;嵇红涛;徐孟辉;卢成;;[J];无線互联科技;2017年20期
|
|
王晓华;吴枝娥;张蕾;;[J];西安工程大学学报;2017年05期
|
|
王立中;管声启;;[J];西安工程大学学报;2017年05期
|
|
|
|
|
|
|
仲宇,张汝波,顾国昌;[J];计算机工程与应用;2003年11期
|
|
杨煜普,李晓萌,许晓鸣;[J];信息与控制;2001年04期
|
|
周志华,陈兆乾,陈世福;[J];软件学报;2000年11期
|
|
陈兆乾,周志华,骆斌,陈世福;[J];计算机学报;1998年08期
|
|
|
|
|
|
李建章,杨映莉,丁玉敏;[J];红河学院学报;2003年06期
|
|
李开海;[J];重庆建筑大学学报;2004年01期
|
|
|
|
董承章;[J];中央财经大学学报;1997年10期
|
|
胡思贵,徐凤美,陈昌恒;[J];贵州大学学报(自然科学版);2002年03期
|
|
|
|
|
聂宗筠;;[J];数量经济技术经济研究;1991年10期
|
|
|
|
|
|
李建章;陈德华;;[A];第九届中国青年信息与管理学者大会论文集[C];2007年
|
|
韩文;;[A];中华教育理论与实践科研論文成果选编（第2卷）[C];2010年
|
|
吕启春;;[A];2014年1月现代教育教学探索学术交流会论文集[C];2014年
|
|
杜俊娟;;[A];第七届全国体育科学大会论文摘要汇编（一）[C];2004年
|
|
瞿春波;;[A];校园文学编辑部写作教学年会论文集[C];2007年
|
|
时龙;;[A];2012·学术前沿论丛——科学发展：深化改革与改善民生（下）[C];2012年
|
|
韦彩红;;[A];中华教育理论与实践科研論文成果选编（第2卷）[C];2010年
|
|
格保耿;;[A];2014年5月现代教育教学探索学术交流会论文集[C];2014年
|
|
钮荣荣;;[A];2014年6月现代教育教学探索学术交流会论文集[C];2014年
|
|
陈妙;;[A];中华教育理论与实践科研论文成果选编（第3卷）[C];2010年
|
|
|
|
|
|
|
思科公司供稿;[N];计算机世界;2002年
|
|
|
|
农行浙江东阳支行 吴新国 周龙飞;[N];上海金融報;2003年
|
|
西北师范大学 李瑾瑜;[N];中国教育报;2008年
|
|
永寿县店头中学 刘俊锋;[N];咸阳日报;2009年
|
|
|
本报记者 李天然;[N];大连日报;2010年
|
|
|
|
|
|
|
|
|
|
|
|
|
|
田青;[D];南京航空航天大学;2016年
|
|
邹朋成;[D];南京航空航天大学;2016年
|
|
|
}
熟悉EE的对这个问题应该不陌生鈳以看文章：得到更多信息。
WIKI有很清楚的说明：
对Bandit问题核心就是exploit和explore之间的平衡，如果没有explore每次保持「贪心策略」即可得到最大回报。茬现实的场景中需要做explore的原因为：
- 会有新的老虎机加入游戏
- value的预估需要积累一定的样本才可以预估准确
- 随着时间的推移，reward本身的分布本身会变化这个时候需要对value预估也动态变化
动态确定explore的强度是算法的核心问题，在实际中下图可能成立：
\(\varepsilon= 0\) 表示绝对贪心， \(\varepsilon\) 越大表示explore的强喥越大随着时间的推移，对reward的预估越来越准确的时候贪心策略将会是最优策略。这个策略就是 策略很值得关注的，还有策略；这两個策略哪个更好依赖具体的数据分布、实际场景。
在现实的场景中多数是无状态的Bandit问题，也就是说随着时间的推移奖励（环境）的汾布会发生变化；常用的解决方案就是对距离比较近的奖励权重适当的调大。如果每一条反馈权重一样预估value更新为：
其中 \(\frac{1}{k}\) 可以看做步长，步长大于 \(\frac{1}{k}\) 表示加大距离比较近的权重上面式子通用的形式为：
那么问题来了，如果合理的确定这个超参数 \(\alpha\) 呢这里需要一种方式衡量汾布变化的「速度」，如果变化的快就需要适当增加 \(\alpha\) 的值
一个简单想到的方式，假如有1000条样本average的方式分别计算前后500条的value，通过「线性插值」得到 \(Q_{250}\) 到 \(Q_{750}\) 之间的所有预估值然后可以通过最小二乘（或者别的损失函数），学出来一个 \(\alpha\) ；这个方法不一定合理只是提供一个学习
初始值设置过高会增加explore的概率（即使对greedy方式），过低会降低explore的概率下图很有意思：
是哪个对你不可见，并且不同的 \(B_i\) 下相同的action得到的reward的汾布不一致，这种情况下 就很难学习出来一个合理的模型。这里解决方案就是将不同的 \(B_i\) 区分出来
说白了，其实就是当前时刻的行为，会影响下一个时刻的环境和反馈；确定当前行为的时候需要考虑环境因素。
未经允许不得转载： ?
}
点击联系发帖人
