当前位置:主页 > 六仔心水坛78599.com天下网 > 是时候抄底了?强化学习炒股走向人生巅峰(或倾家荡产)

是时候抄底了?强化学习炒股走向人生巅峰(或倾家荡产)

  3 月上旬,美国道琼斯指数出现了下跌熔断。伯克希尔哈撒韦 CEO 巴菲特的言论让世人惊恐。

  「如果你坚持足够长的时间,你将在市场中目睹所有可能的情况,」3 月 8 日,沃伦 · 巴菲特在接受采访时说道。「但这可能是我 89 年人生以来第一次经历这样的事。但如果一个市场是即时运行的,它就会对新闻产生很大反应。」

  在当时,巴菲特认为市场还没有出现 2008 年或是 1987 年那样的恐慌,但今年的三月对于所有投资者来说注定是一段前所未有的经历——很快,美股又经历了多次下跌熔断。

  前所未有的情况或许也意味着绝无仅有的机会,对于想要致富的我们来说,大胆抄底成为了一种选择。

  但剧情发展到这里一般是这样:一番错误操作后,结果惨不忍睹,第一次买股票就被股市一段暴打。

  痛定思痛,我们应该换一个思路:既然都是机器学习开发者,为什么不用深度强化学习来自动模拟炒股?实验验证一下能否获得收益。

  已有人对此进行了尝试。该项目的作者是一名来自哈尔滨工业大学的在读博士,同时也是一家创业公司的合伙人。

  作者之前还做过很多有趣的项目,比如「微信跳一跳 Python 辅助」,以及 Python 抖音机器人,用它在抖音上找到漂亮的小姐姐(就真的还挺实用的)。

  以 1990 年年初到去年 11 月底的股票数据作为训练集,去年 12 月股票数据作为测试集。作者先用单只股票试验了一下,初始本金为 10000 元人民币(股票代码 sh.600036,招商银行 ) ,进行了为期 20 天的模拟操作,经历了一番起伏,最终盈利 400 元。

  在进行单只股票试验之后,作者选取 1002 只股票进行训练,结果显示盈利率为 44.5%,不亏不赚率为 46.5%,亏损率为 9.0%。仅从盈亏率来看,效果还是不错的。

  当然,作者也说了,「数据和方法皆来源于网络,无法保证有效性」,只能说是辅助决策的方法吧,Just For Fun,如果产生了什么后果,还是得自己默默承受……机器之心友情提示,股市有风险,投资需谨慎。盲目乱投资,亲人两行泪。

  所以说如何使用深度强化学习自动炒股呢?首先我们将本项目克隆到本地,并安装相关依赖环境:

  项目作者使用证券宝来获取股票证券交易数据。证券宝是一个免费、开源的证券数据平台,里面包含大量准确、完整的证券历史行情数据、上市公司财务数据,用户可通过通过 python API 获取其数据信息。安装方式如下:

  由于数据集相对较大,涵盖了过去将近 30 年的股票证券交易数据,所以这一过程相对比较耗时。

  最后,运行项目中的 main.py 即可对该股票交易环境进行训练或测试。测试效果如下:

  从以上代码可以看到,作者首先使用 pandas 读取股票证券交易数据,之后将其输入 RL 环境中。这里使用的股票交易的 Gym 环境参考了 Stock-Trading-Environment 这一开源实现,我们仅需将获取到的数据输入该环境中,即能得到可直接用于 RL 进行训练的标准 Gym 环境 API。

  PPO 算法的全称是 Proximal Policy Optimization(近端策略优化),是 OpenAI 在 2017 年发布的一种强化学习算法。该算法的实现和调参十分简单,在强化学习中的表现优于当时所有顶尖算法的水平,因此被 OpenAI 作为强化学习研究中的首选算法。

  PPO 是策略梯度的一种改进算法,可以让我们在复杂和具有挑战性的环境中训练 AI 策略。策略梯度算法对步长十分敏感,但是又难以选择合适的步长,在训练过程中新旧策略的的变化差异如果过大则不利于学习。

  PPO 提出了新的目标函数,香港金钱树论坛开奖香港第一手欲钱料:打狗欺主,可以在多个训练步骤中实现小批量的更新,解决了策略梯度算法中步长难以确定的问题。其实 TRPO 也是为了解决这个问题,但是相比之下,PPO 算法更容易求解。

  PPO 算法在强化学习中有着广泛的应用,如 OpenAI 的 Dota2 智能体、腾讯王者荣耀智能体绝悟等都使用了这项技术。

  可以看到,本项目并不涉及很深奥的数学知识,使用的训练环境与 RL 算法也均为其他开源实现,核心代码不超过 10 行,却有着不错的效果。在工程实现上,有的时候一个好的创意或许要比复杂的代码实现重要。

  • 上一篇:联通校园特权计划:各种免费送、就怕你不来
  • 下一篇:最好的股票学习网

    最新文章

  • 最好的股票学习网
  • 是时候抄底了?强化学习炒股走向
  • 联通校园特权计划:各种免费送、
  • 最新文章
  • 通信铜缆三天两头遭盗割(图)
  • 特权乐派惊喜多新春装修抢定征集
  • 万圣节小镇装修狂欢日完美落幕
  • 【周年装修趴】钜惠十城让你装修
  • 8月全国受理网络违法和不良信息
  • 正邦集團再質押119億股正邦科技
  • 随机推荐

  • 更方便!静安首家社会药店试行“
  • 今年7月全国受理网络违法和不良
  • 破解游戏大全手机软件排名 十大
  • 智能制造与工业大数据思客会
  • 农村、小区“撤桶”分出绿色新生
  • 红枣切碎br 17岁乳房发育不良的
  • 开县香港公司审计多少钱
  • 放在一旁备用br 对营养不良、身
  • 校园特权今起派发《佣兵天下》校
  • 萧山求解可持续发展方程式
  • 热门点击

  • 这一点已经很明确了吴尊友指出新
  • 华纳拒绝透露《信条》票房激怒同
  • 另外女孩子的乳房发育还受到女孩
  • 京东校园X滴滴开启双重学生特权
  • 谢谢你们啦也没有几个人认识他其
  • 最好的股票学习网
  • 没有经过深入细致调查技术维护就
  • 就更能向整容医生描述她们最想要
  • 香港公司审计费用明细表
  • 资讯阅读