大家晚上好，我今天介绍的是市场报价策略方面的学习算法的研究，具体围绕基于学习算法的改进RE学习算法和EWA算法，希望能给大家启示。市场博弈研究有三大类算法，一种是强化学习算法，另外一种是训练学习，第三种就是EWA算法。下面我们来看仿真结果。
现实供大于求情况下，仿真可以看到价的收敛快慢，就是市场达到均衡，或决策达到成熟状态所需要的时间。购电商的报价策略比较明确，能够比较快的达到收敛;发电侧因为供大于求，竞争比较激烈，收敛速度较慢。
第二个点，关注发电商市场份额与利润关系，有一些直观的结论也是符合大家常识的：份额越大，利润能够维持较高水平，但小的发电商利润水平较低，生存比较难。
我们看出两种算法在同一环境下表现差异比较大，通过几种指标反映：发电商、购电商加权平均报价，市场出清价的变化。市场中市场主体采用的学习算法对市场整体表现有影响，都采用同一种策略或只有其中几个是不一样的。算法特性方面有区别，EWA算法更精细，决策更新多了训练学习的思想，可以增强市场代理的智能性。
出清价受供需比影响较大，随着供需比增大，出清价格下降，但下降到什么程度，是不是合理的，有没有达到市场均衡，这个是一个很重要的点。
也就是说策略算法能否达到市场最优是关键。我们发现RE算法经常达到局部最优原因可能是其中的随机因素，无先验信息时受随机数影响较大;EWA学习算法会考虑过去市场报价与收益，更可能达到全局最优。
现场讨论
提问：发电厂获益和发电商哪些因素有关?用竞价算法的好处是什么?
发言人：我认为与机组类型、成本有关。
专家J：这个问题看似研究学习算法，实际上对电力市场中的一些博弈、均衡问题有很多启示。EWA和MRE两种学习算法可以代表市场中的两类发电集团：由于EWA相对MRE是更先进的学习算法，可以代表市场中对市场有更深刻认识、有更强的技术实力的公司。EWA方法下收敛的更慢，但价格更低，更接近真正的市场均衡点。这说明，如果大家经过学习都对市场和策略很了解了，采用了更先进的报价策略，竞争更加激烈，收敛更慢，整体价格反而下降了。但是如果大家都不懂这个市场，可能很快就收敛了，但距离真正的均衡点还比较远，不是一个全局最优解。这个给我们的另外一个启示是，设计规则时要尽量简单，让大家都懂。如果都不懂，就像大家都用MRE算法，收敛不稳定(市场受随机因素影响大)，容易被少数市场主体控制，价格偏高。
提问：刚才提到优化的问题，目的是什么?
专家J：这不是像线性规划那样的数学优化，而是同学智能的强化学习算法，帮市场主体找到最优策略。简单的说，就是给很多策略，如果采用某个策略获利较大，就给他的权重增加，反之减少。
