浅谈适用于大规模充电场站的深度强化学习有序充电策略

安科瑞 陈聪

摘要：针对大型充电场站内规模化电动汽车的有序充电问题，提出一种基于双深度Q网络深度强化学习方法的电动汽车充电安排策略，能有效计及电动汽车出行模式和充电需求的不确定性，实现充电场站充电成本化的目标。对电动汽车泊车时间和充电需求特征进行提取，实现降低充电成本、提高电网稳定性和供电服务质量的目标。深度强化学习在成本优化和负荷优化方面效果*著，结合负荷预测和构建智能充电站优化选择系统具有广阔应用前景。未来可在算法优化、融合更多数据和技术、拓展应用场景及政策标准制定等方面进一步发展。

关键词：电动汽车；充电场站；深度强化学习；有序充电；

1.引言

随着新能源汽车销量的快速增长，大规模充电场站的建设需求日益凸显。据乘联会销量数据显示，2017年中国新能源乘用车销量达到了57.6万台，位列全球，且保持着较高的增长率。中国汽车工业协会预计，2018年新能源汽车销量将超过100万辆。然而，大规模充电场站面临着诸多挑战。

一方面，整体电网用电峰值负荷增加。尤其对于电动汽车充电行为，傍晚的充电峰值负荷将大大增加。报告显示，到2020年与2030年，在无序充电情形下，国家电网公司经营区域峰值负荷增加1361万千瓦和1.53亿千瓦。另一方面，配电网增容改造需求增加、安全管理难度增加。部分地区随着电动汽车的增加，充电需求也随之增加，这将导致部分地区的充电设施建设发展的提升。同时，电动汽车的增加对大电流供电稳定性需求也在增加，不合理的接线可能会增加各级配电网保护动作跳闸的风险。此外，供电服务质量和效率要求提升。居民区充电桩一般是单个用户小容量“零散报装”的模式，相比于“整体报装”模式，工作量、服务效率和服务质量都有较高需求。

在这样的背景下，深度强化学习在大规模充电场站中的应用显得尤为重要。深度强化学习能够有效计及电动汽车出行模式和充电需求的不确定性，实现充电场站充电成本化的目标。通过对电动汽车泊车时间和充电需求特征进行提取，建立适用于大规模电动汽车有序充电的马尔可夫决策过程模型，并应用强化学习算法求解电动汽车有序充电策略，可以有效减少充电场站的充电成本，同时使模型训练难度不受电动汽车规模影响。

2.研究目的

本文旨在解决大规模充电场站面临的诸多问题，利用深度强化学习技术实现电动汽车的有序充电，从而达到降低充电场站充电成本、提高电网稳定性和供电服务质量的目标。

随着新能源汽车市场的不断扩大，大规模充电场站的建设和运营面临着巨大挑战。深度强化学习作为一种具有强大学习能力和决策能力的人工智能技术，为解决这些问题提供了新的思路和方法。

通过对电动汽车泊车时间和充电需求特征的提取，建立马尔可夫决策过程模型，可以更好地理解电动汽车的充电行为和需求不确定性。应用双深度Q网络（DDQN）等深度强化学习算法求解电动汽车有序充电策略，能够在考虑电动汽车出行模式和充电需求不确定性的情况下，实现充电场站充电成本化。

具体而言，本文的研究目标包括以下几个方面：一是减少充电场站的充电成本，通过优化充电策略，降低电力消耗和运营成本；二是提高电网稳定性，避免充电高峰对电网造成过大压力，减少变压器过载等风险；三是提升供电服务质量，满足用户的充电需求，提高服务效率和用户满意度。

深度强化学习在大规模充电场站中的应用具有重要的现实意义和广阔的发展前景。通过本文的研究，希望为大规模充电场站的建设和运营提供有效的技术支持和决策依据。

3.应用优势

在大规模充电场站中，深度强化学习具有诸多优势。首先，它能够处理电动汽车出行模式和充电需求的不确定性。由于电动汽车的使用行为具有随机性，充电需求难以准确预测，深度强化学习可以通过与环境的不断交互，学习适应这种不确定性，从而制定出更加合理的充电策略。例如，通过对历史充电数据的学习，深度强化学习算法可以预测不同时间段的充电需求概率分布，进而优化充电安排，降低充电成本。

其次，深度强化学习可以实现全局解。在大规模充电场站中，充电策略的制定需要考虑多个因素，如电网负荷、充电成本、用户需求等。传统的优化方法往往难以同时考虑这些因素，而深度强化学习可以通过不断地试错和学习，逐渐逼近全局解。例如，通过对不同充电策略的模拟和评估，深度强化学习算法可以找到在满足电网稳定性和用户需求的前提下，充电成本化的策略。

此外，深度强化学习具有自适应性和可扩展性。随着电动汽车市场的不断发展和充电场站规模的不断扩大，充电需求和环境也会发生变化。深度强化学习算法可以自动适应这些变化，无需人工重新设计优化规则。同时，深度强化学习算法可以很容易地扩展到更大规模的充电场站和更多的电动汽车，具有良好的可扩展性。

4.有序充电需求

有序充电对充电场站运营和电网具有重要意义。对于充电场站运营而言，有序充电可以提高充电桩的利用率，减少车辆排队时间，提升运营效益。例如，在车多桩少的情况下，通过合理安排充电次序和设定中止充电SOC值，可以提高充电站的服务效率。同时，有序充电可以降低充电成本。根据弹性电价机制，将充电时间安排在电价低的谷时段，可以有效减少充电费用。对于电网而言，有序充电可以实现削峰填谷，减小电网负荷波动，提高电网稳定性和供电质量。数据显示，到2020年与2030年，在无序充电情形下，国家电网公司经营区域峰值负荷将分别增加1361万千瓦和1.53亿千瓦。而通过有序充电，可以有效缓解充电高峰对电网造成的压力，减少配电网增容改造需求，降低安全管理难度。

5安科瑞充电桩收费运营云平台助力有序充电开展

5.1概述

AcrelCloud-9000安科瑞充电柱收费运营云平台系统通过物联网技术对接入系统的电动电动自行车充电站以及各个充电整法行不间断地数据采集和监控，实时监控充电桩运行状态，进行充电服务、支付管理，交易结算，资要管理、电能管理，明细查询等。同时对充电机过温保护、漏电、充电机输入/输出过压，欠压，绝缘低各类故障进行预警；充电桩支持以太网、4G或WIFI等方式接入互联网，用户通过微信、支付宝，云闪付扫码充电。

5.2应用场所

适用于民用建筑、一般工业建筑、居住小区、实业单位、商业综合体、学校、园区等充电桩模式的充电基础设施设计。

5.3系统结构

系统分为四层：

1）即数据采集层、网络传输层、数据层和客户端层。

2）数据采集层：包括电瓶车智能充电桩通讯协议为标准modbus-rtu。电瓶车智能充电桩用于采集充电回路的电力参数，并进行电能计量和保护。

3）网络传输层：通过4G网络将数据上传至搭建好的数据库服务器。

4）数据层：包含应用服务器和数据服务器，应用服务器部署数据采集服务、WEB网站，数据服务器部署实时数据库、历史数据库、基础数据库。

5）应客户端层：系统管理员可在浏览器中访问电瓶车充电桩收费平台。终端充电用户通过刷卡扫码的方式启动充电。

小区充电平台功能主要涵盖充电设施智能化大屏、实时监控、交易管理、故障管理、统计分析、基础数据管理等功能，同时为运维人员提供运维APP，充电用户提供充电小程序。

5.4安科瑞充电桩云平台系统功能

5.4.1智能化大屏

智能化大屏展示站点分布情况，对设备状态、设备使用率、充电次数、充电时长、充电金额、充电度数、充电桩故障等进行统计显示，同时可查看每个站点的站点信息、充电桩列表、充电记录、收益、能耗、故障记录等。统一管理小区充电桩，查看设备使用率，合理分配资源。

5.4.2实时监控

实时监视充电设施运行状况，主要包括充电桩运行状态、回路状态、充电过程中的充电电量、充电电压电流，充电桩告警信息等。

5.4.3交易管理

平台管理人员可管理充电用户账户，对其进行账户进行充值、退款、冻结、注销等操作，可查看小区用户每日的充电交易详细信息。

5.4.4故障管理

设备自动上报故障信息，平台管理人员可通过平台查看故障信息并进行派发处理，同时运维人员可通过运维APP收取故障推送，运维人员在运维工作完成后将结果上报。充电用户也可通过充电小程序反馈现场问题。

5.4.5统计分析

通过系统平台，从充电站点、充电设施、、充电时间、充电方式等不同角度，查询充电交易统计信息、能耗统计信息等。

5.4.6基础数据管理

在系统平台建立运营商户，运营商可建立和管理其运营所需站点和充电设施，维护充电设施信息、价格策略、折扣、优惠活动，同时可管理在线卡用户充值、冻结和解绑。

5.4.7运维APP

面向运维人员使用，可以对站点和充电桩进行管理、能够进行故障闭环处理、查询流量卡使用情况、查询充电\充值情况，进行远程参数设置，同时可接收故障推送

5.4.8充电小程序

面向充电用户使用，可查看附近空闲设备，主要包含扫码充电、账户充值，充电卡绑定、交易查询、故障申诉等功能。

5.5系统硬件配置

6.总结

深度强化学习能够有效应对大规模充电场站中电动汽车出行模式和充电需求的不确定性。通过对电动汽车泊车时间和充电需求特征的提取，实现了充电场站充电成本化的目标，同时使模型训练难度不受电动汽车规模影响。

在大规模充电场站中，深度强化学习具有诸多优势。它能够处理不确定性，实现全局解，具有自适应性和可扩展性。通过与环境的不断交互，深度强化学习算法可以学习适应复杂多变的充电需求和电网环境，制定出更加合理的充电策略。

总之，深度强化学习在大规模充电场站中的应用为解决充电场站面临的诸多问题提供了有效的技术支持和决策依据，具有重要的现实意义和广阔的发展前景。

参考文献：

[1]陈果.适用于大规模充电场站的深度强化学习有序充电策略

[2]陈吕鹏，潘振宁，余涛，等.基于动态非合作博奔的大规模电动汽车实时优化调度

[3]安科瑞企业微电网设计与应用手册.2022.05版