IA Otimiza Decisões de Agregadores de Veículos Elétricos
O cenário da mobilidade elétrica está passando por uma transformação profunda, evoluindo do conceito tradicional de transporte para um papel central na gestão ativa da energia. Os veículos elétricos (VEs), antes vistos apenas como consumidores de eletricidade, estão emergindo como ativos energéticos dinâmicos e bidirecionais, capazes de não apenas carregar, mas também devolver energia à rede elétrica. Esse potencial, no entanto, não pode ser realizado por um único veículo. A chave para desbloquear esse valor reside na agregação. É aqui que entram em cena os agregadores de veículos elétricos (EVA), entidades que reúnem milhares de VEs para formar uma “usina virtual” capaz de participar ativamente nos mercados de energia, oferecendo serviços de arbitragem e regulação de frequência. Um novo estudo, liderado por Kong Yueping e Yang Shihai do Centro de Serviço de Marketing da State Grid Jiangsu Electric Power Co., Ltd., introduz um algoritmo de inteligência artificial que promete revolucionar a forma como esses agregadores operam, otimizando simultaneamente as decisões de mercado e a distribuição interna de potência.
O conceito conhecido como Veículo para Rede (V2G) é o alicerce dessa revolução. Ele permite que os veículos, quando conectados a um ponto de recarga, não apenas consumam energia da rede, mas também injetem energia de volta, especialmente em momentos de alta demanda e preços elevados. Isso cria um valor imenso: estabiliza a rede, facilita a integração de fontes renováveis intermitentes, como solar e eólica, e gera novas receitas tanto para os operadores da rede quanto para os proprietários dos veículos. No entanto, o sucesso desse modelo depende de uma gestão extremamente sofisticada. Um EVA enfrenta dois desafios interligados. Primeiro, ele precisa decidir quanto energia e quanta capacidade de reserva (potência para aumentar ou diminuir a geração) ofertar nos mercados de energia do dia seguinte e no mercado de equilíbrio. Segundo, uma vez tomada essa decisão estratégica, ele precisa resolver o problema prático de como distribuir fisicamente essa carga ou descarga entre os veículos individuais da sua frota. Tradicionalmente, esses dois problemas foram tratados separadamente, com abordagens que muitas vezes se mostraram subótimas.
Os métodos de otimização clássica, como a programação linear inteira mista (MILP), exigem modelos matemáticos precisos e previsões exatas de variáveis incertas, como os preços da energia, os horários de chegada e saída dos veículos e suas necessidades de carga. Quando essas previsões falham, as estratégias resultantes podem ser ineficazes ou mesmo prejudiciais, comprometendo tanto a rentabilidade do agregador quanto a satisfação do usuário. Abordagens robustas ou estocásticas podem lidar com a incerteza, mas muitas vezes levam a soluções excessivamente conservadoras ou exigem um poder computacional enorme. É nesse contexto que a pesquisa de Kong, Yang e sua equipe introduz um paradigma completamente novo: o aprendizado por reforço (Reinforcement Learning, RL).
O aprendizado por reforço é uma técnica de inteligência artificial que não depende de modelos pré-definidos do mundo. Em vez disso, um “agente” (o algoritmo do agregador) aprende através da interação direta com o seu ambiente. O agente realiza uma ação (por exemplo, ofertar uma certa quantidade de energia), observa o resultado (o preço do mercado, a resposta da frota) e recebe uma recompensa ou uma penalidade. Com o tempo, o agente aprende a política ótima, ou seja, a sequência de ações que maximiza sua recompensa a longo prazo. Essa abordagem é particularmente poderosa em ambientes dinâmicos e incertos, como o mercado elétrico, onde as condições mudam constantemente.
O verdadeiro avanço deste estudo, publicado na renomada revista Computer Engineering (DOI: 10.19678/j.issn.1000-3428.0068701), não é apenas a aplicação do RL, mas o design de um algoritmo capaz de gerenciar dois tipos de decisões simultaneamente, um conceito que os autores chamam de “ações híbridas”. Essa abordagem rompe com o paradigma tradicional de tratar a oferta de mercado e a distribuição de potência como problemas isolados.
O algoritmo proposto, uma versão avançada do Proximal Policy Optimization (PPO), é capaz de gerar dois tipos de ações em cada etapa de decisão. Primeiro, ações contínuas que determinam a magnitude da oferta no mercado. Isso inclui quanto energia (em kWh) comprar ou vender no mercado de energia e quanta capacidade de reserva comprometer para serviços de regulação. Esses valores podem variar em um intervalo contínuo, permitindo uma otimização fina e precisa. Segundo, ações discretas que controlam uma decisão estratégica fundamental: como a potência total será distribuída entre os veículos individuais. Aqui, o agente não escolhe um valor, mas uma estratégia específica entre duas opções principais.
A primeira estratégia é a distribuição proporcional. Esta estratégia atribui a carga ou descarga de forma equitativa, baseando-se na “flexibilidade” atual de cada veículo. A flexibilidade é definida como a capacidade de um veículo aumentar ou diminuir sua potência de carregamento sem comprometer a necessidade de ter a bateria carregada na hora de partida. Essa estratégia é excelente para preservar a flexibilidade geral da frota, pois evita que qualquer veículo se carregue completamente ou se descarregue muito cedo. Isso mantém todos os veículos disponíveis para futuras oportunidades de mercado, mas pode implicar em um número maior de ciclos de carga parcial, o que poderia acelerar o envelhecimento da bateria a longo prazo.
A segunda estratégia é a distribuição por prioridade. Esta estratégia é mais seletiva e foca na minimização do desgaste da bateria. Ela classifica os veículos de acordo com um “índice de conforto” que combina quanto tempo eles ainda têm na estação e quanta energia precisam para atingir seu objetivo. Os veículos com pouco tempo de permanência e muita energia necessária (pouco conforto) têm prioridade para carregar. Em contrapartida, os veículos com muito tempo de permanência e muita energia armazenada (alto conforto) têm prioridade para descarregar. Essa abordagem protege as baterias dos veículos que têm menos margem de manobra, reduzindo assim os custos de degradação. No entanto, sua desvantagem é que pode levar a um uso desigual da frota, onde alguns veículos são utilizados intensamente enquanto outros permanecem subutilizados, reduzindo a flexibilidade total disponível.
O gênio do algoritmo HPPO (Hybrid PPO) reside em sua capacidade de mudar dinamicamente entre essas duas estratégias. Ele não é obrigado a escolher uma e se ater a ela durante todo o dia. Em vez disso, aprende a avaliar o contexto em tempo real e a tomar a decisão estratégica correta. Os resultados das simulações são reveladores. Durante as horas noturnas, quando os preços da energia são mais baixos, o algoritmo tende a escolher a estratégia proporcional. Isso permite carregar a frota de forma econômica e, ao mesmo tempo, manter a flexibilidade de todos os veículos, preparando-os para possíveis oportunidades de descarga durante o dia.
À medida que o sol nasce e os preços da energia atingem seu pico, o comportamento do algoritmo muda drasticamente. Ele muda para a estratégia de prioridade. Quando o EVA decide descarregar a frota para vender energia cara ao mercado, o algoritmo prioriza a descarga daqueles veículos que têm muita energia e que permanecerão conectados por muito tempo. Isso garante que os veículos com uma janela de carregamento curta ou com baterias já baixas não sejam forçados a descarregar, protegendo-os de um desgaste excessivo. Essa mudança estratégica inteligente é a chave para seu sucesso.
Os testes comparativos realizados pelos pesquisadores demonstram de forma contundente a eficácia dessa abordagem. O algoritmo HPPO foi comparado com vários pontos de referência, incluindo versões do algoritmo PPO que usam apenas uma estratégia fixa (apenas proporcional ou apenas por prioridade) e com outro algoritmo de aprendizado por reforço de ponta, o Soft Actor-Critic (SAC). Os resultados foram conclusivos. O HPPO não apenas alcançou a maior recompensa cumulativa, um indicador direto de maior rentabilidade, mas também o fez de forma mais estável e eficiente.
Em comparação com um algoritmo que usa apenas a estratégia por prioridade, o HPPO reduziu o custo operacional total diário em 1,9%. Em comparação com um que usa apenas a estratégia proporcional, a redução foi ainda mais impressionante: 3,2%. Isso significa que o simples fato de permitir a troca dinâmica entre estratégias gera uma economia econômica significativa. Além disso, o algoritmo SAC, apesar de sua sofisticação, não conseguiu convergir no tempo de treinamento disponível e mostrou um desempenho inferior, o que ressalta a robustez e a eficiência da abordagem PPO nesse cenário específico.
Uma segunda contribuição fundamental deste trabalho é a forma como modelam a “flexibilidade agregada” da frota. A maioria dos modelos anteriores se concentrava apenas no aspecto físico: quanta potência pode ser deslocada e por quanto tempo. Kong e Yang introduzem um elemento crucial: o valor econômico da flexibilidade. Eles definem que a “flexibilidade unitária” em um dado momento é igual ao preço de atacado da energia naquele momento. Um quilowatt-hora de flexibilidade tem muito mais valor quando o preço é alto do que quando é baixo. Seu modelo de flexibilidade não apenas calcula o que se pode fazer, mas também o que deve ser feito para maximizar o valor total da flexibilidade ao longo do dia. Esse modelo, que considera as restrições de carregamento de cada veículo e os preços do mercado, permite que o EVA tome decisões não apenas tecnicamente viáveis, mas também economicamente ótimas desde o início.
A função de recompensa do agente é um reflexo perfeito dos objetivos do mundo real. Não se trata apenas de maximizar a receita com a venda de energia. A recompensa penaliza ativamente os custos negativos: o custo de comprar energia cara, o custo da degradação da bateria (modelado como uma função polinomial que reflete o desgaste não linear), o custo de não satisfazer a demanda de carregamento de um usuário e o custo de não entregar a potência exata que foi ofertada no mercado. Ao equilibrar todos esses fatores, o agente aprende uma política de negócios completa que é sustentável tanto do ponto de vista financeiro quanto da manutenção da frota.
A arquitetura do algoritmo é engenhosa. Ela utiliza uma rede neural com uma estrutura de “ramos”. Uma camada compartilhada processa as informações de estado (preços, estado de carga total, etc.). Em seguida, dois ramos separados assumem o controle: um para as ações contínuas (a oferta de mercado) e outro para a ação discreta (a escolha da estratégia de distribuição). Ambos os ramos são treinados simultaneamente, o que permite que as decisões sejam coordenadas. Uma rede de valor compartilhada estima o valor do estado, guiando todo o processo de aprendizado. Essa arquitetura evita a ineficiência de treinar dois agentes separados e promove uma cooperação natural entre as duas decisões.
As implicações dessa pesquisa são profundas. Para os operadores de parques de recarga e empresas de serviços energéticos, este algoritmo representa uma ferramenta poderosa para transformar suas instalações em centros de gestão energética ativa, gerando receitas adicionais e melhorando a eficiência operacional. Para os proprietários de veículos elétricos, significa uma participação mais rentável no mercado V2G, com o benefício adicional de que suas baterias estão sendo gerenciadas de uma maneira que minimiza o desgaste, aumentando assim sua vida útil e protegendo seu investimento.
Para os sistemas elétricos, a adoção em larga escala de agregadores inteligentes como este poderia ser um catalisador para uma rede mais resiliente e sustentável. A capacidade de armazenar energia excedente de fontes renováveis e liberá-la quando mais é necessária é essencial para descarbonizar o setor energético. Este algoritmo não é apenas um avanço técnico; é um passo crucial em direção a um futuro em que os veículos elétricos não são apenas consumidores de energia, mas cidadãos energéticos ativos e responsáveis.
Kong Yueping, Yang Shihai et al., Marketing Service Center of State Grid Jiangsu Electric Power Co., Ltd., Computer Engineering, DOI: 10.19678/j.issn.1000-3428.0068701