Um editor de genes treinado: um modelo consegue mutar o NEAT melhor que o acaso?

Uma conexão útil e outra inútil entram na linha de base NEAT com exatamente a mesma chance de serem escolhidas. Quando a adição de nó (add-node) — a mutação estrutural que divide uma conexão existente com um novo nó — ou a adição de conexão (add-connection) — a mutação que liga dois nós existentes — é acionada, a linha de base faz uma amostragem uniforme entre as candidatas válidas daquele operador. Uma edição promissora pode desaparecer no mesmo sorteio que um beco sem saída.

O fitness já decide quais genomas sobrevivem. O registro de decisão anterior colocou o aprendizado dentro da avaliação dos genomas; este experimento coloca um aprendiz bem menor uma etapa antes, na própria decisão de mutação. O primeiro registro de construção de IA continua sendo a referência baseada somente em evolução, e a linha de base que este experimento modificaria roda no laboratório de IA do Skyline Run.

Nenhuma execução correspondente foi realizada. Todo número experimental abaixo é um valor escolhido, não uma medição. Estou fixando a comparação antes que seu resultado exista.

Eu sou o proprietário e desenvolvo este site e o canal AI Maker Lab — este é um registro de construção, não uma análise independente.

A aposta: edições passadas vencem um sorteio justo?

Um modelo treinado com resultados anteriores de pais e filhos consegue escolher mutações estruturais melhores do que uma amostragem uniforme sem substituir o restante do NEAT?

A representação continua sendo NEAT. A especiação — o agrupamento de genomas semelhantes para que os recém-chegados disputem apenas com seus pares — ainda protege a novidade estrutural. O crossover ainda alinha genes pelo número de inovação, um identificador global que marca quando um gene apareceu pela primeira vez para que dois genomas possam ser alinhados. Apenas duas escolhas mudam: qual conexão habilitada dividir em uma mutação de adição de nó e qual par válido de nós conectar em uma mutação de adição de conexão.

A mutação de pesos continua aleatória. Esse limite de escopo é deliberado: mudar as mutações estruturais e de pesos ao mesmo tempo tornaria impossível atribuir qualquer diferença à seleção de edições estruturais.

A pesquisa torna a ideia plausível, não comprovada

“Evolution through Large Models”, de Lehman, Stanley e seus colegas, mostra que um modelo treinado pode servir como operador de mutação. O ELM inseriu propostas de diffs geradas por um modelo de linguagem no MAP-Elites — método que guarda a melhor solução em cada célula de uma grade de comportamentos, em vez de manter uma única campeã global — e fez o ajuste fino desse modelo com os descendentes aceitos no mapa. Esse ciclo permitiu que o histórico evolutivo melhorasse propostas posteriores. O estudo estabeleceu esse padrão para programas em Python e artefatos do Sodarace; não estabeleceu que um LLM, ou qualquer editor treinado, possa classificar edições discretas em grafos NEAT.

O FunSearch de Romera-Paredes e seus colegas mostra que mutações de programas propostas por modelos podem contribuir para uma descoberta matemática real. O FunSearch combinou um modelo de linguagem pré-treinado com um avaliador e encontrou construções de conjuntos cap que superaram as melhores conhecidas até então. O estudo estabeleceu que programas gerados em conjunto com uma avaliação rígida podem produzir resultados de busca substanciais; não mostrou que o modelo aprendeu com as mutações NEAT deste experimento nem que um avaliador pequeno possa superar a escolha uniforme.

“Discovering Evolution Strategies via Meta-Black-Box Optimization”, de Lange e seus colegas, é o precedente mais próximo para aprender um operador sem um modelo de linguagem. Sua estratégia de busca meta-aprendida, baseada em autoatenção, generalizou para além dos problemas de treinamento e das configurações de otimização. O estudo estabeleceu que a própria regra de atualização de uma estratégia evolutiva pode ser aprendida; não identifica edições NEAT úteis. É por causa desse precedente mais restrito que este experimento escolhe um pequeno avaliador neural em vez de um modelo de linguagem.

O trabalho de Hansen e Ostermeier sobre CMA mostra que adaptar uma distribuição de mutações é uma ideia antiga, não nova. A adaptação da matriz de covariância usa passos de busca selecionados para adaptar a distribuição das mutações contínuas posteriores. O trabalho estabeleceu a autoadaptação de uma distribuição normal contínua de mutações; não resolve a escolha discreta entre edições de grafos. Este experimento muda essa escolha e deixa inalterada a mutação de pesos do NEAT.

“Regularized Evolution for Image Classifier Architecture Search”, de Real e seus colegas, é o alerta para não presumir que um controlador treinado precisa vencer. Na comparação controlada de busca de arquiteturas, a evolução regularizada alcançou resultados comparáveis aos da linhagem de controladores treinados por reforço introduzida por Zoph e Le, sem deixar de ser um método de busca simples. Esse trabalho estabeleceu que uma busca evolutiva simples pode igualar um mecanismo de propostas baseado em mais aprendizado em outro espaço de arquiteturas; não prevê esta comparação, motivo pelo qual o caminho para um resultado nulo é registrado de antemão.

O NEAT de Stanley e Miikkulainen fornece a representação que mantém os genomas editados comparáveis e protege a diversidade. Os números de inovação alinham genes homólogos durante o crossover, enquanto a especiação protege novas estruturas pelo tempo necessário para que sejam testadas. Esses mecanismos estabelecem como genomas com topologias variáveis podem continuar compatíveis com o crossover e preservar a diversidade; não estabelecem que um avaliador treinado escolherá mutações melhores.

Congele a linha de base antes de julgar o editor

O experimento usa uma configuração mínima escolhida de NEAT feed-forward. Todos os valores deste design são fixados antes da primeira execução.

A população escolhida é 150. Os coeficientes de compatibilidade escolhidos são c1 = 1.0, c2 = 1.0 e c3 = 0.4, com um limiar de compatibilidade escolhido de 3.0. O limite de estagnação escolhido é de 15 gerações.

Cada filho recebe no máximo 1 edição estrutural escolhida. Isso é um desvio escolhido em relação ao NEAT canônico: permitir várias edições estruturais em um único nascimento tornaria ambígua a atribuição de crédito a uma candidata. A probabilidade escolhida de adicionar nó é 0.03, e a probabilidade escolhida de adicionar conexão é 0.05.

As tarefas escolhidas são XOR, com um limite de 200 gerações, e paridade de 3 bits, com um limite de 400 gerações. Cada braço da comparação recebe 30 seeds escolhidas por tarefa. Esses são limites de avaliação e tamanhos de amostra, não durações nem resultados observados das execuções.

O avaliador enxerga estrutura, histórico e desempenho

O avaliador precisa de contexto suficiente para distinguir uma edição válida de outra, então cada candidata se torna um vetor escolhido com 13 características:

• Estrutura da edição: um indicador do tipo de edição; profundidade da origem; profundidade do destino; diferença de profundidade; grau de entrada da origem; grau de saída da origem; grau de entrada do destino; grau de saída do destino; e um indicador de ancestral compartilhado.
• Contexto do genoma: total de nós; e quantidade de conexões habilitadas.
• Histórico e desempenho do pai: percentil do fitness do pai dentro de sua espécie; e idade do pai.

Para uma candidata que divide uma conexão, origem e destino se referem às extremidades dessa conexão. Por design, características que não se aplicam são preenchidas com zero.

O avaliador é um perceptron multicamadas escolhido, implementado em NumPy, com formato 13 -> 32 tanh -> 1. Seu rótulo de imitação é exatamente child fitness > parent fitness. Os rótulos de coleta incluem somente descendentes assexuados clonados de um único pai avaliado e que depois recebem uma edição estrutural; o registro indica se esse filho superou o pai. Descendentes gerados por crossover permanecem na evolução normal, mas não contribuem com nenhum registro para o treinamento do avaliador. Essa restrição torna inequívoca a comparação entre pai e filho e impede que o crossover receba crédito pela mutação. O rótulo continua sendo uma proxy para uma edição útil, não uma afirmação de que capture o valor evolutivo de longo prazo.

Os dados de treinamento vêm de 30 execuções escolhidas de coleta da linha de base aleatória uniforme por tarefa (60 no total). XOR e paridade de 3 bits treinam, cada qual, um avaliador separado. Dentro de cada tarefa, a divisão entre treinamento e o conjunto de validação retido (hold-out) é feita por execução, nunca por registro de mutação, para que descendentes e genomas quase duplicados de uma mesma execução não vazem entre as divisões.

Durante a evolução, a rede congelada pontua todas as edições candidatas válidas. A temperatura do softmax e o epsilon controlam quanta aleatoriedade resta na escolha: a política escolhida faz a amostragem de um softmax sobre essas pontuações à temperatura 0.5, enquanto um epsilon escolhido de 0.2 recorre à amostragem uniforme.

Dois modos de falha definem essa política. Um colapso da exploração permitiria que preferências iniciais suprimissem edições cujo valor ainda não foi observado; por isso, epsilon e a especiação do NEAT permanecem no ciclo. Uma mudança de distribuição levaria a evolução a genomas diferentes daqueles do histórico da linha de base; por isso, o avaliador permanece congelado durante toda a comparação. Um ciclo de retreinamento online está deliberadamente fora do escopo desta primeira passagem, pois mudaria o operador enquanto ele estivesse sendo avaliado.

Seeds novas decidem se o editor vence

A linha de base aleatória e o braço com o editor aprendido recebem orçamentos de avaliação correspondentes. As seeds de coleta e de comparação não se sobrepõem, portanto nenhuma execução de comparação pode reutilizar uma seed que produziu dados de treinamento para o avaliador.

A métrica primária é a quantidade de avaliações até a primeira solução. As execuções que não encontrarem uma solução serão censuradas no limite escolhido da tarefa. A inferência registrada é um teste de permutação bilateral — que embaralha os rótulos para medir com que frequência o acaso supera o resultado — sobre a diferença entre as medianas, com 10 000 reamostragens escolhidas. A AUC do avaliador no conjunto retido — área sob a curva ROC, uma pontuação de ordenação em que 0.5 representa o acaso e 1 representa uma ordenação perfeita — é relatada separadamente como diagnóstico de sinal em sua classificação.

Para cada tarefa, a condição direcional de sucesso é uma mediana menor de avaliações até a primeira solução no braço do editor treinado. O valor p bilateral do teste de permutação descrito acima é calculado separadamente para cada tarefa. Depois, os dois valores p recebem a correção de Holm, que aperta cada limiar quando muitas hipóteses são testadas ao mesmo tempo, com alfa familiar — a probabilidade máxima permitida de ao menos um falso positivo entre as duas tarefas — de 0.05. A evidência no nível da tarefa exige tanto a mediana menor quanto a significância ajustada por Holm.

O protocolo liga cada afirmação ao teste capaz de sustentá-la:

A hipótese geral só é considerada sustentada se ambas as tarefas atenderem a essa condição. Evidência em apenas uma tarefa é relatada como específica daquela tarefa, não como geral. Se nenhuma tarefa atender à condição, o resultado é nulo; uma reversão é um resultado negativo.

Uma evidência a favor do editor exige superar a linha de base uniforme em seeds de comparação novas, não reproduzir uma vantagem nas seeds que geraram seu histórico de treinamento. Uma AUC alta no conjunto retido sem uma vantagem evolutiva em seeds novas não é uma vitória do operador.

A vantagem ainda precisa ser demonstrada

Nada foi medido. Nenhuma execução de coleta da linha de base, de treinamento do avaliador ou de comparação foi realizada, e este post não afirma nenhuma vantagem para o editor.

As características elaboradas à mão podem não carregar nenhum sinal útil, caso em que a AUC no conjunto retido pode permanecer próxima de 0.5. O XOR pode ser fácil demais para que qualquer um dos operadores se diferencie dentro do limite escolhido. A regra de uma única edição estrutural também significa que a linha de base é esta variante especificada do NEAT, não o algoritmo canônico publicado. Um resultado nulo, uma reversão e uma comparação inconclusiva continuam sendo resultados válidos segundo este protocolo.

O que está decidido é a comparação, não o desfecho. Depois das execuções, publicarei a AUC no conjunto retido, a mediana de avaliações até a primeira solução de cada braço em seeds de comparação novas e os dois valores p ajustados por Holm; até lá, A armadilha da memorização: quando um campeão aprendeu um único distrito é o alerta de que uma pontuação forte ainda pode esconder a lição errada.

Fontes

• Lehman, Joel; Gordon, Jonathan; Jain, Shawn; Ndousse, Kamal; Yeh, Cathy; Stanley, Kenneth O. “Evolution through Large Models.” arXiv:2206.08896, 2022. https://arxiv.org/abs/2206.08896. Accessed 2026-08-21.
• Romera-Paredes, Bernardino; Barekatain, Mohammadamin; Novikov, Alexander; Balog, Matej; Kumar, M. Pawan; Dupont, Emilien; Ruiz, Francisco J. R.; Ellenberg, Jordan S.; Wang, Pengming; Fawzi, Omar; Kohli, Pushmeet; Fawzi, Alhussein. “Mathematical Discoveries from Program Search with Large Language Models.” Nature, published online 2023; 625:468–475, 2024. https://doi.org/10.1038/s41586-023-06924-6. Accessed 2026-08-21.
• Lange, Robert Tjarko; Schaul, Tom; Chen, Yutian; Zahavy, Tom; Dallibard, Valentin; Lu, Chris; Singh, Satinder; Flennerhag, Sebastian. “Discovering Evolution Strategies via Meta-Black-Box Optimization.” arXiv:2211.11260, 2022. https://arxiv.org/abs/2211.11260. Accessed 2026-08-21.
• Hansen, Nikolaus; Ostermeier, Andreas. “Completely Derandomized Self-Adaptation in Evolution Strategies.” Evolutionary Computation 9(2):159–195, 2001. https://doi.org/10.1162/106365601750190398. Accessed 2026-08-21.
• Real, Esteban; Aggarwal, Alok; Huang, Yanping; Le, Quoc V. “Regularized Evolution for Image Classifier Architecture Search.” arXiv:1802.01548, 2018. https://arxiv.org/abs/1802.01548. Accessed 2026-08-21.
• Zoph, Barret; Le, Quoc V. “Neural Architecture Search with Reinforcement Learning.” arXiv:1611.01578, 2016. https://arxiv.org/abs/1611.01578. Accessed 2026-08-21.
• Stanley, Kenneth O.; Miikkulainen, Risto. “Evolving Neural Networks through Augmenting Topologies.” Evolutionary Computation 10(2):99–127, 2002. https://doi.org/10.1162/106365602320169811. Accessed 2026-08-21.

Eu sou o proprietário e desenvolvo este site e o canal AI Maker Lab — este é um registro de construção, não uma análise independente.