Criando um treino de guitarra que começa pelo som

Eu queria praticar ouvir uma nota antes de seguir seu desenho na tela. Caso contrário, copiar um diagrama poderia substituir a escuta. Criei o Sound First Guitar Dojo a partir desse problema. Com microfone, o jogo pontua o som detectado; sem ele, usa sua autoavaliação.

O resultado reúne cinco módulos e 23 exercícios, com detecção de uma nota por vez. O progresso fica neste dispositivo e sincroniza quando você entra na conta. Os exercícios de timbre avaliam sustentação, clareza e dispersão da afinação, não digitação, abafamento ou postura. Os trechos das aulas vêm de inteligência artificial, e não os conferi palavra por palavra.

Sou dono e desenvolvedor deste site e do canal AI Maker Lab — este é um relato de construção, não uma avaliação independente. Inteligência artificial e automação ajudaram a analisar os vídeos, ilustrar, traduzir e revisar este artigo; assumo a responsabilidade pelo texto final e pela conferência das fontes. O jogo se inspira em Tomo Fujita, mas não é um curso oficial.

Som antes dos desenhos: o método em uma regra

Os trechos transcritos por inteligência artificial destacam execução lenta, atenção ao timbre e coordenação das mãos antes da velocidade. Adotei “devagar é mais rápido” como regra de projeto, não como promessa de aprendizagem acelerada. Estes vídeos públicos são as fontes dos módulos:

• Fundamentos discretos
• Mãos em harmonia
• Uma corda, pulso firme
• Três notas, o braço inteiro
• A forma da harmonia: R–3–7

A consequência é oferecer ajuda visual seletiva, não manter o braço sempre vazio. Cada exercício escolhe marcadores ocultos, só da tônica, após ouvir ou totalmente visíveis: none, root, after ou all. A opção após ouvir revela o alvo quando a detecção ao vivo identifica aquela nota. Isso não significa necessariamente que a nota recebeu pontos. Outras opções mostram alvos antes de você tocar.

Cinco módulos a partir de cinco aulas

O caminho organiza a prática pela tarefa de escuta. Retomei as perguntas sobre fluxo, informação e resposta de gramática dos jogos. O que você pode começar? O que a tela revela? O que a resposta realmente comprova?

Os módulos 2–5 só abrem quando todos os exercícios do módulo anterior têm pelo menos uma estrela. Essa regra organiza o progresso, mas não comprova domínio da aula. Estrelas autoavaliadas também contam; desbloquear um módulo não certifica uma execução medida.

Seis tipos de exercício, um microfone

O navegador adapta as aulas a seis tipos de prática. Cada tipo define o que conta como resposta. Acertar a afinação e atacar no momento certo são tarefas diferentes; a pontuação não deve confundi-las.

• tone: três tentativas por alvo, avaliadas pelo som captado quando você usa o microfone.
• sequence: notas-alvo em ordem. Nos módulos 1–2, as sequências não têm tempo marcado, seguindo a orientação transcrita de começar sem metrônomo.
• timing: posições rítmicas do metrônomo na corda G solta. Avalia ataques, não afinação.
• ear-find: o aplicativo toca uma referência; você responde com as classes de altura, ou nomes de notas, em qualquer oitava.
• triad-arpeggio: cada disposição de três notas do acorde, tocada uma nota por vez.
• play-along: blues de 12 compassos em B♭, avaliado pela cobertura das classes de altura em cada compasso. Começa sem marcação a 60 batidas por minuto (BPM), depois usa 120 BPM com cliques nos tempos 2 e 4.

O aplicativo declara o limite: “Acordes são tocados uma nota por vez: o detector não avalia notas simultâneas, técnica de abafamento nem postura.” Portanto, o exercício de acordes verifica sons separados, não o acorde completo que você tocaria na aula.

Como o navegador ouve uma nota

O microfone alimenta um AnalyserNode, componente de análise de áudio do navegador, com uma janela de 4096 amostras. O detector usa YIN, a fundamental frequency estimator for speech and music, publicado por de Cheveigné e Kawahara (2002). A frequência fundamental representa a estimativa de afinação do som, não todas as frequências presentes nele.

A detecção espera 110 milissegundos após o ataque e mantém 300 milissegundos de histórico. Aceita a nota após 240 milissegundos dentro de ±42 cents do candidato arredondado da Musical Instrument Digital Interface (MIDI). MIDI identifica notas por números; cents expressam diferenças de afinação. A clareza também precisa atingir 0,72. A calibração ouve 1,8 segundo de silêncio e coloca o limiar em 1,5 vez o ruído de fundo.

A avaliação aplica regras em ordem: muted quando a sustentação fica abaixo de 600 milissegundos; buzzy quando quadros pouco claros ultrapassam 15%. Depois vem unstable, se a dispersão superar 12 cents; caso contrário, o resultado é clean. A dispersão resume a variação nos quadros claros analisados, não toda a execução. Esses limiares são escolhas de implementação, não medidas validadas de técnica musical. O código inspecionado não envia amostras nem gravações do microfone; a sincronização da conta envia progresso.

Devagar é mais rápido: andamentos e estrelas

As estrelas controlam o avanço: três exigem pelo menos 90 pontos, duas exigem 70 e uma exige 50. Exercícios com tempo marcado começam no andamento lento da aula. Um resultado de três estrelas libera mais 4 BPM, até o limite daquele exercício. O seletor nunca oferece um andamento que você não conquistou; exercícios sem tempo marcado não têm opções de andamento.

O ritmo visual não pausa a entrada. Após avançar em um exercício que não seja de timbre, o marcador do alvo muda depois de 600 milissegundos. Essa espera mantém a informação visível sem bloquear a próxima resposta. É um atraso do marcador, não a duração de todo retorno visual.

O que o aplicativo não avalia e deixa explícito

A pontuação tem um significado mais restrito que a orientação de um professor. Estes limites precisam acompanhar o resultado, sem prometer avaliação automática de técnica:

• A detecção é monofônica: uma nota por vez, sem acordes simultâneos, avaliação de abafamento ou de postura.
• Exercícios de afinação exata podem sofrer erros de oitava. Por escolha de projeto, não há correção de harmônicos.
• “Praticar sem microfone” depende da sua avaliação. O aplicativo mostra: “Resultado autoavaliado. Não houve medição de áudio.”
• Os trechos foram transcritos por inteligência artificial, sem conferência humana palavra por palavra. A aula de ritmo é em inglês; as outras são em japonês.
• Meu relato de construção registra verificação com áudio sintético em navegador sem interface, não com guitarra real em ambiente real. Na captura deste artigo, o microfone entrou em escuta, mas nenhuma avaliação apareceu antes de terminar a espera. As figuras do modo manual não comprovam de forma independente aquele resultado anterior do detector.

Como as aulas viraram dados

Meu processo começou com o download dos cinco vídeos públicos. Enviei os vídeos inteiros pela interface de envio de arquivos do Gemini, Files API, usando o modelo gemini-3.8-flash. Pedi todos os exercícios demonstrados em registros estruturados no formato JavaScript Object Notation (JSON). Depois adaptei as cinco primeiras demonstrações de cada aula aos seis tipos de prática. A aula de digitação forneceu apenas três demonstrações, por isso tem três exercícios.

Uma revisão identificou uma posição de F7 que a transcrição havia classificado como C7. A correção me lembrou de conferir a aritmética musical, não apenas a clareza do texto. Este é meu relato do processo de pesquisa, não uma procedência comprovada de forma independente pelas capturas. Você pode inspecionar o currículo no aplicativo; isso não torna toda transcrição confiável.

Próximo passo

A construção conecta o som detectado a um caminho de prática, mas a pontuação não substitui orientação sobre técnica. Abra o Sound First Guitar Dojo e pratique o módulo 1 com o microfone ativado e calibrado.