Numériser une partition en partition éditable : propulsé par le modèle de Flat

Vous avez la photo d'un morceau que vous voulez jouer, et vous préféreriez ne pas le ressaisir note par note.

C'est peut-être une page d'un recueil, une partie qu'un ami vous a envoyée, ou une vieille partition retrouvée dans un tiroir. Quoi qu'il en soit, vous numérisez la partition dans Flat et elle s'ouvre comme une vraie partition que vous pouvez jouer, éditer, transposer et partager.

Apprendre à un ordinateur à faire cela est l'une des choses les plus difficiles que nous ayons construites, et nous venons d'atteindre une étape dont nous sommes fiers. Le moteur qui lit votre musique est désormais entièrement le nôtre : un modèle d'IA que nous avons conçu et entraîné de zéro, en interne.

Il lit davantage de votre musique, et la lit plus précisément, que le moteur avec lequel nous avons lancé la fonction. Vous débutez ? Voici comment fonctionne la numérisation et comment obtenir les meilleurs résultats.

Ce qui change quand vous numérisez une partition

Chaque PDF et chaque photo que vous importez passe maintenant par le modèle de Flat. Par rapport au moteur tiers utilisé au lancement, il apporte :

• Plus de notation, correctement comprise. Les symboles d'accord arrivent comme de vrais accords éditables, pas comme du texte brut. Les reprises de mesure, les barres de rythme et les indications de tempo et de métronome sont aussi reconnues.
• Un meilleur support des paroles. Les mots se placent sous les bonnes notes, syllabe par syllabe, et le texte comme les noms d'accord et les nuances s'attache aux notes concernées.
• Paroles et texte dans plus de langues, dont le japonais, le coréen et le chinois, en plus des langues à alphabet latin.
• Plus fidèle à la mise en page d'origine. Les imports suivent la source de bien plus près, mesures par ligne et systèmes par page, si bien que les grandes partitions arrivent avec l'allure de la page de départ. Nous gérons aussi plus de formats, y compris les pages en paysage.
• Plus précis là où ça compte. Ce qui décide si une partition est réellement correcte, à savoir les rythmes, les liaisons, les altérations et les nuances, tombe juste bien plus souvent.
• Une lecture qui sonne mieux. Les partitions importées se lisent désormais par défaut avec nos sons d'instruments haute qualité.
• Plus rapide et plus fiable. Les numérisations reviennent plus vite et échouent moins souvent qu'avant.

Nous tenons un journal de chaque mise à jour majeure dans le changelog de la numérisation PDF et photo.

Pourquoi nous avons construit le nôtre

Au lancement de l'import PDF et photo, nous utilisions un moteur tiers pour mettre la fonction entre vos mains rapidement. Cela fonctionnait, mais ce n'était jamais vraiment une partie de Flat.

Flat construit toute sa chaîne de notation : le format dans lequel votre musique est enregistrée, l'éditeur dans lequel vous écrivez, le moteur de gravure qui dessine chaque note et la lecture que vous entendez. Notre modèle de numérisation fait partie de cette chaîne, profondément intégré au reste plutôt qu'ajouté sur le côté.

Un moteur de reconnaissance externe ne pourrait jamais s'intégrer d'aussi près. Parce que le nôtre le fait, une numérisation arrive directement dans le format de Flat et se comporte comme une partition écrite à la main : éditable tout de suite et prête à jouer.

Cela veut aussi dire que nous pouvons lire plus de types de musique et livrer des améliorations bien plus vite, puisque chaque partie nous appartient. C'est toute l'idée de Flat : une notation de qualité professionnelle qui reste assez simple pour tout le monde.

Comment nous avons appris à lire la musique à notre modèle

Sous le capot, notre modèle de reconnaissance optique de la musique (OMR) est un réseau de neurones, une forme d'IA qui apprend par l'exemple, un peu comme une personne. Mais nous ne lui avons pas jeté une montagne de partitions en espérant le meilleur. Nous le lui avons appris comme un élève apprend à lire, une étape à la fois.

Cela a commencé par l'équivalent musical du solfège des débuts : une seule voix sur une seule portée, notes et silences de base, rien de compliqué. Nous en sommes restés là jusqu'à ce qu'il sache les lire presque parfaitement.

Ensuite seulement nous avons ajouté la difficulté suivante : une deuxième voix, puis les accords, les nuances, les articulations, les liaisons, les changements de tonalité, les portées de piano, les paroles. Étape par étape, le programme a fini par couvrir des centaines de notations différentes et les réalités désordonnées des vraies partitions.

Le matériel d'entraînement n'a pas été collecté : il a été généré. Le moteur qui grave les partitions dans l'application a produit des millions de portées de musique inédite, chacune parfaitement étiquetée puisque Flat l'a créée de zéro. C'est une bibliothèque immense et variée qu'aucun humain ne pourrait annoter à la main. Le modèle a aussi étudié des partitions du domaine public.

Une chose à dire clairement : aucune partition, aucun import et aucun travail privé d'utilisateur n'a servi à entraîner ces modèles.

Essayez vous-même : numérisez une partition en quelques secondes

Le meilleur moyen de voir la différence est de numériser quelque chose à vous :

1. Sur le web, créez une partition et choisissez d'importer un PDF. Sur l'application Flat pour iOS ou Android, photographiez une page avec le scanner intégré : il trouve la page, la recadre et nettoie l'image pour vous.
2. Laissez Flat lire les portées, les notes et les symboles.
3. Appuyez sur lecture. Puis éditez, transposez ou arrangez comme n'importe quelle partition.

Une capture nette donne toujours les meilleurs résultats, et quelques retouches manuelles sont normales, mais vous passez directement à l'édition au lieu de ressaisir un morceau note par note.

Construire avec l'API

Si vous développez sur Flat, la numérisation est aussi disponible via l'API. Elle fonctionne aujourd'hui en mode automatique dans le endpoint standard de création de partition : vous envoyez un PDF, Flat applique la même reconnaissance que dans l'application, et vous récupérez une partition éditable. Voyez comment dans la documentation développeur.

Une API d'import OMR dédiée arrive, avec davantage d'options pour piloter l'import, à l'image des contrôles que nous construisons dans l'application.

La suite

C'est une fondation, pas une ligne d'arrivée. La musique écrite est, au fond, infinie : des siècles de compositeurs, d'instruments et de styles de gravure, plus une longue traîne de notations rares. Aucun modèle ne les lit toutes parfaitement, alors nous élargissons le nôtre petit à petit.

Parce que le modèle est le nôtre, cela va vite : comme le reste de nos produits, nous livrons de petits correctifs et améliorations presque chaque semaine, et nous affinons régulièrement le modèle lui-même. Nous construisons aussi une expérience plus riche autour de la numérisation : le même import automatique par défaut, plus des contrôles optionnels pour quand vous voulez le piloter.

Lire votre musique, et s'améliorer

Flat lit désormais vos partitions avec une technologie que nous avons construite et entraînée nous-mêmes, ajustée pour la notation, l'éditeur et la lecture que vous utilisez déjà, et qui s'améliore à chaque version.

Si une numérisation ne sort pas tout à fait juste, dites-le-nous : vous pouvez envoyer un retour directement dans l'application après avoir vu la partition importée, ou nous écrire à hello@flat.io. Nous lisons chaque retour, et cela nous aide à prioriser la suite.

Prêt à transformer une page de musique en quelque chose que vous pouvez jouer et éditer ? Numérisez votre partition avec Flat directement dans votre navigateur, sans téléchargement, ou amenez-la en classe avec Flat for Education.