Audire vince la track Silent Specs dell’AI Accessibility Hackathon

Si è conclusa l’AI Accessibility Hackathon, la giornata di sviluppo organizzata da BAINSA in collaborazione con Anthropic al Talent Garden di Milano. Oltre 100 studenti e giovani sviluppatori hanno lavorato per 8 ore su strumenti concreti a supporto delle persone cieche e sorde.

Openapi ha partecipato all’evento come partner. Tra le track in gara c’era “Silent Specs”, dedicata alle persone sorde e con difficoltà uditive. A vincerla è stato Audire, il progetto di Zihan (Cassius) Huang, Leo Zuo e Jia Jia Dai, premiato con un credito sulla piattaforma Openapi.

La sfida: recuperare ciò che si perde nel momento

La domanda della track era chiara: come aiutare le persone sorde e con difficoltà uditive a recuperare informazioni, contesto e significato che si perdono durante una conversazione?

Il team ha iniziato la giornata testando i sottotitoli in diretta su diverse piattaforme di videochiamata. Le parole arrivavano bene. Quello che si perdeva era tutto il resto: chi stava parlando, se un “sì, va bene” era un sì convinto o detto controvoglia, se l’ultima frase era una domanda rivolta proprio a te. I sottotitoli dicono cosa è stato detto, ma non chi l’ha detto, come, e a chi.

Audire: oltre i sottotitoli

Da qui nasce Audire, dal latino “ascoltare”: un assistente per le conversazioni di gruppo dal vivo che raccoglie tutto quello che la voce trasmette oltre alle parole.

• Chi parla e da dove: ogni voce compare su una mappa del tavolo, riconosciuta da timbro e intonazione. Le conversazioni parallele vengono separate in colonne, così l’utente sceglie chi seguire.
• Quando si parla con te: se qualcuno pronuncia il tuo nome, Audire mostra chi ha parlato e a cosa si riferisce la domanda, con tre risposte già pronte.
• Come è stato detto: accanto a ogni sottotitolo compare una parola sul tono, come domanda, riluttante o scherzoso, calcolata confrontando la frase con la voce abituale di chi parla. Un segnale evidenzia i momenti in cui parole e tono non coincidono, come un sì poco convinto o un’ironia.
• Una voce per chi usa i segni: la telecamera legge mani e volto. Un palmo aperto fa dire al computer “Un momento, voglio rispondere”, mentre segni e dattilologia diventano una frase pronunciata ad alta voce.

Perso, compreso e risposto, tutto nello stesso minuto.

Il team

Dietro Audire ci sono tre studenti dell’Università Bocconi:

• Zihan (Cassius) Huang, BSc in International Economics and Management (BIEM).
• Leo Zuo, Master of Science in Management (MiM).
• Jia Jia Dai, BSc in Economics, Management and Computer Science (BEMACS).

Come è stato costruito

Audire funziona direttamente nel browser. Riconoscimento vocale e sintesi vocale sono quelli del browser, MediaPipe legge mani e volto per i segni, Meyda analizza le caratteristiche della voce per distinguere chi parla. Claude riscrive i sottotitoli, capisce quando una frase è rivolta all’utente e prepara le risposte.

Gran parte dell’app è stata sviluppata durante la giornata con Claude Code. Per il team, la vera sfida non è stata scrivere il codice:

“La trascrizione non è più la parte difficile. Costruire con l’AI ci ha fatto capire che il vero lavoro è decidere esattamente di cosa ha bisogno l’utente e tagliare tutto il resto. Per questo abbiamo abbandonato la nostra prima idea a metà giornata.” — Zihan (Cassius) Huang

Il premio Openapi e i prossimi passi

Come vincitori della track, i ragazzi hanno ricevuto un credito sulla piattaforma Openapi. Il team lo userà per fare ricerca di mercato e automatizzare parte di questo lavoro, mentre trasforma il prototipo in un vero MVP.

I prossimi passi sono chiari. Oggi Audire usa un solo microfono del laptop: distingue chi parla a turno, ma non due persone che parlano insieme. Per questo il team vuole passare a un array di microfoni e, soprattutto, testare l’app con persone sorde e con difficoltà uditive, cosa impossibile da fare in un solo giorno.

Il codice del progetto è disponibile su GitHub.

Cosa resta di questa giornata

“Ho visto quanto può fare una piccola squadra quando tutti ci credono e lavorano bene insieme. Anche sotto pressione, sono arrivate idee di valore sorprendentemente in fretta.” — Leo Zuo

Per Openapi è stata l’occasione per vedere da vicino il talento di una nuova generazione di sviluppatori. Come partner dell’evento, con il nostro CEO Luca Scuriatti in giuria, continuiamo a sostenere chi usa la tecnologia per risolvere problemi reali, e siamo felici di accompagnare Audire nei suoi prossimi passi.

Perché la tecnologia migliore è quella che funziona per tutti.