Guida
Redazione Novera Journal
La domanda “qual è il miglior modello di intelligenza artificiale?” sembra semplice, ma quasi sempre parte dal presupposto sbagliato.
Un modello può essere eccellente nella scrittura e mediocre nella ricerca. Può gestire documenti complessi molto bene ma risultare eccessivo per attività quotidiane. Può offrire risultati superiori, ma con tempi di risposta o costi che lo rendono poco adatto a un utilizzo continuo.
Per questo scegliere un modello AI non dovrebbe assomigliare alla ricerca di un vincitore assoluto. Dovrebbe essere un esercizio di compatibilità.
Il modello giusto è quello che risponde meglio a un'esigenza concreta, entro vincoli concreti.
Partire dal lavoro, non dal modello
L'errore più comune è scegliere prima lo strumento e cercare successivamente qualcosa da fargli fare.
Un approccio più razionale funziona al contrario.
Prima si definisce il lavoro.
Scrivere una prima bozza, analizzare un contratto, riassumere cinquanta pagine, cercare informazioni aggiornate, interpretare dati, programmare, generare immagini o trasformare una serie di appunti in un documento strutturato sono attività diverse.
La parola “AI” le raccoglie sotto la stessa etichetta, ma non significa che debbano essere affidate allo stesso sistema.
Prima di confrontare due modelli conviene quindi formulare una domanda molto più concreta:
che cosa deve produrre, esattamente, questo strumento?
Più la risposta è precisa, meno conta la reputazione generale del modello e più diventano utili le sue capacità effettive.
Separare qualità percepita e qualità utile
Un risultato impressionante non è necessariamente un risultato utile.
Una risposta può essere elegante, dettagliata e apparentemente autorevole, ma richiedere comunque venti minuti di correzioni. Un'altra può sembrare meno sofisticata e arrivare immediatamente a una forma utilizzabile.
In un flusso di lavoro reale questa differenza conta.
La qualità dovrebbe essere valutata non soltanto osservando l'output iniziale, ma considerando quanto lavoro rimane dopo.
Un modo semplice è chiedersi:
quanto devo correggere?
quanto devo verificare?
quanto devo riformulare?
il risultato mantiene la struttura richiesta?
posso utilizzarlo senza ricostruirlo da zero?
Il miglior output non è sempre quello più elaborato. Spesso è quello che riduce maggiormente il lavoro successivo.
Valutare l'affidabilità prima della brillantezza
I modelli generativi possono produrre risposte convincenti anche quando l'informazione è incompleta o sbagliata.
Per attività creative questo limite può essere gestibile. Per ricerca, analisi, dati, decisioni operative o documenti importanti diventa molto più rilevante.
La scelta dovrebbe quindi tenere conto anche della facilità con cui un risultato può essere verificato.
Un sistema che indica chiaramente le fonti, distingue ciò che conosce da ciò che sta deducendo e permette di controllare rapidamente le affermazioni può essere più utile di un modello capace di produrre una risposta apparentemente migliore ma difficile da verificare.
L'affidabilità non significa assenza di errori. Significa anche rendere gli errori più facili da individuare.
Misurare velocità e attrito
La qualità teorica conta poco se lo strumento interrompe continuamente il flusso di lavoro.
Per alcune attività una differenza di pochi secondi è irrilevante. Per altre, ripetute decine di volte ogni giorno, cambia completamente l'esperienza.
Bisogna considerare anche ciò che accade intorno al modello:
caricamento dei file, gestione delle conversazioni, memoria del contesto, esportazione dei risultati, integrazioni, limiti di utilizzo, disponibilità dei diversi strumenti.
Due modelli con capacità simili possono risultare molto diversi nell'uso quotidiano proprio per questi elementi.
L'efficienza non dipende soltanto dall'intelligenza del sistema, ma dal numero di passaggi necessari per ottenere il risultato.
Guardare il costo per risultato, non soltanto il prezzo
Il prezzo mensile è facile da confrontare. Il costo reale lo è molto meno.
Un abbonamento economico può diventare costoso se richiede più tempo, più verifiche o l'utilizzo parallelo di altri strumenti.
Al contrario, una soluzione più cara può avere senso se permette di eliminare attività manuali o sostituire diversi servizi.
Per valutare correttamente il costo bisogna quindi osservare il risultato ottenuto.
La domanda utile non è soltanto:
quanto costa questo modello?
ma:
quanto mi costa arrivare a un risultato che considero accettabile?
Il tempo impiegato fa parte della risposta.
Non scegliere sulla base di una singola prova
Una richiesta particolarmente riuscita può creare un'impressione distorta.
I modelli cambiano comportamento a seconda del tipo di compito, della lunghezza del contesto, delle istruzioni e del formato richiesto.
Per confrontarli in modo sensato conviene utilizzare un piccolo gruppo di attività rappresentative del proprio lavoro.
Per esempio:
un compito semplice e frequente;
un compito lungo o complesso;
un'attività in cui l'accuratezza è importante;
un'attività che richiede struttura;
un caso particolarmente difficile.
Usare le stesse richieste permette di osservare differenze che difficilmente emergono provando i modelli in modo casuale.
Non serve costruire un benchmark scientifico. Serve costruire un benchmark personale.
Una matrice semplice è spesso sufficiente
Una valutazione pragmatica può partire da cinque dimensioni:
Qualità
Quanto è valido il risultato finale?
Affidabilità
Quanto deve essere controllato?
Velocità
Quanto rapidamente permette di completare il lavoro?
Costo
Il prezzo è proporzionato all'utilizzo reale?
Attrito
Quanto è semplice inserire lo strumento nel proprio flusso di lavoro?
Non tutte queste dimensioni devono avere lo stesso peso.
Per chi scrive ogni giorno, qualità e gestione del testo possono essere prioritarie. Per chi automatizza processi, integrazioni e costi possono contare di più. Per chi analizza documenti sensibili, controllo e affidabilità possono diventare dominanti.
La scelta cambia insieme al lavoro.
Ed è esattamente ciò che dovrebbe accadere.
Accettare che possano servire più modelli
La ricerca di un unico strumento universale deriva spesso dal desiderio di semplificare.
Ma la soluzione più semplice non è necessariamente utilizzare sempre lo stesso modello.
Può essere più efficiente avere un sistema principale per il lavoro quotidiano e un secondo modello per compiti specifici: ricerca, codice, analisi di documenti, immagini o verifiche.
Non è una contraddizione.
Usiamo applicazioni diverse per scrivere, comunicare, progettare e analizzare dati. Non esiste una ragione particolare per cui l'intelligenza artificiale debba obbligatoriamente concentrarsi in un solo prodotto.
La vera complessità nasce quando si accumulano strumenti senza sapere perché esistono nel proprio flusso.
Ogni modello dovrebbe avere un ruolo riconoscibile.
Rifare la scelta periodicamente
La valutazione non dovrebbe essere definitiva.
I modelli vengono aggiornati, le funzionalità cambiano, i prezzi vengono modificati e capacità che rappresentavano un vantaggio competitivo possono diventare rapidamente comuni.
Anche le necessità dell'utente cambiano.
Uno strumento scelto sei mesi prima per scrivere testi potrebbe non essere più il migliore quando il lavoro si sposta verso analisi, automazioni o ricerca.
Per questo la scelta più razionale non consiste nel trovare un vincitore e difenderlo.
Consiste nel verificare periodicamente se continua a risolvere il problema per cui era stato scelto.
Il modello migliore in assoluto probabilmente non esiste.
Esistono modelli più o meno adatti a un compito, a un budget, a un livello di rischio e a un determinato modo di lavorare.
Ridurre la scelta a una classifica rende tutto più semplice da raccontare, ma meno utile da applicare.
Un metodo sobrio parte invece dal lavoro, misura il risultato e accetta che la risposta possa cambiare nel tempo.
Quando l'obiettivo è chiaro, scegliere l'intelligenza artificiale giusta diventa molto meno una questione di entusiasmo tecnologico e molto più una normale decisione di lavoro.