Diffusione di Google Gemini: la rivoluzione inosservata nella generazione di testo

Diffusione di Google Gemini: la rivoluzione inosservata nella generazione di testo

Il mondo dell'intelligenza artificiale è in costante movimento. Nuove scoperte e modelli sono presentati quasi ogni giorno che sfidano la nostra immaginazione. Ma nel mezzo dell'hype su modelli vocali impressionanti come GPT-4o, Claude 3 o Google Gemini 2.5 Pro, recentemente c'è stato un annuncio che è stato sorprendentemente poca attenzione, sebbene abbia il potenziale per cambiare il modo in cui pensiamo alla generazione di testi di AI: diffusione di Google Gemini. Questo modello innovativo applica un metodo per la generazione di testo, che finora abbiamo noto principalmente dall'acquisizione dell'immagine: la diffusione. E questo è esattamente ciò che lo rende così affascinante e potenzialmente rivoluzionario.

L'origine della diffusione: dal rumore digitale alla brillantezza visiva

Per comprendere veramente la diffusione dei Gemelli, dobbiamo prima dare un'occhiata alla tecnologia da cui deriva il suo nome e funzionalità: i modelli di diffusione nella generazione di immagini. Modelli come la diffusione stabile, Midjourney o Flux hanno stupito l'industria creativa e il pubblico in generale negli ultimi anni. È possibile creare immagini mozzafiato e dettagliate da semplici descrizioni di testo (così chiamato "prompt").

La "diffusione" nel suo nome si riferisce a un altamente complesso, ma metaforicamente facile da capire. Puoi immaginarlo come uno scultore che, in questo caso, scalvo una scultura dettagliata da un blocco grezzo e informale - in questo caso un rumore digitale. Il processo inizia con un rumore completamente casuale, una sorta di "nebbia visiva" o "neve digitale" che non contiene alcuna struttura riconoscibile. Questo rumore viene generato da un "seme" così chiamato (un numero casuale che determina la distribuzione della corsa di uscita).

In innumerevoli piccoli passi, le cosiddette "iterazioni", il modello AI inizia quindi a "rumore" questo rumore. Identifica i modelli che potrebbero cristallizzare dal rumore e li converte gradualmente in strutture sempre più chiare. Innanzitutto, sorgono solo contorni sfocati e forme ruvide che difficilmente si distinguono dallo sfondo dello sfondo. Ma con ogni ulteriore passaggio, i dettagli diventano più precisi, i colori più chiari e le linee sono più nitide fino a quando non viene creata un'immagine coerente e spesso sorprendentemente realistica che corrisponde esattamente alla descrizione del testo originale. Questo processo incompleto iterativo è il cuore dei modelli di diffusione e la chiave per la loro capacità di creare mondi visivi complessi dal nulla.

Diffusione dei gemini: la rivoluzione della generazione di testo da parte

La sensazione effettiva della diffusione dei gemelli è che non usa questo principio di diffusione - il rumore del rumore per generare contenuto - non alle immagini, ma sul testo. Invece di pixel o valori di colore, Gemini funziona a diffusione con token. Token sono i blocchi di base dei modelli vocali: possono essere parole individuali, parti di frasi, frammenti di codice di programmazione o persino segni di punteggiatura.

Il processo inizia anche qui con un "wust" caotico di token distribuiti in modo casuale, un "suono di testo" completamente incomprensibile. È come una radio che riflette solo il rumore statico o un'insalata di lettere illeggibili. Passo per passo, la diffusione dei gemelli inizia quindi a "rumore" questa confusione token. Sulla base dei modelli e delle relazioni che il modello ha appreso durante la sua formazione su una gigantesca quantità di dati di testo, riconosce le relazioni statistiche e forma i token casuali in parole leggibili, frasi e infine un testo coerente o un codice di programmazione funzionante.

Questo approccio è fondamentalmente diverso dalla funzionalità dei modelli vocali più affermati che conosciamo modelli oggi come GPT-4, la serie Gemini (ad eccezione della stessa diffusione di Gemini), lama o Deepseek. Questi funzionano automaticamente. Ciò significa che si genera un testo rigorosamente uno dopo l'altro, parola per parola, token per token. Sulla base delle parole già generate, ogni nuova parola viene selezionata come la continuazione statisticamente più probabile. Puoi immaginare che come scrivere una frase da sinistra a destra, per cui ti riferisci sempre all'ultima parola scritta.

I limiti dei modelli autogressivi: uno sguardo indietro

Il metodo auto-scomprimente ha indubbiamente erogato risultati impressionanti e ha guidato in modo significativo l'attuale hype AI. Ma porta anche svantaggi intrinseci:

1. Intensità di calcolo e lentezza

Poiché ogni token deve essere calcolato in sequenza e i modelli stanno diventando più grandi, le generazioni automatiche sono spesso molto intensive e, specialmente per i testi lunghi, sono relativamente lenti. L'intero contesto deve essere rivalutato ad ogni passo.

2. Inde meno e inflessibilità

Le parti di testo generate una volta non possono essere corrette retrospettivamente da un modello compresso dell'autore. Se il modello determina nel corso della generazione che una parte precedente del testo era sfavorevole o sbagliata, non può più cambiarlo direttamente. È, per così dire, "cieco" per il futuro del suo stesso testo. Ciò porta spesso a incoerenze logiche o rotture stilistiche, specialmente per testi più lunghi e complessi. Alcuni modelli più recenti cercano di affrontare questo problema con un cosiddetto metodo di "ragionamento", come quello che può essere trovato in DeepSeek R1 o GPT-4O. Il modello "pensa" in diverse fasi su uno prontamente e raccoglie conclusioni prima di generare la risposta finale. Tuttavia, ciò richiede ancora più potenza di elaborazione e tempo, poiché il modello genera ripetutamente e rifiuta il contenuto.

3. Sfide nell'elaborazione

Se un modello di scomposizione autore è quello di modificare un testo già generato, spesso deve generare l'intero testo da zero, anche se si deve apportare solo una piccola modifica. Questo è inefficiente e consumante il tempo.

I punti di forza della diffusione dei gemelli: velocità, flessibilità e precisione

Il metodo di diffusione in quanto utilizza la diffusione dei gemelli è una risposta a queste sfide in molti modi. È olistico e iterativo, il che significa che il modello è allo stesso tempo nell'intero contenuto del suo output con ogni singolo passaggio.

1. Velocità impressionante

Questo è uno dei vantaggi più sorprendenti. Mentre GPT-4o genera circa 50-100 token al secondo, Claude 3 Sonetto intorno a 77 e Gemini 2.0 flash fino a 245 token, la diffusione di Gemini raggiunge velocità da 500 a 1.000 token al secondo. Secondo i rapporti di utenti su piattaforme come X (precedentemente Twitter) e Reddit, il modello può persino generare fino a 3.000 token al secondo in condizioni ottimali. Per confronto: 1.000 token corrispondono a circa 650 a 750 parole, il che significa che la diffusione dei gemelli in un singolo secondo può creare una metà a tre quarti di un testo di pagina Din A4. Questa velocità è particolarmente impressionante quando si genera codice di programmazione, in cui il modello può riprodurre completamente la sua efficienza.

2. Correzione olistica e flessibile

Poiché il modello è incredibile allo stesso tempo, reagisce a ogni token che si forma dal rumore latente da qualche parte nella sua finestra di uscita. Una parola formante alla fine del testo può influenzare ciò che è specificato nel passaggio successivo all'inizio o nel mezzo. Se il modello scopre un errore, inesattezza o sfocatura durante il processo di generazione, può essere corretto e ottimizzato, indipendentemente da dove appaiono nel testo. Questo è un vantaggio decisivo rispetto ai modelli compressi dell'autore che hanno un "punto cieco" per gli errori futuri.

3. Elaborazione mirata (inpinti di testo)

Simile ai modelli di diffusione dell'immagine, i cosiddetti opere "inpinte" (segna un'area nell'immagine e lascia che si rigenera per aggiungere o rimuovere gli oggetti), anche la diffusione dei gemelli può funzionare in modo molto specifico. Non deve ricostruire l'intero testo dall'inizio alla fine. Invece, può facilmente "essere desolato" e quindi "rumore" e poi "rumore". Ciò consente di adattare, tradurre o ottimizzare passaggi o paragrafi selezionati nella tonalità o nello stile senza influire sul resto del testo. In altri modelli vocali, questa è spesso ancora una sfida o richiede un tempo sproporzionato. Ciò apre opportunità completamente nuove per un'elaborazione e un'ottimizzazione di testo efficienti.

4. Output del parlato naturale

Sebbene la generazione di testo classico possa essere in qualche modo più lenta rispetto al codice, alcuni utenti riportano che la diffusione di Gemini crea testi che sembrano più naturali e umani di quelli di altri principali modelli linguistici. Ciò potrebbe essere dovuto al modo olistico di lavorare, che consente al modello di mantenere meglio la coerenza globale e la coerenza stilistica.

Macchina per il rendering 3D AI e XR: la quintuplice esperienza di Xpert.Digital in un pacchetto di servizi completo, R&D XR, PR e SEM - Immagine: Xpert.Digital

Xpert.Digital ha una conoscenza approfondita di vari settori. Questo ci consente di sviluppare strategie su misura che si adattano esattamente alle esigenze e alle sfide del vostro specifico segmento di mercato. Analizzando continuamente le tendenze del mercato e seguendo gli sviluppi del settore, possiamo agire con lungimiranza e offrire soluzioni innovative. Attraverso la combinazione di esperienza e conoscenza, generiamo valore aggiunto e diamo ai nostri clienti un vantaggio competitivo decisivo.

Maggiori informazioni qui:

• Utilizza l'esperienza 5x di Xpert.Digital in un unico pacchetto, a partire da soli € 500/mese

Sfide e domande aperte di diffusione del testo

Nonostante il suo promettente potenziale, il metodo di diffusione per la generazione di testo è ancora giovane e non senza le proprie sfide:

1. Dipendenza dal numero di passaggi

La qualità dell'uscita dipende in gran parte dal numero di fasi di rumore che il modello effettua. Con i modelli di immagini, gli utenti possono spesso impostare questi passaggi manualmente. Ciò è anche possibile per i modelli vocali basati su modelli vocali, idealmente i sistemi di intelligenza artificiale dovrebbero adattarli dinamicamente alla complessità del prompt e della lunghezza del testo desiderata.

• Troppo pochi passi: portare a risultati qualitativamente inferiori, incompiuti o "rumorosi". Il testo sembra in modo incoerente o frammentato.
• Troppi passaggi: può portare a un testo confuso, contraddittorio o addirittura crollato. Il modello "impone" il contenuto in pratica. Può verificarsi un collasso di denoising così chiamato, in cui il contenuto generato rientra in uno stato rumoroso perché il modello è eccessivo e perde la coerenza. Ciò è paragonabile a un'immagine che improvvisamente diventa astratta e irriconoscibile a causa di un filtro troppo aggressivo.

2. Equivalente di allucinazioni nel testo:

I generatori di immagini AI più grandi e avanzati come Flux o Minimax Image-01 hanno ancora problemi con errori che non possono derivare da debolezze del modello, ma possono derivare dalla tecnologia di diffusione. Ciò include anomalie fisiche come troppe o troppo poche dita, l'inserimento arbitrario di elementi o rappresentazioni del corpo e architettoniche distorte. La domanda è in che misura i modelli di diffusione del testo potrebbero soffrire di "allucinazioni" equivalenti:

• Incoerenze logiche: il testo inizia plausibilmente, ma le sezioni successive contraddicono le dichiarazioni precedenti.
• Breaks stilistici e tonali: lo stile o il tono del testo improvvisamente e infondato nel mezzo della frase o del paragrafo.
• Struttura del testo caotico: i paragrafi o le frasi sono disposti in modo incoerente, saltare tra argomenti o ripetirsi inutilmente.
• Argomento completamente mancato: sebbene il testo sia grammaticalmente corretto, manca l'argomento originale o prontamente.
• Imprecisione fattuali: sebbene la prostituta sia l'obiettivo principale, il modello potrebbe interpretare i modelli statistici in modo da raccogliere informazioni errate nel testo.

Questi fenomeni sono oggetto di ricerche intensive perché potrebbero influire sulla fiducia nel contenuto generato.

Il contesto della presentazione: una tempesta di nuovi annunci AI

Il fatto che la diffusione dei gemelli abbia ricevuto un'attenzione relativamente poca può sembrare paradossale, ma può essere spiegato dal contesto della sua presentazione. Google lo ha presentato al suo I/O della Conferenza degli sviluppatori annuale, che è tradizionalmente un fuoco d'artificio di notizie. Nel maggio 2024, l'abbondanza di annunci di Google era davvero schiacciante. Oltre alla diffusione di Gemelli, il gruppo tecnologico ha presentato una serie di altri progetti e strumenti di alto livello:

Gemini 2.5 Pro

La versione più intelligente del modello Gemini di Google all'epoca, che già colpisce con la sua multimodalità e le sue prestazioni.

Astra

La visione di Google di un assistente di intelligenza artificiale che non solo comprende i comandi vocali, ma può anche elaborare e interagire informazioni visive in tempo reale, un passo verso "agenti di intelligenza artificiale".

Veo (versione 3)

La terza iterazione di Ki text-to-video, che ora è anche in grado di creare linguaggio e suono, che espande in modo significativo le capacità immersive dei video generativi di AI.

Aura di occhiali intelligenti

Un prototipo di occhiali intelligenti che dovrebbero nascondere informazioni digitali senza soluzione di continuità nel mondo reale.

Raggio di sistema intelligente video 3d

Un sistema innovativo per videochiamate immersive che dovrebbero offuscare i confini tra presenza fisica e digitale.

Alla luce di questa inondazione di innovazioni innovative, è stato difficile per un "esperimento", per quanto promettente, è difficile ottenere l'attenzione necessaria. In un certo senso, il trambusto degli annunci più grandi e immediatamente applicabili sono stati sottoposti a sotto, sebbene abbia il potenziale per gettare i paradigmi dei modelli vocali di tanto novità sulla pila.

Una direzione di ricerca fiorente: i predecessori della diffusione dei gemelli

La diffusione di Google potrebbe essere il più grande esperimento nel campo della diffusione del testo finora, ma è tutt'altro che il primo. L'idea di usare i modelli di diffusione per il testo è una direzione relativamente nuova ma intensamente studiata.

Già nel 2023, una squadra dell'Università di Soochow in Cina ha pubblicato uno studio innovativo. In esso, hanno rappresentato la tesi che i modelli di diffusione potrebbero superare le precedenti architetture del modello vocale, in particolare per quanto riguarda la robustezza e la correzione degli errori. Nello stesso anno, seguirono i primi modelli rudimentali che mettono in pratica il concetto di diffusione del testo: diffusione-LM e diffusione minima del testo. Questi pionieri hanno mostrato che la deformazione dei token funziona generalmente anche per la generazione di testo, sebbene in una fase molto precoce.

Un altro modello interessante seguito a febbraio di quest'anno (2024): Mercury Coder di Inception Labs. Questo modello si è concentrato principalmente sulla generazione di codice di programmazione e ha dimostrato che i modelli di diffusione in questa speciale area di applicazione possono ottenere una velocità notevole che supera i modelli di linguaggio convenzionali.

Poco prima di Google I/O, nell'aprile 2024, l'Università di Hong Kong e Huawei -Belong a Huawei presentava la diffusione di grandi dimensioni del Dream 7b. Fino alla presentazione della diffusione dei gemelli, Dream 7b era il più grande modello di diffusione disponibile per il testo. Le sue capacità e l'architettura sottostante hanno attirato l'attenzione dei principali ricercatori di intelligenza artificiale. Andrej Karpathy, un ex ricercatore Openai noto per le sue profonde intuizioni sulle reti neurali, ha commentato Dream 7b. Ha sottolineato che questo modello ha il potenziale per mostrare una "psicologia" completamente diversa o punti di forza e di debolezza unici rispetto ai modelli autoregressivi.

Tutti questi progetti hanno aperto la strada alla diffusione dei Gemelli e mostrano che la comunità di ricerca è stata riconosciuta da tempo ormai i confini dei modelli compresi dall'autore e era alla ricerca di approcci alternativi. Dopo l'idea della diffusione di Gemelli, un ricercatore di intelligenza artificiale che non voleva commentare per nome ha confermato che questo modello ora "la rilevanza delle prove dell'approccio" e "dovrebbe essere ulteriormente studiata in questa direzione". In particolare, ha sottolineato il potenziale per i modelli vocali su dispositivi mobili e server meno potenti, in cui la diffusione-lems potrebbe essere "un cambio di gioco totale". La ragione di ciò è la parallelizzabilità intrinseca del processo incriminante, che può essere meglio distribuito su alcune architetture hardware rispetto alla natura sequenziale dei modelli di gray automatici.

Le implicazioni rivoluzionarie e uno sguardo al futuro

L'introduzione della diffusione dei gemelli, anche se era all'ombra di altri giganti, è un passo significativo nello sviluppo dell'intelligenza artificiale. Non solo rappresenta un'innovazione tecnologica, ma segnala anche un potenziale cambiamento di paradigma nell'architettura dei modelli vocali.

Cosa potrebbe significare per il futuro?

1. Applicazioni AI più efficienti

L'enorme velocità e la capacità di elaborare precise potrebbero rivoluzionare le applicazioni di intelligenza artificiale generative in molte aree. Pensa alla produzione di testo in tempo reale in videochiamate, alla generazione di codice veloce in ambienti di sviluppo o ai riepiloghi immediati di documenti complessi.

2. AI su dispositivi mobili

Il vantaggio già menzionato per hardware a bassa prestazione è cruciale. Se i modelli di diffusione possono funzionare in modo efficiente su smartphone o dispositivi Edge, ciò aumenterebbe drasticamente l'accessibilità e i benefici dell'IA, poiché meno dipenderebbe dai server cloud.

3. Editing del testo creativo

Autori, giornalisti o esperti di marketing potrebbero beneficiare della funzione di pittura per adattare specificamente lo stile, il suono o il contenuto specifici in sezioni di testo specifiche senza distruggere il flusso dell'intero documento. Ciò consente una precisione e il controllo precedentemente senza eguali nella revisione.

4. Contenuto robusto e coerente

Se le sfide delle "allucinazioni" e del "crollo di denoising" vengono padroneggiate, i modelli di diffusione potrebbero generare testi più logicamente coerenti e stilisticamente coerenti di quelli dei modelli attuali. Questo sarebbe un grande passo verso una generazione di intelligenza artificiale più affidabile.

5. Nuove abilità di AI

Il modo olistico di lavorare potrebbe consentire ai modelli di diffusione di risolvere meglio altri tipi di compiti o per evitare nuovi tipi di errori. Forse sei predestinato per i compiti in cui la coerenza globale viene posta sulla perfezione sequenziale, come quando crei strutture narrative complesse o script di scrittura.

Diffusione di Gemelli: lo sconvolgimento silenzioso nella generazione di testi di AI

Il fatto che un modello così potenzialmente pionieristico come la diffusione dei gemelli - che può già essere visto attraverso una stessa lista d'attesa - non è certo notato che nel pubblico sia un riflesso del rapido sviluppo nell'area dell'IA. La velocità con cui appaiono nuovi modelli e paradigmi è vertiginosa. Ma soprattutto in quegli esperimenti che volano sotto il radar, il vero potenziale per la prossima grande rivoluzione è spesso nascosto.

Rimane entusiasmante osservare come si sviluppano i modelli di diffusione nell'area di testo e se possono effettivamente sfidare o addirittura sostituire le architetture composte all'autore. Ciò che Google ha avviato con la diffusione di Gemelli è più di un semplice esperimento; È una guida per un possibile futuro della generazione di testo che è più veloce, più flessibile e forse anche più intuitiva. È un invito alla ricerca per perseguire questa direzione promettente con enfasi, perché il mondo dell'IA potrebbe aver appena preso uno dei suoi passi che allattano al seno.

☑️ Supporto alle PMI nella strategia, consulenza, pianificazione e implementazione

☑️ Creazione o riallineamento della strategia AI

☑️ Sviluppo aziendale pionieristico

Konrad Wolfenstein

Sarei felice di fungere da tuo consulente personale.

Potete contattarmi compilando il modulo di contatto qui sotto o semplicemente chiamandomi al numero +49 89 89 674 804 (Monaco) .

Non vedo l'ora di iniziare il nostro progetto comune.

Xpert.Digital è un hub per l'industria con focus su digitalizzazione, ingegneria meccanica, logistica/intralogistica e fotovoltaico.

Con la nostra soluzione di sviluppo aziendale a 360° supportiamo aziende rinomate dal nuovo business al post-vendita.

Market intelligence, smarketing, marketing automation, sviluppo di contenuti, PR, campagne email, social media personalizzati e lead nurturing fanno parte dei nostri strumenti digitali.

Potete saperne di più su: www.xpert.digital - www.xpert.solar - www.xpert.plus