Дифузія Google Gemini: непомічена революція в генерації тексту

Дифузія Google Gemini: непомічена революція в генерації тексту

Світ штучного інтелекту в постійному русі. Нові прориви та моделі представлені майже щодня, які кидають виклик нашій уяві. Але в розпал галасу про вражаючі голосові моделі, такі як GPT-4O, Claude 3 або власний Gemini 2.5 Pro, нещодавно було оголошення, яке напрочуд мало уваги, хоча він має потенціал змінити спосіб думки про генерацію тексту Google Gemini. Ця інноваційна модель застосовує метод для генерації тексту, який ми поки що в основному відомі від придбання картини - дифузії. І саме це робить його таким захоплюючим та потенційно революційним.

Походження дифузії: від цифрового шуму до візуального блиску

Для того, щоб дійсно зрозуміти дифузію Близнюків, ми спочатку повинні поглянути на технологію, з якої вона отримує свою назву та функціональність: дифузійні моделі в генерації зображень. Такі моделі, як стабільна дифузія, Midjourney або Flux, вражали творчу індустрію та широку громадськість в останні роки. Ви можете створити захоплюючі та детальні зображення з простих текстових описів (так -зведені "підказки").

"Дифузія" в його назві відноситься до дуже складного, але метафорично легко зрозуміти. Ви можете уявити це як скульптор, який, в даному випадку, визначає детальну скульптуру з сирого, неформального блоку - у цьому випадку цифровим шумом. Процес починається з повністю випадкового шуму, свого роду "зорового туману" або "цифрового снігу", який не містить жодної впізнаваної структури. Цей шум генерується з так званого «насіння» (випадкове число, яке визначає розподіл вихідного поспіху).

У незліченних крихітних кроках, так званих "ітераціях", модель AI потім починає "шуму" цей шум. Він ідентифікує візерунки, які могли б кристалізуватися від шуму і поступово перетворює їх у все чіткіші структури. По -перше, виникають лише розмиті контури та шорсткі форми, які навряд чи виділяються з фону. Але з кожним подальшим кроком деталі стають більш точними, кольори чіткіші та лінії більш гостріші, поки не створюється цілісна і часто напрочуд реалістична картина, яка точно відповідає оригінальному текстовому опису. Цей ітеративний неповний процес є серцем дифузійних моделей та запорукою їх здатності створювати складні візуальні світи з нічого.

Дифузія Близнюків: Революція генерації тексту до "Ні"

Фактичне відчуття дифузії Близнюків полягає в тому, що вона не використовує цей принцип дифузії - шум шуму для створення вмісту - не для зображень, а за текстом. Замість пікселів або кольорових значень Близнюки спрацьовують дифузією з жетонами. Токен - це основні будівельні блоки голосової моделі: вони можуть бути окремими словами, деталями речення, фрагментами коду програмування або навіть пунктуаційними знаками.

Процес також починається тут з хаотичного «скрізь» випадково розподілених жетонів, «звуку тексту», який є абсолютно незрозумілим. Це як радіо, яке відображає лише статичний шум або нерозбірливий буквний салат. Крок за кроком дифузія Близнюків потім починає "шуму" цю розгубленість жетону. Виходячи з моделей та взаємозв'язків, які модель вивчала під час навчання з гігантської кількості текстових даних, вона розпізнає статистичні зв’язки та формує випадкові жетони в читабельні слова, речення та нарешті когерентний текст або функціональний код програмування.

Цей підхід принципово відрізняється від функціональності найбільш усталених голосових моделей, які ми знаємо сьогодні, такі як такі моделі, як GPT-4, серія Gemini (за винятком самої дифузії Близнюків), Ллама або DeepSeek. Вони працюють автоматично -компресійною. Це означає, що ви генеруєте текст суворо один за одним, слово для слова, токен для жетонів. На основі вже створених слів, кожне нове слово вибирається як найбільш статистично найімовірніше продовження. Ви можете собі уявити, як написання речення зліва направо, завдяки чому ви завжди посилаєтесь на останнє написане слово.

Межі автофорресивних моделей: огляд назад

Автокомпресійний метод, безсумнівно, забезпечив вражаючі результати і суттєво спричинив поточний ажіотаж AI. Але вона також приносить притаманні недоліки:

1. Інтенсивність розрахунку та повільність

Оскільки кожен жетон повинен бути обчислений послідовно, а моделі стають більшими, авто -компресійні покоління часто є дуже компенсацією, інтенсивними і, особливо для довгих текстів, є відносно повільними. Весь контекст повинен бути розширений з кожним кроком.

2. Неправильність та негнучкість

Текстові частини, що генеруються колись, не можуть бути ретроспективно виправлені за допомогою автора -компресанта. Якщо модель в процесі покоління визначає, що більш рання частина тексту була несприятливою чи неправильною, вона більше не може змінити його безпосередньо. Це, так би мовити, "сліпий" для майбутнього його власного тексту. Це часто призводить до логічних невідповідностей або стилістичних перерв, особливо для довших і складніших текстів. Деякі новіші моделі намагаються вирішити цю проблему за допомогою так званого методу «міркування», наприклад, який можна знайти в DeepSeek R1 або GPT-4O. Модель "думає" на декількох етапах протягом одного негайно і збирає висновки, перш ніж генерувати остаточну відповідь. Однак для цього потрібно ще більше обчислювальної потужності та часу, оскільки модель неодноразово генерує та відкидає вміст.

3. Проблеми в обробці

Якщо автора -компресійна модель повинна редагувати вже створений текст, вона часто повинна генерувати весь текст з нуля, навіть якщо потрібно зробити лише невелику зміну. Це неефективно і споживає час.

Сильні сторони дифузії Близнюків: швидкість, гнучкість та точність

Метод дифузії, оскільки він використовує дифузію Близнюків, - це відповідь на ці виклики багатьма способами. Він є цілісним і ітеративним, що означає, що модель є одночасно у всьому вмісті свого виходу з кожним окремим кроком.

1. Вражаюча швидкість

Це одна з найяскравіших переваг. У той час як GPT-4O генерує від 50 до 100 жетонів в секунду, Claude 3 Sonnet близько 77 та блиску 2,0 до 245 жетонів, дифузія Gemini досягає швидкості від 500 до 1000 жетонів в секунду. Згідно з повідомленнями користувачів на платформах, таких як X (раніше Twitter) та Reddit, модель може навіть генерувати до 3000 жетонів в секунду в оптимальних умовах. Для порівняння: 1000 жетонів відповідають приблизно від 650 до 750 слів, а це означає, що дифузія Близнюків за одну секунду може створити половину -три чверті тексту сторінки DIN A4. Ця швидкість особливо вражає при створенні коду програмування, де модель може повністю відтворювати свою ефективність.

2. Ціліста та гнучка корекція

Оскільки модель одночасно неймовірна, вона реагує на кожен жетон, що утворюється від прихованого шуму десь у своєму вихідному вікні. Слово формування в кінці тексту може впливати на те, що вказано на наступному кроці на початку або посередині. Якщо модель виявляє помилку, неточність або розмиття під час процесу генерації, її можна виправити та оптимізувати, незалежно від того, де вони з’являються в тексті. Це вирішальна перевага перед автором моделей, які мають "сліпу пляму" для майбутніх помилок.

3. Цільова обробка (текстове фарбування)

Подібно до моделей дифузії зображень, так звані "забарвлюючі" працює (позначте область на зображенні і нехай він регенерує, щоб додати або видалити предмети), дифузія Gemini також може працювати дуже конкретно. Він не повинен відновлювати весь текст від початку до кінця. Натомість він може легко "бути спустошеним", а потім "шум" знову, а потім "шум". Це дозволяє адаптувати, перекладати або оптимізувати вибрані уривки або абзаци у вашій тональності або стилі, не впливаючи на решту тексту. В інших голосових моделях це часто все ще є викликом або приймає непропорційно тривалий час. Це відкриває абсолютно нові можливості для ефективної обробки тексту та оптимізації.

4. Природний вихідний вихід

Хоча генерація класичного тексту може бути дещо повільнішим, ніж з кодом, деякі користувачі повідомляють, що дифузія Близнюків створює тексти, які звучать більш природними та людьми, ніж у інших основних мовних моделей. Це може бути пов’язано з цілісним способом роботи, що дозволяє моделі краще підтримувати глобальну узгодженість та стилістичну послідовність.

Машина AI & XR-3D-рендерінгу: п’ять разів досвід від Xpert.digital у комплексному пакеті служби, R&D XR, PR & SEM-IMAGE: Xpert.digital

Xpert.digital має глибокі знання в різних галузях. Це дозволяє нам розробити кравці, розроблені стратегії, пристосовані до вимог та проблем вашого конкретного сегменту ринку. Постійно аналізуючи тенденції на ринку та здійснюючи розвиток галузі, ми можемо діяти з передбаченням та пропонувати інноваційні рішення. З поєднанням досвіду та знань ми створюємо додаткову цінність та надаємо своїм клієнтам вирішальну конкурентну перевагу.

Детальніше про це тут:

• Використовуйте 5 -разову компетентність xpert.digital в одній упаковці - від 500 € на місяць

Проблеми та відкриті питання розповсюдження тексту

Незважаючи на його перспективний потенціал, метод дифузії для отримання тексту ще молодий і не без власних викликів:

1. Залежність від кількості кроків

Якість виходу багато в чому залежить від кількості кроків шуму, які здійснює модель. За допомогою моделей зображень користувачі часто можуть встановлювати ці кроки вручну. Це також можливо для голосових моделей, заснованих на голосових моделях, в ідеалі системи AI повинні динамічно адаптувати їх до складності підказки та бажаної довжини тексту.

• Занадто мало кроків: призводять до якісно неповноцінних, незавершених або "галасливих" результатів. Текст виглядає невідповідно або роздробленим.
• Занадто багато кроків: може призвести до того, що текст розгублений, суперечливий або навіть руйнується. Модель «мандат» на практиці зміст. Може виникнути так, що спростовує колапс, в яких генерований вміст повертається в галасливий стан, оскільки модель надмірно оптимізована і втрачає узгодженість. Це можна порівняти із зображенням, яке раптом стає абстрактним і невпізнанним через занадто агресивну фільтрацію.

2. Еквівалент галюцинацій у тексті:

Найбільші та найдосконаліші генератори зображень AI, такі як Flux або Minimax Image-01, все ще мають проблеми з помилками, які не можуть бути наслідком модельних слабкостей, але можуть бути наслідком дифузійної технології. Сюди входять фізичні аномалії, як занадто багато або занадто мало пальців, довільне введення елементів або спотворені тіла та архітектурні уявлення. Питання полягає в тому, в якій мірі моделі дифузії тексту можуть страждати від еквівалентних «галюцинацій»:

• Логічні невідповідності: текст починається правдоподібно, але пізніші розділи суперечать попереднім твердженням.
• Стилістичні та тональні розриви: стиль або тон тексту раптово і безпідставно посередині речення чи абзацу.
• Хаотична структура тексту: абзаци або речення розповсюджуються непомітно, перестрибують між темами або повторюються без потреби.
• Повністю пропущена тема: Хоча текст граматично правильний, він пропускає оригінальну тему або негайно.
• Фактичні неточності: Хоча повія є основною метою, модель могла інтерпретувати статистичні зразки, щоб вони збирали в текст неправильну інформацію.

Ці явища є предметом інтенсивних досліджень, оскільки вони можуть вплинути на довіру до створеного контенту.

Контекст презентації: шторм нових оголошень AI

Той факт, що дифузія Близнюків приділяла порівняно мало уваги, може здатися парадоксальним, але його можна пояснити з контексту його презентації. Google представив його на щорічній конференції розробників вводу/виводу, що традиційно є феєрверком новин. У травні 2024 року чисельність оголошень Google справді була надзвичайною. Окрім дифузії Близнюків, технологічна група представила ряд інших проектів та інструментів вищого класу:

Gemini 2.5 Pro

Найрозумніша версія власної моделі Gemini на той час Gemini, яка вже вражає своєю мультимодальністю та продуктивністю.

Астра

Бачення Google помічника AI, який не тільки розуміє голосові команди, але також може обробляти та взаємодіяти з візуальною інформацією в режимі реального часу-кроку до реальних "агентів AI".

Veo (версія 3)

Третя ітерація Text-Video KI, яка також здатна також створювати мову та звук, яка значно розширює занурювальні навички генеративних відеороликів AI.

Розумні окуляри Аура

Прототип інтелектуальних окулярів, які повинні безперешкодно приховувати цифрову інформацію в реальному світі.

3D -відео розумний промінь системи

Інноваційна система занурених відеодзвінків, які повинні розмивати межі між фізичною та цифровою присутністю.

З огляду на цю повінь новаторських нововведень, було важко «експериментувати», наскільки це багатообіцяючи, як це було, важко привернути необхідну увагу. Певним чином, суєта більших, негайно застосовних оголошень пройшла, хоча він має потенціал кинути парадигми багатототичних голосових моделей над купою.

Бурхливий напрямок досліджень: Попередники дифузії Близнюків

Дифузія Google може бути найбільшим експериментом у галузі дифузії тексту поки що, але це далеко не перший. Ідея використання моделей дифузії для тексту є відносно новим, але інтенсивно дослідженим напрямком.

Ще в 2023 році команда з університету Сухов в Китаї опублікувала новаторське дослідження. У ньому вони представляли тезу, що дифузійні моделі можуть перевищувати попередні архітектури голосової моделі, особливо щодо надійності та виправлення помилок. Того ж року слідувало перші рудиментарні моделі, які застосовують концепцію дифузії тексту на практиці: дифузія-LM та мінімальна дифузія тексту. Ці піонери показали, що деформація жетонів, як правило, також працює для генерації тексту, хоча і на дуже ранній стадії.

Ще одна цікава модель, що відбулася в лютому цього року (2024): кодер Меркурія з Labs Labs. Ця модель в першу чергу зосереджена на створенні коду програмування та довела, що дифузійні моделі в цій спеціальній області застосування можуть досягти неабиякої швидкості, яка перевищує звичайні мовні моделі.

Незадовго до того, як Google вводу/вивод Google, у квітні 2024 року, університет Гонконгу та Huawei -замислюючись до Huawei представили дифузійну велику мову моделі 7b. До представлення дифузії Близнюків Dream 7B була найбільшою доступною дифузійною моделлю для тексту. Його навички та основна архітектура привернули увагу ведучих дослідників ШІ. Андрій Карпаті, колишній дослідник OpenAI, який відомий своїм глибоким розумінням нейронних мереж, прокоментував Dream 7B. Він підкреслив, що ця модель має потенціал показати зовсім іншу «психологію» або унікальні сильні та слабкі сторони порівняно з авторегресивними моделями.

Усі ці проекти проклали шлях до дифузії Близнюків і показують, що дослідницька спільнота вже певний час визнана межами моделей, що складаються з автором, і шукала альтернативних підходів. Після ідеї дифузії Близнюків дослідник ШІ, який не хотів коментувати назву, підтвердив, що ця модель зараз "актуальність підходу" доказів і "слід додатково досліджувати в цьому напрямку". Зокрема, він наголосив на потенціалі для голосових моделей на мобільних пристроях та менш потужних серверах, де дифузійні-лЕМ можуть бути "загальною зміною ігор". Причиною цього є притаманна паралелізабельність процесу інкримінаційного процесу, який може бути краще розподілений через певні архітектури апаратних засобів, ніж послідовний характер моделей автоматичного зиму.

Революційні наслідки та погляд у майбутнє

Введення дифузії Близнюків, навіть якщо це було в тіні інших гігантів, є важливим кроком у розвитку штучного інтелекту. Він не тільки представляє технологічну інновацію, але й сигналізує про потенційну зміну парадигми в архітектурі голосових моделей.

Що це може означати для майбутнього?

1. Більш ефективні програми AI

Величезна швидкість та здатність обробляти точні можуть революціонізувати генеративні програми AI у багатьох областях. Подумайте про виробництво тексту в режимі реального часу у відеодзвінках, швидке генерацію коду в середовищах розвитку або негайних підсумків складних документів.

2. AI на мобільних пристроях

Перевага, вже згадана для апаратного забезпечення низької ефективності, має вирішальне значення. Якщо дифузійні моделі можуть ефективно працювати на смартфонах або крайових пристроях, це збільшило б доступність та переваги ШІ, оскільки менше буде залежати від хмарних серверів.

3. Креативне редагування тексту

Автори, журналісти або експерти з маркетингу можуть отримати користь від живлення функції, щоб спеціально адаптувати стиль, звук або вміст у конкретних текстових розділах, не знищуючи потік всього документа. Це дозволяє раніше неперевершену точність та контроль у перегляді.

4. Надійний і послідовний вміст

Якщо проблеми "галюцинації" та "позначення колапсу" освоїться, дифузійні моделі можуть генерувати тексти, які є більш логічно послідовними та стилістично узгодженими, ніж у нинішніх моделей. Це було б великим кроком до більш надійного покоління AI.

5. Нові навички AI

Цілісний спосіб роботи може дати можливість дифузійним моделям краще вирішувати інші види завдань або уникати нових типів помилок. Можливо, ви заздалегідь встановлені для завдань, в яких глобальна послідовність розміщується на послідовній досконалості, наприклад, при створенні складних структур розповіді або написання сценаріїв.

Дифузія Близнюків: мовчазне потрясіння в генерації тексту AI

Той факт, що така потенційно піонерська модель, як дифузія Близнюків - яку вже можна побачити через сам список очікування - навряд чи помічається в широкій громадськості, є відображенням швидкого розвитку в галузі ШІ. Швидкість, з якою з'являються нові моделі та парадигми, запаморочлива. Але особливо в тих експериментах, що летять під радаром, реальний потенціал для наступної великої революції часто прихований.

Залишається захоплююче спостерігати, як розвиваються моделі дифузії в текстовій області та чи можуть вони насправді кинути виклик або навіть замінити усталені архітектури, що складаються з автором. Те, що Google ініціював дифузією Близнюків, - це не просто експеримент; Це посібник з можливого майбутнього генерації тексту, яке є швидшим, гнучкішим і, можливо, ще більш інтуїтивним. Це заклик досліджувати цей перспективний напрямок з акцентом, оскільки світ ШІ, можливо, щойно зробив одне з його грудного вигодовування, але найважливіші кроки.

☑ Підтримка МСП у стратегії, порадах, плануванні та впровадженні

☑ Створення або перестановка стратегії AI

☑ Піонерський розвиток бізнесу

Конрад Вольфенштейн

Я радий допомогти вам як особистого консультанта.

Ви можете зв’язатися зі мною, заповнивши контактну форму нижче або просто зателефонуйте мені за номером +49 89 674 804 (Мюнхен) .

Я з нетерпінням чекаю нашого спільного проекту.

Xpert.digital - це центр для промисловості з фокусом, оцифруванням, машинобудуванням, логістикою/внутрішньологічною та фотоелектричною.

За допомогою нашого рішення щодо розвитку бізнесу на 360 ° ми підтримуємо відомі компанії від нового бізнесу до після продажу.

Ринкова розвідка, маха, автоматизація маркетингу, розвиток контенту, PR, поштові кампанії, персоналізовані соціальні медіа та виховання свинцю є частиною наших цифрових інструментів.

Ви можете знайти більше на: www.xpert.digital - www.xpert.solar - www.xpert.plus