Google Gemini Diffusion: незамеченная революция в генерации текста

Google Gemini Diffusion: незамеченная революция в генерации текста

Мир искусственного интеллекта находится в постоянном движении. Новые прорывы и модели представлены почти каждый день, которые бросают вызов нашему воображению. Но в разгар шумихи о впечатляющих голосовых моделях, таких как GPT-4O, Claude 3 или Google собственного Gemini 2.5 Pro, недавно было объявление, которое было на удивление мало внимания, хотя у него есть потенциал, чтобы изменить то, как мы думаем о генерации текста искусственного интеллекта: Google Gemini. Эта инновационная модель применяет метод к генерации текста, который мы до сих пор известны в основном из приобретения изображения - диффузии. И это именно то, что делает его таким увлекательным и потенциально революционным.

Происхождение диффузии: от цифрового шума до визуального блеска

Чтобы по -настоящему понять диффузию Близнецов, мы сначала должны взглянуть на технологию, из которой она получает свое имя и функциональность: диффузионные модели в генерации изображений. Такие модели, как стабильная диффузия, Midjourney или Flux, поразили креативную индустрию и широкую публику в последние годы. Вы можете создать захватывающие дух и подробные изображения из простых текстовых описаний (так -то -наоборот, «подсказка»).

«Диффузия» в его названии относится к очень сложной, но метафорически легко понять. Вы можете представить, что это как скульптор, который, в данном случае, зашеравает подробную скульптуру из неформального блока - в этом случае цифровой шум. Процесс начинается с совершенно случайного шума, своего рода «визуального тумана» или «цифрового снега», который не содержит никакой узнаваемой структуры. Этот шум генерируется из столь -называемого «семян» (случайное число, которое определяет распределение выходной лихорадки).

В бесчисленных крошечных шагах, так называемых «итерациях», модель ИИ начинает «шумо» этот шум. Он идентифицирует шаблоны, которые могут кристаллизоваться из шума и постепенно преобразует их в более четкие структуры. Во -первых, только размытые контуры и грубые формы возникают, которые едва ли выделяются на фоне фона. Но при каждом дальнейшем шаге детали становятся более точными, цвета более четкие, а линии становятся острее, пока не будет создана когерентная и часто удивительно реалистичная картина, которая точно соответствует исходному описанию текста. Этот итеративный неполный процесс является сердцем диффузионных моделей и ключом к их способности создавать сложные визуальные миры из ничего.

Диффузия Близнецов: революция генерации текста нет

Фактическое ощущение диффузии Близнецов состоит в том, что она не использует этот принцип диффузии - шум шума для генерации содержания - не для изображений, а на тексте. Вместо пикселей или значений цвета Близнецы работают диффузией с токенами. Токен являются основными строительными блоками голосовых моделей: это могут быть отдельные слова, части предложений, фрагменты кода программирования или даже знаки препинания.

Процесс также начинается здесь с хаотического «Wust» случайно распределенных токенов, «звука текста», который совершенно непостижимый. Это как радио, которое отражает только статический шум или неразборчивый буквенной салат. Шаг за шагом диффузия Близнецов затем начинает «шумить» эту путаницу в токене. Основываясь на моделях и отношениях, которые модель изучала во время обучения по гигантскому количеству текстовых данных, она распознает статистические отношения и образует случайные токены в читаемые слова, предложения и, наконец, когерентный текст или функционирующий код программирования.

Этот подход принципиально отличается от функциональности наиболее устоявшихся голосовых моделей, которые мы знаем сегодня, такие как GPT-4, серия Gemini (за исключением самого диффузии Близнецов), лама или Deepseek. Эти работают авто -компрессивные. Это означает, что вы генерируете текст строго один за другим, слово «слова», токен для токенов. На основании уже сгенерированных слов каждое новое слово выбирается в качестве наиболее статистически наиболее вероятного продолжения. Вы можете представить, что это например, написание предложения слева направо, в результате чего вы всегда относитесь к последнему письменному слову.

Пределы ауторгрессивных моделей: оглянуться назад

Аутопрессивный метод, несомненно, дал впечатляющие результаты и значительно привел к нынешней шумихе ИИ. Но она также приносит присущие недостаткам:

1. Интенсивность расчета и медлительность

Поскольку каждый токен должен быть рассчитан последовательно, а модели становятся все больше, автоматические поколения часто очень компенсационны и, особенно для длинных текстов, относительно медленные. Весь контекст должен быть повторно оценить с каждым шагом.

2. Неправильная и негибкость

Части текста, сгенерированные один раз, не могут быть ретроспективно исправлены автором -акцентированной моделью. Если модель определяет в ходе поколения, что более ранняя часть текста была неблагоприятной или неправильной, она больше не может менять напрямую. Это, так сказать, «слепые» для будущего его собственного текста. Это часто приводит к логическим несоответствиям или стилистическим перерывам, особенно для более длинных и более сложных текстов. Некоторые новые модели пытаются решить эту проблему с помощью так называемого метода «рассуждений», например, который можно найти в DeepSeek R1 или GPT-4O. Модель «думает» на нескольких этапах за один раз и собирает выводы, прежде чем создавать окончательный ответ. Тем не менее, это требует еще большей вычислительной мощности и времени, поскольку модель неоднократно генерирует и отвергает содержание.

3. Проблемы при обработке

Если автор -Компрессивная модель предназначена для редактирования уже сгенерированного текста, она часто должна генерировать весь текст с нуля, даже если должно быть сделано только небольшое изменение. Это неэффективно и требует времени.

Сильные стороны диффузии Близнецов: скорость, гибкость и точность

Метод диффузии, поскольку он использует диффузию Близнецов, является ответом на эти проблемы во многих отношениях. Это целостное и итеративное, что означает, что модель одновременно во всем содержании его вывода с каждым отдельным шагом.

1. впечатляющая скорость

Это одно из самых ярких преимуществ. В то время как GPT-4O генерирует около 50-100 токенов в секунду, Claude 3 Sonnet около 77 и Gemini 2.0 вспыхивают до 245 токенов, диффузия Близнецов достигает скорости от 500 до 1000 токенов в секунду. Согласно отчетам пользователей на таких платформах, как X (ранее Twitter) и Reddit, модель может даже генерировать до 3000 токенов в секунду в оптимальных условиях. Для сравнения: 1000 токенов соответствуют примерно от 650 до 750 слов, что означает, что диффузия Близнецов за одну секунду может создать от половины до трех четвертей текста страницы DIN A4. Эта скорость особенно впечатляет при генерации кода программирования, где модель может полностью воспроизводить свою эффективность.

2. Целостная и гибкая коррекция

Поскольку модель невероятна одновременно, она реагирует на каждый токен, который образуется из скрытого шума где -то в своем выходном окне. Формирующее слово в конце текста может повлиять на то, что указано на следующем шаге в начале или в середине. Если модель обнаруживает ошибку, неточность или размытие во время процесса генерации, ее можно исправить и оптимизировать, независимо от того, где они появляются в тексте. Это решающее преимущество по сравнению с авторскими моделями, которые имеют «слепую пятно» для будущих ошибок.

3. Целевая обработка (текстовая инфункция)

Подобно моделям диффузии изображения, так называемые «встроенные» работы (отметьте область на изображении и пусть он регенерирует, чтобы добавить или удалить объекты), диффузия Близнецов также может работать очень конкретно. Он не должен восстанавливать весь текст от начала до конца. Вместо этого он может легко «быть опустошенным», а затем снова «шум», а затем «шум». Это позволяет адаптировать, переводить или оптимизировать выбранные отрывки или абзацы в вашей тональности или стиле, не влияя на остальную часть текста. В других моделях голоса это часто по -прежнему является проблемой или занимает непропорционально много времени. Это открывает совершенно новые возможности для эффективной обработки и оптимизации текста.

4. Естественная вывода речи

Хотя генерация классического текста может быть несколько медленнее, чем с кодом, некоторые пользователи сообщают, что диффузия Близнецов создает тексты, которые звучат более естественные и человеческие, чем у других основных языковых моделей. Это может быть связано с целостным способом работы, который позволяет модели лучше поддерживать глобальную когерентность и стилистическую последовательность.

Машина для 3D-рендеринга AI и XR: пятикратный опыт Xpert.Digital в комплексном пакете услуг, исследования и разработки XR, PR и SEM — Изображение: Xpert.Digital

Xpert.Digital обладает глубокими знаниями различных отраслей. Это позволяет нам разрабатывать индивидуальные стратегии, которые точно соответствуют требованиям и задачам вашего конкретного сегмента рынка. Постоянно анализируя тенденции рынка и следя за развитием отрасли, мы можем действовать дальновидно и предлагать инновационные решения. Благодаря сочетанию опыта и знаний мы создаем добавленную стоимость и даем нашим клиентам решающее конкурентное преимущество.

Подробнее об этом здесь:

• Используйте 5-кратный опыт Xpert.Digital в одном пакете — всего от 500 евро в месяц

Проблемы и открытые вопросы диффузии текста

Несмотря на его многообещающий потенциал, метод распространения генерации текста все еще молод и не без собственных проблем:

1. Зависимость от количества шагов

Качество вывода в значительной степени зависит от количества шагов шума, которые выполняет модель. С моделями изображений пользователи часто могут устанавливать эти шаги вручную. Это также возможно для голосовых моделей на основе голосовых моделей, в идеале системы ИИ должны динамически адаптировать их к сложности подсказки и желаемой длины текста.

• Слишком мало шагов: привести к качественно низкому, незаконченным или "шумным" результатам. Текст выглядит бессвязно или фрагментирован.
• Слишком много шагов: может привести к смущенному, противоречивому или даже рухну. Модель «требует» содержания на практике. Можно произойти так называемый разоблаченный коллапс, в котором генерируемый контент возвращается в шумное состояние, потому что модель чрезмерно оптимизирована и теряет когерентность. Это сравнимо с изображением, которое внезапно становится абстрактным и неузнаваемым из -за слишком агрессивной фильтрации.

2. Эквивалент галлюцинаций в тексте:

Самые крупные и наиболее продвинутые генераторы изображений ИИ, такие как Flux или Minimax Image-01, по-прежнему имеют проблемы с ошибками, которые не могут возникнуть в результате слабостей моделей, но могут быть результатом диффузионной технологии. Это включает в себя физические аномалии, такие как слишком много или слишком мало пальцев, произвольное введение элементов или искаженных тела и архитектурных представлений. Вопрос в том, в какой степени модели диффузии текста могут страдать от эквивалентных «галлюцинаций»:

• Логические несоответствия: текст начинается правдоподобно, но более поздние разделы противоречат предыдущим утверждениям.
• Стилистические и тональные разрывы: стиль или тон текста внезапно и необоснованный в середине предложения или абзаца.
• Хаотическая структура текста: параграфы или предложения расположены непоссевно, прыгайте между темами или повторяются без необходимости.
• Полностью пропущенная тема: хотя текст грамматически правильный, он пропускает исходную тему или быстро.
• Фактические неточности: хотя проститутка является основной целью, модель может интерпретировать статистические закономерности, чтобы они собирали неправильную информацию в текст.

Эти явления являются предметом интенсивных исследований, потому что они могут повлиять на доверие к созданному контенту.

Контекст презентации: шторм новых объявлений ИИ

Тот факт, что диффузия Близнецов получила сравнительно мало внимания, может показаться парадоксальным, но может быть объяснена из контекста его представления. Google представила его на своей ежегодной конференции разработчиков, которая традиционно является фейерверком новостей. В мае 2024 года изобилие объявлений Google действительно было ошеломляющим. В дополнение к диффузии Близнецов, техническая группа представила ряд других высококлассных проектов и инструментов:

Близнецы 2.5 Pro

Самая интеллектуальная версия собственной модели Близнецов Google в то время, которая уже впечатляет ее мультимодальность и производительность.

Астра

Видение Google о помощнике искусственного интеллекта, который не только понимает голосовые команды, но также может обрабатывать и взаимодействовать визуальную информацию в реальном времени-шаг к реальным «агентам искусственного интеллекта».

VEO (версия 3)

Третья итерация текста-видео ки, которая теперь также может создавать язык и звук, что значительно расширяет захватывающие навыки генеративных видео с искусственным интеллектом.

Умные очки аура

Прототип интеллектуальных очков, который должен беспрепятственно скрывать цифровую информацию в реальном мире.

3D видео умный системный луч

Инновационная система для иммерсивных видеозвонок, которая должна размыть границы между физическим и цифровым присутствием.

Ввиду этого потопа новаторских инноваций было трудно для «эксперимента», настолько многообещающего, насколько это ни было, трудно получить необходимое внимание. В некотором смысле, суета и суету больших, немедленно применимых объявлений, хотя у нее есть потенциал, чтобы бросить парадигмы многообещающих голосовых моделей над кучей.

Растущее направление исследования: предшественники диффузии Близнецов Близнецы

Диффузия Google может быть самым большим экспериментом в области диффузии текста до сих пор, но он далеко от первого. Идея использования диффузионных моделей для текста является относительно новым, но интенсивно исследованным направлением.

Еще в 2023 году команда из Университета Суоч в Китае опубликовала новаторское исследование. В нем они представляли тезис о том, что диффузионные модели могут превышать предыдущие архитектуры голосовой модели, особенно в отношении надежности и коррекции ошибок. В том же году последовали первые рудиментарные модели, которые применяли концепцию диффузии текста на практике: диффузия-LM и минимальная диффузия текста. Эти пионеры показали, что деформация токенов, как правило, также работает для генерации текста, хотя и на очень ранней стадии.

Другая интересная модель последовала в феврале этого года (2024): Mercury Coder из Labs. Эта модель в первую очередь была сосредоточена на генерации программного кода и доказала, что диффузионные модели в этой специальной области применения могут достичь замечательной скорости, которая превышает обычные языковые модели.

Незадолго до Google I/O, в апреле 2024 года, Университет Гонконга и Huawei, ведущие Huawei, представили диффузию с большой языковой моделью Dream 7b. До представления диффузии Близнецов Dream 7B стала крупнейшей доступной диффузионной моделью для текста. Его навыки и основная архитектура привлекли внимание ведущих исследователей ИИ. Андрей Карпати, бывший исследователь Openai, который известен своим глубоким пониманием нейронных сетей, прокомментировал Dream 7B. Он подчеркнул, что эта модель может показать совершенно другую «психологию» или уникальные сильные и слабые стороны по сравнению с авторегрессивными моделями.

Все эти проекты проложили путь к распространению Близнецов и показывают, что исследовательское сообщество в течение некоторого времени было признано границами моделей, представленных автором, и искало альтернативные подходы. После идеи диффузии Близнецов, исследователь искусственного интеллекта, который не хотел комментировать по имени, подтвердила, что эта модель теперь «актуальность подхода» доказательства и «должна быть дополнительно изучена в этом направлении». В частности, он подчеркнул потенциал для голосовых моделей на мобильных устройствах и менее мощных серверах, где диффузионные Lems могут быть «полными изменениями игры». Причиной этого является присущая параллелизуемость процесса инкриминирования, который может быть лучше распределен по определенным аппаратным архитектурам, чем последовательный характер моделей автосера.

Революционные последствия и взгляд на будущее

Введение диффузии Близнецов, даже если она была в тени других гигантов, является значительным шагом в развитии искусственного интеллекта. Он не только представляет собой технологическую инновацию, но также сигнализирует о потенциальном сдвиге парадигмы в архитектуре голосовых моделей.

Что это может означать для будущего?

1. Более эффективные приложения ИИ

Огромная скорость и способность обрабатывать точные могут революционизировать генеративные приложения ИИ во многих областях. Подумайте о производстве текста в режиме реального времени в видеозвонках, быстрого генерации кода в средах разработки или немедленных резюме сложных документов.

2. ИИ на мобильных устройствах

Преимущество, уже упомянутое для оборудования с низкой эффективностью, имеет решающее значение. Если диффузионные модели могут эффективно работать на смартфонах или краевых устройствах, это значительно увеличит доступность и преимущества ИИ, поскольку меньше будет зависеть от облачных серверов.

3. Редактирование творческого текста

Авторы, журналисты или эксперты по маркетингу могут извлечь выгоду из вкоронной функции специально адаптировать стиль, звук или контент в конкретных разделах текста без разрушения потока всего документа. Это позволяет ранее непревзойденную точность и контроль в ревизии.

4. Надежный и последовательный контент

Если задачи «галлюцинации» и «обезболивающее коллапс» освоены, диффузионные модели могут генерировать тексты, которые являются более логически согласованными и стилистически последовательными, чем в текущих моделях. Это был бы большим шагом к более надежному поколению ИИ.

5. Новые навыки ИИ

Целостный способ работы может позволить диффузионным моделям лучше решать другие типы задач или избежать новых типов ошибок. Возможно, вы предопределены за задачи, в которых глобальная согласованность помещается на последовательное совершенство, например, при создании сложных повествовательных структур или письменных сценариев.

Диффузия Близнецов: молчаливые потрясения в генерации текста ИИ

Тот факт, что такая потенциально новаторская модель, как диффузия Близнецов, которая уже можно увидеть через сам список ожидания, вряд ли замечен в широкой публике, является отражением быстрого развития в области ИИ. Скорость, с которой появляются новые модели и парадигмы, головокруживает. Но особенно в тех экспериментах, летящих под радаром, реальный потенциал для следующей большой революции часто скрыт.

По -прежнему интересно наблюдать за тем, как развиваются модели диффузии в текстовой области и могут ли они на самом деле оспаривать или даже заменить установленные архитектуры. То, что Google начал с диффузией Близнецов, - это больше, чем просто эксперимент; Это руководство по возможному будущему генерации текста, которое будет быстрее, более гибким и, возможно, даже более интуитивно понятным. Это призыв к исследованиям, чтобы продолжить это многообещающее направление с акцентом, потому что мир ИИ, возможно, только что предпринял один из его грудных вскармливаний, но наиболее важных шагов.

☑️ Поддержка МСП в разработке стратегии, консультировании, планировании и реализации.

☑ Создание или перестройка стратегии ИИ

☑️ Пионерское развитие бизнеса

Конрад Вольфенштейн

Буду рад стать вашим личным консультантом.

Вы можете связаться со мной, заполнив контактную форму ниже, или просто позвонить мне по телефону +49 89 89 674 804 (Мюнхен) .

Я с нетерпением жду нашего совместного проекта.

Xpert.Digital — это промышленный центр с упором на цифровизацию, машиностроение, логистику/внутреннюю логистику и фотоэлектрическую энергетику.

С помощью нашего решения для развития бизнеса на 360° мы поддерживаем известные компании, начиная с нового бизнеса и заканчивая послепродажным обслуживанием.

Аналитика рынка, маркетинг, автоматизация маркетинга, разработка контента, PR, почтовые кампании, персонализированные социальные сети и привлечение потенциальных клиентов являются частью наших цифровых инструментов.

Дополнительную информацию можно узнать на сайте: www.xpert.digital - www.xpert.solar - www.xpert.plus