Как легко сделать 3d модель из любой фотографии даже, если вы новичок? Работа в сервисе Inworld Ai

Представьте ситуацию: появилась интересная идея для игры, но разработку приходится постоянно откладывать. Причина проста, — не хватает знаний в разных областях. У нас хорошая новость для вас. Уже сейчас появился инструмент, позволяющий за несколько кликов создать крутую модель. 

Очередная нейронная сеть – подумали вы? Совершенно верно, только лучше, — так как позволяет генерировать персонажей без лицевой деформации, что является недостатком многих нейронок.  Представляем сайт для создания персонажа в разных стилях Inworld Ai.

Обзор интерфейса и инструментов

Что такое генерация модели через Inworld Ai? Процесс состоит из нескольких шагов. 

1. Придумываете имя и описание будущей 3д модели.
2. В настройках прописываете подробную информацию: биографию и интересы.
3. Загружаете двухмерную картинку – портрет хорошего качества. 
4. Переходите в трехмерный редактор. Генерация произойдет автоматически. Гибкая система кастомизации позволяет менять внешний вид. Настройка как в игре SIMS. Можно сменить прическу, одежду, черты лица и многое другое.
5. Полученный результат сохраняем в формате glb. 

К более подробному описанию, как создать 3д персонажа онлайн, мы еще вернемся, а сейчас опишем инструменты. Главное преимущество – нет лишних опций. Все основные настройки находятся в четырех вкладках.

1. Characters – здесь и происходит вся магия. Заполните поля, загрузите фото и получите готового персонажа на выходе.
2. Knowledge – знания, которыми владеет гражданин или сельский житель в игре. Например, история города или села.
3. Scenes – триггерные сцены. Это когда игрок взаимодействует с игровым миром. Проходит обучение или NPC приветствует героя. Также могут быть разные агрессивные триггеры, например, нападение торговца при попытке вора что-нибудь стянуть из лавки.
4. Interactions – через чат можно общаться. Искусственный интеллект умеет думать и неплохо отвечает на вопросы пользователей. В раздел Interactions попадают взаимодействия со своим аватаром.

В основном нас интересует, как создать персонажа онлайн 3д в полный рост. Поэтому мы будем использовать вкладку Characters. 

Термины – разъясним некоторые вещи, которые будут встречаться в статье.

• NPC – неигровой персонаж, с которым можно общаться: получить задание и даже взять в попутчики.
• Ассеты – то, из чего состоит игровой проект: графика, 3d модели и звук.
• Glb – формат 3d, единственный, который поддерживается при сохранении на сайте Inworld. Графика вшита в файл, не придется думать, как наложить текстуры на модель.
• Лор игры – история, традиция. Важная информация, которую знает конкретно ваш персонаж. В сервис Inworld для этого есть вкладка Knowledge. 
• Кастомизация – изменения внешнего вида NPC. Цвет волос, черты лица и одежда.
• Риггинг – это подготовка для создания анимации. Сначала создается скелет, потом делается анимация. 
• Авториг – на готовую модель накладываются движения. Для этого есть специальная платформа с библиотеками. Про них расскажем ниже.

Приступим к созданию. Персонаж – жена булочника, вместе с мужем печет самые вкусные булочки в городе. В настройках потребуется еще указывать местоимение. В нашем случае женского рода.  

Картинка портрет для генерации 3d модели

Выбираем фото. Два варианта. Найти в фотостоках или сгенерировать через нейронную сеть. Второй предпочтительнее, так как вы получите уникальное изображение, а картинки со стоков могут быть защищены авторскими правами. 

Какую нейронную сеть выбрать для генерации фото?

В интернете их множество и все делают картинки разного качества. Лучшие из них – это Leonardo и Playground. 

Почему они? Каждый участник получает бесплатные токены, а изображения генерируются высокого качества. Мы будем использовать Leonardo.

И было сказано слово… Чтобы получить фото, нужно грамотно составить промпт.

Prompt – это текстовая подсказка для ИИ, по ней он будет генерировать картинку. Чем больше деталей вы опишите, тем лучший результат получится.  

Инструкция создания картинки:

1. Заходим в Leonardo.
2. Регистрируемся через Google.
3. Создаем изображение «Create New Image».

4. Составляем Prompt на английском. Если с этим проблемы — воспользуемся гугл переводчиком. Добавляем в текстовое поле. Пример ниже. 

5. Негативный промпт (Negative Prompt) – то, чего не должно быть на картинке. Довольно часто случается деформация лица или прорисовываются лишние конечности. Используйте Negative Prompt, чтобы убрать ошибки. Переключите тумблер, как показано на скриншоте, и в новом поле добавьте следующий текст.

6. Устанавливаем количество изображений. На бесплатном тарифе максимально доступно 4. Лучше использовать по максимуму, чтобы получить несколько вариантов. Будет из чего выбрать.

7. Нажимаем Generate. Это стоит 8 токенов.

8. Выбираем фото. Нам понравилась эта фотография (отмечена стрелкой). Скачиваем. Наведите на портрет и нажмите на кнопку «Download Image».

Получилась фотография девушки в старинном стиле потому, что в запросе мы использовали ключ «18th centure», что означает 18 век. Изначальная задумка игры – старинное RPG, все персонажи будут одеты в стиле того времени.

Примечание: нейронная сеть генерирует изображения, которые могут отличаться от видения автора. Поэтому потребуется несколько попыток. 

Приступаем к созданию 3d персонажа.

История персонажа в Inworld Ai

Подробная биография поможет в общении. Гораздо лучше, когда NPC отвечает на вопросы и поддерживает беседу. Поэтому составляем описание.  

Войдите в Inworld через аккаунт Google или почтовый ящик. Переходим в раздел Characters и нажимаем кнопку для создания персонажа.

Появится всплывающее окно, нужно придумать красивое женское имя и описание.

Примечание: составляйте все на английском языке.

Имя будет Бель (Belle).

Core Description – добавляем текст. Пример на картинке. Мы использовали русский язык, чтобы пользователи могли прочитать, о чем будет история. 

Переводим на английский язык и добавляем в поле, после нажимаем кнопку «Create».

Создастся новый персонаж. В профиле верхняя панель – имя, область для аватарки и кнопки Edit Details, Save, Chat и Share. К этим настройкам еще вернемся, когда будем создавать онлайн девушку 3д. Сейчас допишем историю и сделаем характер персонажа. Важные вкладки Basic и Advanced от них зависит то, как NPC будет вести диалог.

Basic 

Заполняем следующие поля.

• Flaws (Недостатки) – что мешает жить нашему персонажу. Какие недостатки есть?
• Motivations – один два предложения, что вдохновляет нашего героя. 

Вот как мы заполнили эти поля. Пример на картинке добавили и русский перевод.

Заполнив поля Flaws и Motivations, теперь следующий блок «Dialogue style». 

Что может сказать персонаж при первой встречи с героем? 

Для этого есть диалоги, пример ниже. 

Закончив заполнять вкладку Basic, нажимаем кнопку Save. Результат сохранен.

Advanced

Делаем настройки.

• Character traits: в отличие от других текстовых полей каждое слова записываем через запятую. Чтобы сформировались теги. Например:

Прежде, чем создать 3д персонажа онлайн, нужно отрегулировать дополнительные черты характера. Используем для этого ползунки. 

Итак, черты характера разделены на два типа Mood (Настроение) и Personality (Личность). Вы можете сделать персонаж грустным или наоборот веселым. Для этого достаточно передвинуть ползунок в соответствующую сторону. 

Ознакомьтесь с таблицей. Мы перевели настройки на русский язык.  

Характер NPC настроили. Пример на скриншоте.

Следующая панель «Knowledge & Cognition». Знания NPC. Первое ключевое слово, которое следует добавить это {character} – обязательно используем фигурные скобки. Заполняем поле. Обратите внимание на кнопку «Add common knowledge». 

Здесь предлагается указать знания, известные каждому жителю. Например, где находится рынок. 

Настройки Advanced завершены, нажимаем кнопку Save, чтобы сохранить изменения.  

Как создать девушку онлайн 3д?

Приступаем к генерации модели. Для начала сделаем редактирование некоторых полей. Откройте «Edit Details». Кнопка находится в верхней панели рядом с аватаром.

Появится всплывающее окно. Какие изменения нужно внести?

• Pronouns (Местоимения) – установите «she/her/hers».
• Stage of Life – этап жизни, который проживает персонаж. В нашем случае «Middle adulthood» – Средний возраст.
• Hobbies and Interestings – чем занимается в свободное время NPC. Перечисляем увлечения через запятую. Например «чтение, рисование, цветоводство».

Поле хобби и интересы в примере ниже.

Обратите внимание, есть поле Wikipedia link. Если вы создаете персонаж по исторической личности, то можно добавить ссылку на страницу «Википедии». 

Сохраняемся «Save».

Вернемся к созданию 3д девушки. На аватарке нажмите кнопку «Edit». 

Откроется всплывающее окно. Две вкладки:

• 3D Avatar
• Avatar Image.

Используем вторую. Загружаем картинку, — ту, которую сгенерировали через Leonardo. Можете сохраниться — кнопка Save. Результатом загрузки станет замена аватарки.  

Переходим в 3D Avatar. Ждите, пока загрузится шаблон модели. Нажмите переключатель, как показано на картинке.

Появится кнопка «Configure 3d avatar». Щелкните по ней. Переходим в окно редактора. Дальше зависит от удачи, иногда программа подбирает model похожую на фото, но чаще получается совсем не то, и требуется повторная попытка. Используйте команду «choose file» и загрузите фото, чтобы запустить генерацию еще раз.

Когда модель сгенерирована, начинаем подбирать наряд. Подходящего платья здесь нет, поэтому мы выбрали обычную одежду. 

Что еще можно добавить? Макияж, головной убор, маску, очки. Полный список всех инструментов находится справа.

После изменения внешности и стиля жмем «Далее». 

В новом окне предложат создать аккаунт в readyplayer. 

Нажмите «Продолжить без регистрации».

Скачиваем файл кнопка «Download».

Как запустить чат-бота? 

Прежде, чем интегрировать персонаж в игру, нужно протестировать диалоги. Для этого есть инструмент «Chat». Открывается в профиле персонажа. 

Зададим вопрос. Расскажи о своей профессии? Пишем на английском. Пример.

Бель вкратце рассказывает о своей профессии. Зададим еще один вопрос:
«Есть у тебя цели?»

Текст на сером фоне — пояснение. Здесь описывается одежда персонажа или эмоции. Например, в нашем случае при диалоге с Бель выражено много радости. Это обусловлено тем, что в настройках установлены позитивные параметры. Особое предпочтение уделили Joy, Positive, Peaceful. 

В «Character traits» указали ключи: Оптимизм, Искренность, Доброта, Любопытство. Искусственный интеллект провел анализ и создал типаж персонажа по характеру, приближенный к входящим параметрам.   

Программы для 3D – просмотр и анимация модели

Создали девушку онлайн 3д в Inworld. Теперь сгенерированную модель можно интегрировать в игровой движок, для этого потребуется API ключ. Находится он в разделе Integrations. 

Анимация и искусственный интеллект тоже будут интегрированы в сцену. Пользователь может пообщаться с NPC прямо в среде разработки. 

Цели и задачи встречаются разные. Помимо игр модели можно использовать в рекламе, в фильмах. Чтобы открыть, потребуется сторонний софт. 

Как открыть model glb и анимировать ее? 

• Blender – софт для создания трехмерной графики. Чтобы импортировать glb, нужно перейти в «Файл –> Import  –> glTF 2.9 (.glb .gltf)». Перед импортом установите аддон glb.
• Animation – чтобы не создавать анимацию вручную предлагается использовать авториг. Есть две программы с готовыми библиотеками анимации. AccuRig – софт для ПК и Mixamo – это онлайн платформа. К сожалению, они не поддерживают glb. Поэтому сначала конвертируем Glb в формат Fbx. Сделать это можно через тот же Blender. Потом загружаем в программу и делаем анимацию.

• Просмотр модели через браузер – загрузить трехмерный объект можно и через
  веб-обозреватель. Персонаж примет вид T-позы.
  
  Что для этого требуется? Создать документ html, подключить библиотеку Threejs и плагин GLTFLoader.js. Знания, как пользоваться библиотеками JS, тоже пригодятся. В интернете есть обучающее видео по Threejs.
  
  Итак, в Inworld получилось создать персонажа онлайн 3д в полный рост и загрузить в веб-обозреватель. Пример на картинке.

Особенности создания 3D модели через нейронную сеть

Сайт для создания персонажа в разных стилях будет полезен для разработчиков игр. За несколько кликов в Inworld AI можно сгенерировать model по фото. У платформы есть свои преимущества и недостатки.

Плюсы:

1. Экономия времени для создания игровых ассетов. Изменив внешний вид, можно получить нового человека. Таким образом сгенерировать жителей города.
2. Интеграция с игровыми движками. Поддерживает 10 платформ, куда можно интегрировать 3d объект.
3. Искусственный интеллект создает уникальные ветки диалогов, делая NPC живым. Информация берется из личного профиля персонажа.

Минусы:

1. Генерирует только людей. Нельзя создать космический корабль или пришельца.
2. Мало нарядов. При создании девушки не удалось найти старинное платье.

В целом площадка Inworld подходит для создания трехмерных людей и позволяет интегрировать готовые объекты прямо в игровой движок. Что упрощают разработку игр. Тем не менее, многие могут заметить однообразие моделей. Но как говорят игроки — главное не графика, а сюжет. Здесь уже придется самому придумывать интересную и захватывающую историю.  ИИ пока с этим плохо справляется, но с развитием технологий нейросети научатся писать и сценарии. 

Остались вопросы — задавайте в комментариях. 

Автор статьи Катя Самохина, блог Денежные ручейки