Как пять нейросетей заменяют целую студию людей

Поскольку я ничего интересного не монтирую и не снимаю, продолжу рассказывать вам про нейросети.

На этот раз у нас статья с Хабра, в которой рассказывается, как человек с нуля создал клип.

Вот использованные нейросети:

• Claude — для написания текста песни
• ChatGPT — для генерации промптов
• Suno — для создания музыки
• Flux — для генерации фотореалистичных изображений
• Runway (включая Act 1) — для преобразования изображений в видео с эмоциями
• Minimax — для сцен разрушения офиса 
• After Effects — для цветокоррекции и монтажа (это не нейросеть:-))

Ну и в статье всё подробно рассказывается, что, для чего, как.

Понятно, что человек не с нулём знаний начал это делать - он ChatGPT использует для написания промптов для других нейросетей и доучивает нейросети под конкретную задачу, далеко не все знают, что нейросети можно доучивать.

Весь проект в неспешном темпе (около 4 часов работы в день) занял полторы недели. Если сравнивать с традиционными методами съемки, это невероятно быстро — подобный проект занял бы не меньше месяца.

Видео просто для иллюстрации.

 

След древней цивилизации - Panasonic DVCPRO AJ-LT85

 Panasonic DVCPRO AJ-LT85 - это портативное устройство для монтажа с кассет DVCPRO.

Новые возможности нейросети Kling Ai. И ещё немного о промптах.

В Kling AI в разделе генерации "Видео из картинок" появились "Элементы". "Элементы" - это до 4 загружаемых картинок, на основании которых и генерируется 5 или 10 секунд видео.

Вот такие вот я подобрал "элементы":

  А промпт "Рыцарь и девушка идут по лесу" (на английском).

Развлечение с нейросетью.

 Ещё раз покажу вам продукты действия нейросети по оживлению одной картинки.

Первые два ролика - результат работы Kling AI.

Как скачать видео с Youtube, Vimeo и других сайтов (ноябрь 2024)

Постоянно, что-то меняется. Старые программы для скачивания начинают работать хуже или перестают работать.

Поэтому, сейчас я расскажу вам про yt-dlp. Основное неудобство - эта утилита работает из командной строки. Да ещё у вас должен быть установлен ffmpeg. У yt-dlp масса возможностей, в интернете куча подробных руководств, как действовать в разных ситуациях, я же расскажу свой простейший случай.

Мне понадобилось скачать видео с сайта numeridanse (фактически, они используют vimeo). Я скачал yt-dlp, для удобства установил её в папку 1 на диске C. Потом запустил командную строку командой cmd. Затем написал c:\1\yt-dlp.exe http:\\(адрес сайта) , утилита немного задумается и выдаст какие-то сообщения. В моем случае было предупреждение о том, что ffmpeg не установлен. Если проблема не серьезная, начнётся скачивание, утилита покажет примерный объём скачивания, процент скачанного, скорость скачивания, примерное время.

В моём случае скачалось два файла mp4: большой - видео, маленький - звук. Если бы ffmpeg был установлен, эта проблема не должна была бы возникнуть, но я решал её вручную. Звуковой mp4 я конвертировал в mp3 с помощью онлайн-конвертера. Затем добавил mp3 в mp4 с помощью avidemux (это просто), правда, на выходе получился файл mkv, это, наверное, решаемо, но меня устроило.

Некоторые рекомендуют Hitomi Downloader - это, вроде бы, графическая надстройка над yt-dlp, даже при начале работы в окошке появляется сообщение что-то типа "Загрузка yt-dlp". Что упрощает работу. Но у меня не получилось с помощью Hitomi Downloader скачать видео с Vimeo, выдавалась ошибка. С YouTube скачалось.

Нейросеть KLING AI (дополнение от 29 сентября 2024)

Очередная (и одна из лучших) нейросетей для генерации картинок и их оживления - KLING AI. Бесплатный доступ к генерации ограничен некоторым количеством токенов в день (они постоянно добавляются).

Я вам немного расскажу про то, как работает KLING AI, но это относится и к другим нейросетям.

Мне захотелось сгенерировать женщину, которая играет на гитаре.

Я ввел промпт - Tan woman with long dark hair playing guitar. three-quarter angle - и получил (один из вариантов):

Veed.io

Veed.io - это эдакий комплекс возможностей для обработки и монтажа видео, конечно же, с использованием нейросетей.

Конечно же, есть платная и бесплатная версии, бесплатная - с кучей ограничений.

Также, для залогиненного и незалогиненного пользователей - это как будто два разных сайта.

Незалогиненные могут проследовать на вкладку "Products", и там куча разрозненных продуктов - конвертация видео, объединение видео, обрезка видео, визуализатор музыки и т.п., больше 30 инструментов.

А залогиненным показывается вполне традиционный видеоредактор с видеодорожками.