1. ВНИМАНИЕ! Все административные вопросы решаются через обратную связь или через личное сообщение пользователю с ником FujiClub

Демозаик XTrans - машинное обучение

Тема в разделе "Теоретические вопросы фотографии", создана пользователем Stepan, 7 дек 2018.

  1. Stepan

    Stepan Старейшина

    Регистрация:
    24 сен 2014
    Сообщения:
    718
    Симпатии:
    806
    Коллеги,
    тут такое....
    В качестве развлечения увлекся темой машинного обучения, и в качестве подопытной задачи выбрал обучить нейросеть делать демозаик. И вот что вышло:
    Res1.PNG
    За цвета пока не брался (ИМХО с ними будет проще) - сравните детализацию от адоба (справа, шарп отключен) и ту что выдала нейросеть (слева). Что скажете?

    Может ли какая-либо программа что-то аналогичное выдать?
    RAF можно посмотреть по ссылке https://cloud.mail.ru/public/8YzL/h6GePrs5d
    Результат, выданный нейросетью с неприведенными цветами https://cloud.mail.ru/public/6UQS/gdNtWJKA8
     
    #1 Stepan, 7 дек 2018 в 23:45 Демозаик XTrans - машинное обучение
    Последнее редактирование: 8 дек 2018
    SophCat нравится это.
  2. Velesich

    Velesich Старейшина

    Регистрация:
    28 авг 2015
    Сообщения:
    7.162
    Симпатии:
    6.531
    Адрес:
    Томск
    RawTherapee примерно так делает на кропе 100%
     

    Вложения:

  3. Nikkc

    Nikkc Старейшина

    Регистрация:
    4 окт 2014
    Сообщения:
    408
    Симпатии:
    1.426
    Адрес:
    Петропавловск Казахстан
  4. Velesich

    Velesich Старейшина

    Регистрация:
    28 авг 2015
    Сообщения:
    7.162
    Симпатии:
    6.531
    Адрес:
    Томск
  5. Velesich

    Velesich Старейшина

    Регистрация:
    28 авг 2015
    Сообщения:
    7.162
    Симпатии:
    6.531
    Адрес:
    Томск
  6. Stepan

    Stepan Старейшина

    Регистрация:
    24 сен 2014
    Сообщения:
    718
    Симпатии:
    806
    Спасибо за примеры.
    Похоже, что RawTherapee действительно справляется с демозаиком значительно лучше Адоба и на уровне нейросети.

    В качестве промежуточного отчета выложу полный результат работы нейросети, с восстановлением пленочного профиля (другой нейросетью, которую я на пленочный профиль натренировал :))
    Кому интересно, файлы можно посмотреть по ссылке https://cloud.mail.ru/public/HFSA/GtHFU9dpn
    upload_2018-12-13_13-16-34.png

    ЗЫ. Следующим шагом попробую увеличивать нейросетью разрешение фотографии в 4 раза (с 16мп до 48, или с 24 до 96 :)) с увеличением детализации. Посмотрим, как хорошо справится.
     
  7. megawolt

    megawolt Новичок

    Регистрация:
    18 фев 2019
    Сообщения:
    6
    Симпатии:
    1
    @Stepan, какие достойные результаты! Какие успехи спустя время? Не совсем понял, где можно так снимки накручивать?
     
  8. Stepan

    Stepan Старейшина

    Регистрация:
    24 сен 2014
    Сообщения:
    718
    Симпатии:
    806
    @megawolt, Я пока свой проект забросил, так как основной целью было - получить навыки в программировании на питоне, и использованию нейросетей.
    Во-вторых, Адоб выпустил обновление лайтрума, в котором добавил пункт "увеличить резкость", в котором использовал сходный подход - как я понял, они используют предварительно обученную нейросеть для демозаика. В случае с xtrans результаты особо заметные. Я сравнивал со своей нейросетью - очень схожие результаты.

    Что касается проекта по увеличению разрешения с "придумыванием недостающих деталей" - то во-первых, эта задача уже решена коммерчески (см. проекты типа gigapixel). Во-вторых, простой нейросетью тут не обойтись, здесь по-хорошему нужны генеративно-состязательные сверточные нейросети, а это сейчас пока сильно за рамками моих компетенций :)
     

Поделиться этой страницей