3Д сенсоры для создания трехмерной модели в домашних условиях

[Natamoda]

Должно помочь.

Да, помогло
Эту галочку снимать только при просмотре старых секвенций или и при записи новых?
По поводу цвета. Можно сразу выключить цвет при записи новых секвенций или это влияет только при реконструкции секвенции?

[arhimed]

Эту галочку снимать только при просмотре старых секвенций или и при записи новых?

По смыслу, эта галочка ... при включеной ... программа должна проверить и точно определить соответсятвие каждого кадра у каждой камеры, что они сняты в одно и то же мгновение (точное время). И если какой то кадр (из нескольких камер) снят с задержкой (сдвиг по времени возможно по причине тормозов в системе), то такой "комплект" должен считаться бракованным и исключаться из секвенции (стираться или не участвовать).
Т.е. если ваша записанная секвенция может читаться полностью (количество кадров загруженной секвенции можно посмотреть справа внизу), то надо стараться включать эту функцию (проверки на качество). Если же при включенной "проверке" (установленной галочке) программа не может загрузить секвенцию, можно снять галочку и загрузить как есть (как выход из положения, когда не получается записать секвенцию более качественно).

По поводу цвета.

Насколько я знаю, при записи секвенции цвет будет записываться не зависимо от вкл/откл "цвета". Т.е. экономии при записи секвенции не получится. Всеравно запишет всё.
И кроме этого (по поводу экономии) если вы в настройках укажете "не видеть за..." (установите ограничение для камеры), то это тоже не будет влиять на размер записанной секвенции. Запишет также всё.
Отключение цвета влияет на реконструкцию. Т.е. если цвет выключить, то при реконструкции программа не будет присваивать точкам облака цвет, и далее после создания меша не будет "улучшать цвет вершин" (не будет уточнять/усреднять цвет каждой вершинки по иным "близкорасположенным" точкам облака) и соответственно не будет такой меш иметь цвет вершин. Это довольно заметная экономия ресурсов.
Кроме этого. Если вы хотите еще больше экономии, то конкретно в этой новой версии (от 2.0.6...) вы можете отключить запись ключевых кадров в настройках. Для этого на закладке "текстурирование" надо снять галочки.
А если вы их запишете, то наоборот... У вас будет возможность наложить цвет на полученный не цветной меш. Правда в таком режиме на закладке "рендеринг" кнопка "цвет" будет заблокирована. И что бы убедится, что цвет там всетаки есть и что бы посмотреть - можно развернуть спойлер "цвет" (где можно изменить яркость, контрасность...). Тогда режим просмотра будет с цветом.
.................
И еще.
Там в настройках мультисенсорных (Мульти-Сенсорные Опции), где выставляются опции маркеров калибровки, есть возможность установить галочку "уменьшать помехи лазера".
По смыслу (я точно не знаю) это должно сдвинуть время каждого сенсора так (совсем немножко), что бы камеры не мешали друг другу. Не создавали взаимных помех. Вполне возможно, что такой сдвиг по времени учитывается при проверке соответствия кадров (смотрите первый вопрос) и комплект изза этого считается бракованным. Т.е. я допускаю, что разработчики могли забыть о таком полезном сдвиге, который они сами добавили. И забыть учесть этот сдвиг при проверке на соответствие.

 

Ну и по поводу записи секвенции в общем.
Если вы просто записываете секвенцию без одновременно запущеной реконструкции. То программе должно хватать ресурсов, что бы записать все кадры без пропусков. В таком режиме секвенция будет записана максимально (например с частотой 30 кадров в секунду) и будет занимать на диске много места.
Если же вы делаете реконструкцию а потом "идете" в "временную" папку и копируете ту секвенцию, что программа записала себе для работы. То такая секвенция скорее всего будет иметь пропуски. Т.е. будут записаны не все кадры, а только те, которые ваш комп успевает записать (ведь оборудование занято реконструкцией). Такая секвенция может быть записана "экономно" (например с частотой 15 кадров в секунду). И будет (в таком случае) занимать на диске меньше места. Но именно в такой секвенции могут записаться кадры с значительным сдвигом по времени. И вполне возможно. Что именно такие секвенции не "захотят" загружаься с включенной галочкой "Сопоставлять кадры при загрузке секвенции".
Т.е для качественной записи секвенцию надо записывать без реконструкции.
Если же вы видите, что заметного качества у вас не добавляется (такое может быть в случае, когда ваш подиум вращается достаточно медленно), то вы можете экономить.

[Natamoda]

Но не повторяйте их ошибок. Постарайтесь максимально приблизить камеры к человеку, что бы площадь зеленого была бы как минимум больше 30% от общей.

Для этого нужно кинекты располагать на разном расстоянии от объекта. У меня, например, кинекты прикреплены к одной стойке и тоже получается маленькая заполняемость у верхнего кинекта. Если я располагаю кинект с резким наклоном, как на образце, то на скане получается ступенька на стыке двух кинектов. Возможно, с калибровкой или качеством кинектов проблемы. Лучше получается так, как показано у разработчиков.
Может, с новой версией программы будет лучше, буду пробовать.
У меня нет задачи по экономии ресурсов , а только по качеству скана. Чтобы было меньше бугров, заметных стыков и рытвин.

[arhimed]

Повысить качество поверхности... Если не заменять сенсоры на более качественные...
Можно только максимально приблизив сенсоры к поверхности, что бы камера лучше видела мелкие части. А для уменьшения стыков от не качественной калибровки (взаимного расположения сенсоров) может помочь только правильно выбранное место и правильный размер маркера (достаточно больших).
Кроме того. Если камера будет видеть максимально больше "зеленого", то программе легче точнее рассчитать положение камер и точнее "наложить" следующий "снимок" при реконструкции. Это уменьшит размер замыкающего стыка и увеличит общую точность.
Кстати. Для увеличения точности "учета" угла поворота (это больше касается тех, у кого несколько сенсоров на одной вертикальной стойке), следует на полу подиума устанавливать "дополнительные маркеры" более заметные (с большей площадью поверхности) и на большем расстоянии (радиусе) от центра вращения (можно и за пределами подиума).

 

По поводу иной схемы расположения сенсоров (без подиума).
Вот такая схема мне уже давно нравится:

Тут четыре сенсора двигаются поступательно (верх-низ).
Хотя... если в центре расположить подиум и еще вращать и его - будет только лучше.

Изменено 17 мая, 2020 пользователем arhimed

[arhimed]

Кстати. В настройках по кнопке Ф8

Можно изменить положение и размер ключевых кадров (накладываемых на меш).
Но пока в программе нет удобного способа регулировки, и вы можете скорее всего испортить, чем улучшить...

[сан]

да, сколько здесь ценного материала по таким замечательным программам вы даете, это просто бесценный материал!!!Я СИЖУ И ВОСХИЩАЮСЬ ВАМИ!!!У меня в компьютере вирус уже 2 месяца и я в тоске...., поэтому захожу,как гость....,РИНО вообще не работает....и выкройки не могу распечатать . Я конечно далеко отстала, ну постоянно захожу сюда и с благодарностью смотрю, как вы делитесь такой ценной информацией,всего вам доброго и здоровья!!!

[~ ОЛЬГА ~]

Добрый вечер!
присоединяюсь к восхищением и благодарностям ко всем основоположникам темы! Сижу в "кустах" лет десять!)) Живу в деревне "Ёжики" где никто этим не занимается и даже не слышал о таком!У меня тоже нет ни швейного образования ни углубленных знаний компьютера,
но с Вами я уже многому научилась!Вы моя отдушина от повседневной рутины!Знайте что у Вас есть и такие поклонники!Здоровья Вам всем и процветания!

[arhimed]

Кстати. В новой версии есть возможность вместо цветной камеры включить инфракрасную.

Это очень полезно для того, что бы вы своими глазами увидели, как камера видит лазерную сетку (по которой рассчитывается глубина)... и как светятся блики на блестящих поверхностях ....

[PeletonTver]

Подскажите плз, realsense d 435.скачал sdk 2.0 ,а в ней даже 3dScan нет, (а в прошлой был),где старую скачать? И еще. Поставил на телефон RS Camera, можно записывать поток в bag файл. Bag можно конвертировать в разные форматы сдкашным конвертером. Конвертирую в кучу PLY. Как мне их теперь в RecFusion или KScan засунуть. Не принимаются. Заранее спасибо.

Изменено 5 июня, 2020 пользователем PeletonTver

[Natamoda]

Какая у вас версия RecFusion? В последних версиях PLY принимается.

[PeletonTver]

поставил последнюю. В сыром виде PLY не принимает. Если сначала переписать в MeshLab в bin Ply то принимает, но мешлабе я не нашел пакетной конвертации.
upd.как конвертировать разобрался , в файлах надо просто
property float32 x
property float32 y
property float32 z

 

поменять на float.
А как скормить сразу пачку файлов? Или как их где то объединить , чтоб засунуть в RecFusion?

Изменено 5 июня, 2020 пользователем PeletonTver

[arhimed]

Подскажите плз, realsense d 435.скачал sdk 2.0 ,а в ней даже 3dScan нет, (а в прошлой был),где старую скачать? И еще. Поставил на телефон RS Camera, можно записывать поток в bag файл. Bag можно конвертировать в разные форматы сдкашным конвертером. Конвертирую в кучу PLY. Как мне их теперь в RecFusion или KScan засунуть. ...
А как скормить сразу пачку файлов? Или как их где то объединить , чтоб засунуть в RecFusion?

Вот я прочитал вопросики... и ... ну не понятно что спрашивают.
Если вы не постараетесь четко и ясно выложить свою проблему, то врят ли кто тут догадается, что вам там надо.
Или вы думаете, что на ваши "два слова" тут будут целые романы сочинять?

[PeletonTver]

Попробую. d435 подключен к телефону по usb-c. Программа RS Camera записывает Sequency в ROSBAG v2.0 Я хочу мобильно, телефоном + сканером записывать объект , а дома на компе его преобразовать в 3d модель. После съемки у меня bag файл. Как мне из него сделать модель? Как мне его передать на вход RecFusion или какой другой программмы сканирования ? Записанный поток я могу воспроизводить на компе дома, но конвертировать его в секвенцию RecFusion не получается

Изменено 5 июня, 2020 пользователем PeletonTver

[arhimed]

Попробую. d435 подключен к телефону по usb-c. Программа RS Camera записывает Sequency в ROSBAG v2.0 Я хочу мобильно, телефоном + сканером записывать объект , а дома на компе его преобразовать в 3d модель. После съемки у меня bag файл. Как мне из него сделать модель? Как мне его передать на вход RecFusion или какой другой программмы сканирования ? Записанный поток я могу воспроизводить на компе дома, но конвертировать его в секвенцию RecFusion не получается

Если стандартно, то записывать секвенцию надо в регфюжн в системе вин64_10 на ноуте или подобно. Если нестандартно, с конвертациями, в смысле записывать одной программой и читать другой, то как минимум надо выложить сюда архив с вашими файлами или ссылку. Запишите краткую секвенцию простого объекта с одной стороны. Например клавиатуру компьютера.

[arhimed]

... результат ...

Ну... на мой взгляд... засунуть в RecFusion это все добро... не нужно.
Не для того разработчики делали RecFusion. Эта программа не будет собирать пазлы из таких файлов.

[Natamoda]

Не получилось у меня сканирование в новой версии

После настройки всех параметров записи секвенции, программа зависала и секвенция не записывалась. Пробовала и с галочками в разных пунктах программы и без галочек, для увеличения скорости. Без разницы.
Без секвенции не пробовала
Вернулась к предыдущей версии RecFusion Pro1.4.4

[arhimed]

Не получилось у меня сканирование в новой версии...

Новая версия нужна для новых сенсоров Azure Kinect. Т.к. обладателям таких новых сенсоров старшие версии точно не подойдут :)
И если надо поработать именно в новой 2.0.9, то надо полностью удалить старую версию и установить новую (от имени администратора).
Если же установив новую версию поработать в старой (опять установив старшую новая версия не удаляется), то новая возможно не сможет работать корректно. Такое бывает.

 

Отдельно замечу, что для старых кинектов, старых компьютеров, для семерки (win7) подходит лучше всего версия 1.1.1.
Для кинектов и новых компьютеров возможно лучшей можно считать 1.4.7, т.к. дополнительные функции версии 2.0.9. для кинектов практически бесполезны. Ну разве что в целях самообучения можно переключить на инфракрасную камеру и посмотреть как "видит" камера точечки от лазера...

[arhimed]

July 17, 2020
RecFusionPro 2.1.0
+ Поддержка нового сенсора "Intel RealSense L515"
+ В сохраняемом проекте будет сохранятся меш с ключевыми кадрами
+ Возможность удалить (отключить для процесса наложения) ненужные ключевые кадры

 

Это так вроде по переводу "гугла".
Я подробно еще не проверял.

[arhimed]

RecFusionPro 2.2.0 (October 21, 2020)

 

- Добавлен экспорт окончательной модели в виде облака точек в формате .pcd или .xyz
- Возможность прерывания процесса текстурирования
- Добавлена поддержка сенсора Occipital Structure Core (это вроде который Skanect "продвигает").
- Добавлена поддержка сенсора Intel RealSense D455.

 

Есть ли улучшения для старых "кинектов" - я еще не проверял.

 

 

И еще выпустили эту же версию для Ubuntu (November 16, 2020)... без комментариев.

Изменено 24 ноября, 2020 пользователем arhimed

[arhimed]

10 часов назад, T_T сказал:

Руслан, здравствуйте! Хочу у вас поинтересоваться про сенсоры Intel.

D435/D435i и D415, как по вашему, есть смысл доплачивать 5тр? 

Насколько я понимаю, 435 "видит" большую площадь.

Ну... если по смыслу, то ... это надо вам решать. 

У каждой камеры есть свой угол "захвата" (как широко видит). Это можно понимать или сравнить с мыльницами с "рыбьим глазом" и фотоаппаратом с длинным объективом. Казалось бы фотоаппарат лучше (четче видит далеко расположенные мелкие предметы, типа как под увеличительным стеклом / под лупой), но с другой стороны мыльнице не нужен штатив, она не боится ваших "дрожащих" и "дергающихся" рук и тоже сможет видеть "мелочь", если приблизить её к объекту. А для малогабаритных квартир, где места не так уж много важно, что бы угол захвата был побольше (в разумных пределах).
Т.е. лучше, что бы вы нарисовали себе какойто чертеж наподобе, как я делал для кучки кинектов тут(в 2016м):

или тут:

Т.е. вам нужно будет определить, что будет видеть камера(камеры), и надо ли будет регулировать положение для другого клиента повыше или пошире.

Изменено 4 марта, 2021 пользователем arhimed

[arhimed]

Если хотите, что бы подешевле и можно было сканировать с реконструкцией, то берите кинект360.

И еще. Очень много зависит от вашего везения. Дело в том, что камеры могут по разному реагировать на помехи. И вам может просто повезти и ваша камера будет хорошо видеть при солнечном освещении и даже если рядом (в поле зрения камеры) будут блестящие предметы. А может и наоборот. Придется запрещать клиентам одевать черные блестящие лосины, закрывать окна и убирать все "блестяшки".
 

[T_T]

Приветствую всех!
Хочу задать вопрос про ПК. К каким компонентам (видео, процессор, память) наиболее требовательно ПО для сканирования и последующей работы?

Мой конфиг на данный момент:

 - intel Core i5 -9300 2.4GHz

 - память 8Гб

 - NVIDIA GeForce GTX 1050 Ti

При сканировании загрузка ЦП: 91-100%; память: 50-80%.

Насколько напрягается видео я не знаю.

Хочу увеличить вычислительную мощность, прошу форумчан посоветовать, как сделать лучше, увеличить мощность процессора и нарастить оперативку, или видео тоже критично?

[arhimed]

4 часа назад, T_T сказал:

вопрос

При сканировании загрузка ЦП: 91-100%; память: 50-80%.

Тут вроде самый слабый - процессор. Можете заменить, если материнка позволяет.
Память можете не добавлять, если не собираетесь вокселей еще больше обрабатывать. В этом процессе (реконструкция) важно размер памяти видеокарты и её мощность.

Видеокарты вроде сильно подорожали (говорят майнеры опять все скупили) - лучше подождать, когда цены станут адекватными.

 

И вообще... вы не написали какое у вас сейчас количество кадров успевает обрабатываться (фреймы). Если около 25 и более - можете не парится (все на пределе, а в два раза быстрее всеравно не получится), если менее 15 - можно сэкономить, записывая секвенцию (потом при реконструкции с секвенции все кадры успеют обработаться).

[T_T]

Здравствуйте arhimed!

Камера глубины 1280х720 30 fps

RGB камера на маленьких значениях. 

768 voxels

На таких параметрах идет реконструкция.

 

[Natamoda]

1 минуту назад, T_T сказал:

768 voxels

На таких параметрах идет реконструкция.

У меня на таких параметрах  идёт реконструкция секвенции.  Думаю, что при сканировании 768 вокселей - это слишком много. Большая нагрузка на компьютер.  С секвенцией гораздо проще.