Opracowanie i wdrożenie technologii automatycznego skanowania 3D obiektów dziedzictwa kulturowego

Informacja o efektach działalności naukowej mających znaczenie dla kreowania wpływu

Charakterystyka głównych wniosków z badań naukowych lub prac rozwojowych albo efektów działalności naukowej w zakresie twórczości artystycznej

Opracowane rozwiązanie technologicznego skanowania 3D z uwzględnieniem pomiaru obiektu o nieznanej geometrii pozwala na zautomatyzowanie całego procesu od momentu umieszczenia obiektu w objętości roboczej skanera do uzyskania końcowego modelu 3D wysokiej rozdzielczości. Dotychczas 

nie było prób automatyzacji tego typu procesów z wyjątkiem technologii CultLab3D (opracowanej przez Instytut Fraunhofera w Darmstadt), która zakończyła się niepowodzeniem w momencie testów przez użytkowników końcowych w środowisku muzealnym ze względu na zbyt słabą jakość cyfrowych odwzorowań wizerunków oraz brak zeskanowanych fragmentów powierzchni ze względu na brak możliwości zmiany kierunków obserwacji powierzchni obiektów.

Rozwiązanie opracowane przez zespół prof. Roberta Sitnika z Wydziału Mechatroniki Politechniki Warszawskiej maprzełomowe znaczenie, gdyż p

ozwoliło na swobodną manipulację systemem pomiarowym 3D wraz z wyznaczaniem kolejnych kierunków pomiarowych w trakcie procesu digitalizacji 3D dowolnie złożonego obiektu.

Fot.: Wzorce do wstępnej weryfikacji jakości odwzorowania skanerów 3D.

Główne wnioski z przeprowadzonych prac:

• • Zastosowane nowatorskie rozwiązanie pozwoliło na uwzględnienie obiektów o różnej i często skomplikowanej geometrii oraz opracowanie skutecznego sposobu dokumentacji geometrii powierzchni obiektów przestrzennych.

Opracowanie technik pomiaru 3D obiektów dziedzictwa kulturowego jest szansą na przeprowadzenie na dużą skalę digitalizacji 3D obiektów dla przyszłych pokoleń, a nie digitalizacji tylko wąskiej grupy wybranych obiektów przez wąską grupę ekspertów.

• Ponadto, pozwala na znaczne zmniejszenie kosztu digitalizacji ze względu na łatwość obsługi urządzenia, dzięki cze
  mu nie ma konieczności zatrudniania wysoko wykwalifikowanego technicznie personelu.
• Automatyzacja procesu digitalizacji poprawia jakość końcowych danych 3D w wyniku usunięcia wpływu operatora w całym procesie skanowania 3D. Ma to szczególne znaczenie w przypadku wykonywania dokumentacji o wysokiej rozdzielczości dla dużych (od kilku do kilkunastu razy większych niż objętość robocza stosowanej głowicy skanera 3D) i złożonych (ich pełna geometria jest niemożliwa do zeskanowania w prosty sposób ze względu na złożone kształty oraz fragmenty powierzchni, które są zasłonięte przez sam analizowany obiekt).
• Opracowane techniki pomiarowe pozwalają na uzyskanie skanów o wysokiej rozdzielczości do 10 000 punktów 3D na milimetr bez konieczności powtarzania pomiarów oraz błędów, które mogłyby powstać w procesie skanowania ręcznego. 

Rola podmiotu

Zespół z PW opracował rozwiązanie zautomatyzowanego skanera 3D od strony technologicznej i informatycznej (mechatronicznej przez łączenie mechaniki, elektroniki, optyki i oprogramowania), współpracując z Muzeum Pałacu Króla Jana III w Wilanowie (MW) oraz Akademią Sztuk Pięknych (ASP) w Warszawie (Wydział Konserwacji i Restauracji Dzieł Sztuki). Współpraca z ASP polegała na dostosowaniu systemu skanowania do potrzeb i wymagań konserwatorów dzieł sztuki (od strony użytkowej, bezpieczeństwa obiektów oraz przetwarzania danych pomiarowych do postaci użytecznej w ocenie stanu zachowania zabytku). Współpraca z MW polegała na opracowywaniu i weryfikowaniu funkcjonalności systemów digitalizacyjnych działających w praktyce muzealnej. Ważnym elementem badań były aspekt bezpieczeństwa obiektów w celu uniknięcie kolizją obiektu z systemem pomiarowym oraz zminimalizowanie energii (świetlnej oraz cieplnej) docierającej w trakcie skanowania do powierzchni obiektów.

Bibliografia

Sitnik, R.,Kujawinska, M., Woźnicki, M.J. (2002). Digital fringe projection system for large-volume 360-deg shape measurement. Optical Engineering, 41(2), 443-449. https://doi.org/10.1117/1.1430422

Prof. Robert Sitnik jako główny badacz i pomysłodawca zaproponował nowe i niskokosztowe rozwiązanie skanera 3D pozwalające na zmianę parametrów pracy i ponowną kalibrację w warunkach muzealnych (bezpośrednio na miejscu pomiarów). Przyczyniło się to do popularyzacji rozwiązań z zakresu skanowania 3D pozwalających uzyskać niepewności pomiaru rzędu 0,05mm dla obiektu o wymiarach do 0,5m.

Karaszewski, M., Sitnik, R., Bunsch, E. (2019). On-line, collision-free positioning of a scanner during fully automated three-dimensional measurement of cultural heritage objects. Robotics and Autonomous Systems, 60(9), 1205-1219. https://doi.org/10.1016/j.robot.2012.05.005

Prof. Robert Sitnik i mgr inż. M. Karaszewski (doktorant PW) wspólnie z mgr E. Bunschem (konserwatorem i pracownikiem MW) w interdyscyplinarnym zespole opracowali i opublikowali dojrzałą wersję zautomatyzowanego systemu pomiarowego oraz przetestowali są w warunkach muzealnych.

Sitnik, R., Krzesłowski, J., Mączkowski, G. (2012). Archiving shape and appearance of cultural heritage objects using structured light projection and multispectral imaging. OOptical Engineering, 51(2), 1-8. https://doi.org/10.1117/1.OE.51.2.021115

Zespół z PW zaproponował rozwinięcie metody skanowania geometrii powierzchni o równoległy pomiar barwy powierzchni z zastosowaniem techniki multispektralnej. Dzięki takiemu podejściu możliwe jest szersze dokumentowanie stanu powierzchni obiektów zabytkowych.

Karaszewski, M., Adamczyk, M., Sitnik, R., Michoński, J., Załuski, W., Bunsch, E., Bolewicki, P. (2013). Automated full-3D digitization system for documentation of paintings. Proc. SPIE 8790, O3AIV. https://doi.org/10.1117/12.2020447

Zespół z PW wspólnie z mgr E. Bunschem (konserwatorem i pracownikiem MW) w interdyscyplinarnym zespole opracowali i opublikowali dojrzałą wersję zautomatyzowanego systemu pomiarowego 3D wyspecjalizowanego do pomiaru geometrii i barwy powierzchni obrazów. Pomiary dokonywane były w warunkach muzealnych w pracowni 3D.

Fot.: Stanowisko badawcze do dokumentacji geometrii z wysoką rozdzielczością.

Siekański, P., Michoński, J., Bunsch, E., Sitnik, R. (2018). CATCHA: Real-Time Camera Tracking Method for Augmented Reality Applications in Cultural Heritage Interiors. ISPRS International Journal of Geo-Information, 7(12), 479, 1-19. https://doi.org/10.3390/ijgi7120479

Zespół z PW wspólnie z E. Bunschem (konserwatorem i pracownikiem MW) w interdyscyplinarnym zespole opracowali i opublikowali rozwiązanie z zakresu wzbogaconej rzeczywistości pozwalające na oglądanie na rzeczywistym obiekcie jego wizerunku wygenerowanego na podstawie poprzedniego pomiaru (na przykład kilka lat temu).

Charakterystyka wpływu na społeczeństwo

Opracowanie standardów i dobrych praktyk w zakresie digitalizacji 3D obiektów dziedzictwa kulturowego

Zakres międzynarodowy (Dowód 2 – wskazujący na zasięg europejski), beneficjenci (muzealnicy i właściciele obiektów planujący/realizujący działania digitalizacyjne), związek między działalnością naukową a wpływem (badania z zakresu digitalizacji spowodowały, że dwóch członków zespołu (Robert Sitnik ─ PW i Eryk Bunsch – Wilanów) stało się rozpoznawalnymi postaciami w środowisku polskim i również dzięki konferencjom i publikacjom międzynarodowym oraz projektowi EU COST COSCH, stali się także rozpoznawalni za granicą. Zostali oni zaproszeni do międzynarodowego zespołu roboczego w ramach struktur UE, w którym brali czynny udział w wypracowaniu rekomendacji/dobrych praktyk w procesach digitalizacyjnych w muzeach i prywatnych kolekcjach).

Zwiększenie obecności polskiego dziedzictwa kulturowego na arenie międzynarodowej w wersji cyfrowej

Zakres międzynarodowy (dowód nr 1 - wskazujący na zasięg światowy), beneficjenci (muzealnicy i zwykli obywatele zwiedzający muzea w sposób tradycyjny i cyfrowy), związek między działalnością naukową a wpływem (badania z zakresu digitalizacji 3D i jej automatyzacji spowodowały, że możliwe stało się wysoko rozdzielcze (do 10 000 punktów na milimetr kwadratowy) skanowanie złożonych geometrycznie obiektów zabytkowych, oraz ich udostępnianie w postaci cyfrowych z dużą dokładnością na ogólnodostępnych (przez internet) platformach typu Sketchfab).

Zwiększenie zasięgu technologii zautomatyzowanego skanowania 3D

Dowód nr 3 wskazuje na zasięg krajowy, beneficjentami są muzealnicy i prywatni właściciele obiektów zabytkowych. Badania z zakresu digitalizacji 3D i jej automatyzacji spowodowały, że powstała technologia pozwalająca na utworzenie cyfrowego odwzorowania 3D obiektu dziedzictwa kulturowego. Technologia ta była początkowo dostępna tylko dla interdyscyplinarnego zespołu badawczego, który ją opracował. W celu poszerzenia możliwości jej stosowania powstał interdyscyplinarny start-up Heritage Imaging Sp. z o.o., którego udziałowcem jest Politechnika Warszawska. Zadaniem start-upu jest wspomaganie procesów digitalizacji 3D z wykorzystaniem opracowanej technologii. Start-up aktualnie ukończył realizować duży projekt digitalizacyjny (dowód nr 3) i aktywnie poszukuje kolejnych, zaś wyniki projektu są udostępnione na platformie Sketchfab).

Interdyscyplinarność

Czy interdyscyplinarność miała kluczowe znaczenie na powstanie wpływu działalności naukowej na otoczenie? - TAK

Charakterystyka interdyscyplinarności

Opracowanie rozwiązania służącego do automatyzacji procesu digitalizacji 3D obiektów dziedzictwa kulturowego wymagało interdyscyplinarnych badań w trzech dziedzinach. Prace były prowadzone w interdyscyplinarnym zespole, w którym spotkali się reprezentanci inżynierii mechanicznej (specjaliści z zakresu mechatroniki, co pozwoliło na integrację w zakresie badań i prac rozwojowych obejmujących mechanikę, elektronikę, optykę i informatykę), sztuki – sztuki plastyczne i konserwacja dzieł sztuki (wiedza i rozwiązania z zakresu wiedzy o obiekcie, jego bezpieczeństwie oraz potrzebach dokumentacyjnym) oraz nauki o sztuce w tym muzealnictwa (wiedza z zakresu potrzebach muzealnictwa i wypracowywanie rozwiązań uzupełniających praktycznie już działających w muzeach). Dzięki utworzeniu takiego zespołu możliwe było opracowanie techniczne systemu oraz doprowadzenie do jego praktycznych zastosowań w warunkach muzealnych. Ważnym elementem jest aspekt bezpieczeństwa obiektów (możliwej ekspozycji światła, temperatury) i istotności dokumentacji poszczególnych cech obiektów zgodnie z potrzebami konserwatorów oraz muzealników. Dodatkowym czynnikiem są zagadnienia użyteczności danych zarówno dla muzeum (badania, dokumentacja i wizualizacja), jak i dla działów konserwacji (dokumentacja stanu obiektu, porównywanie dwóch lub więcej stanów – na przykład przed i po konserwacji; zagadnienia sposobów i metod porównywania tak aby były wprost przydatne do analiz bez specjalistycznej wiedzy i oprogramowania).

Fot.: Przykładowe stanowisko do wysokorozdzielczego skanowania 3D obiektów w terenie (zdjęcie wnętrza namiotu pomiarowego).

Decyzja

Punktacja wynikająca z oceny eksperckiej

78

Punktacja za znaczenie wpływu

25

Premia punktowa z tytułu interdyscyplinarności badań

Tak

Punktacja za zasięg wpływu

40

Uzasadnienie

Osiągnięciem jest rozwój technik digitalizacji informacji o geometrii obiektów przestrzennych, przy czym jego istotnym elementem jest automatyzacja procesu skanowania 3D, a obiektem są elementy zabytkowe. Osiągnięcie udokumentowano w formie 5 publikacji w czasopismach kilkuosobowego zespołu autorów. Osiągnięcia należy uznać za interdyscyplinarne, a nawet międzydziedzinowe, gdyż poza metodyką nauk inżynieryjno-technicznych (inż. mechaniczna, automatyka i elektronika) istotny był komponent sztuk plastycznych oraz konserwacji zabytków (wiedza o cyfrowych obiektach a zwłaszcza charakterystyce ich powierzchni, identyfikacja potrzeb w zakresie dokumentacji). Zasięg osiągnięcia udokumentowany jest znaczącym wpływem na polskie muzealnictwo (dowody, D1, D4 i D5)i należy uznać go za krajowy. Podano co prawda notkę D2 o współpracy grup ekspertów na poziomie europejskim w zakresie dokumentacji obiektów zabytkowych, nie dokumentuje ona jednak bezpośredniego związku z przedstawianym osiągnięciem naukowym. Osiągnięcia naukowe przedstawione do oceny wnoszą wkład w rozwój dyscypliny inżynieria mechaniczna, w zakresie konstrukcji i integracji podzespołów mechatronicznych z przeznaczeniem do skanowania obiektów kultury i sztuki. Jedno z osiągnięć wnosi wkład w rozwój dyscypliny sztuki plastyczne i konserwacja dzieł sztuki, w zakresie nowoczesnych metod archiwizacji dziedzictwa kulturowego oraz cyfrowego rozpowszechniania wiedzy o obiekcie. W podsumowaniu: zasięg wpływu jest krajowy - 40 pkt., znaczenie wpływu istotne - 25 pkt. Dodatkowo przyznano zwiększoną punktację o 20% z uwagi na interdyscyplinarność prowadzonych badań.

Komentarz PP:

Moim zdaniem zasięg wpływu ocenić można jako międzynarodowy (50 pkt). Świadczy o tym nie tylko udział autorów wpływu w międzynarodowym gremium, które opracowało zalecenia europejskie, ale także umożliwienie dostępu do wysokiej jakości skanów polskich zabytków osobom z zagranicy. Niewątpliwie przyczynia się to do propagacji polskiej kultury w świecie.

Znaczenie wpływu także ocenić można jako przełomowe (50 pkt). Jak zaznaczyli autorzy, jest to pierwszy na świecie system umożliwiający łatwą i niezawodną automatyczną digitalizację obiektów zabytkowych in-situ przez osoby nie będące inżynierami. Jest to osiągnięcie, które umożliwia bardzo szerokie zastosowanie wynalazku, do tej pory zdecydowanie ograniczone poprzez błędy urządzeń, powodujące konieczność ręcznej korekty danych. Prowadzi to do zasadniczej zmiany dotychczasowych praktyk postępowania.

Fot.: Przykładowe wizualizacje pomiarów z różnymi rozdzielczościami.

Odwołanie RS:

Uważamy, że znaczenie wpływu jest przełomowe. Motywujemy to tym, że jest to pierwszy na świecie system umożliwiający łatwą i niezawodną automatyczną digitalizację 3D obiektów zabytkowych in-situ przez osoby nie będące inżynierami i dodatkowo działające w sposób automatyczny. Pozwala to na realizację paradygmatu masowego digitalizowania 3D obiektów zabytkowych co dotychczas nie było możliwe ze względu na koszty oraz konieczność zaangażowania wykwalifikowanego personelu. Zatem, jest to osiągnięcie, które umożliwia bardzo szerokie zastosowanie wynalazku, do tej pory zdecydowanie ograniczone poprzez niedoskonałość rozwiązań powodującą konieczność ręcznego zarządzania całym procesem digitalizacji 3D. Prowadzi to do zasadniczej zmiany dotychczasowych praktyk postępowania.

Nie zgadzamy się też z oceną zasięgu wpływu i uważamy go za międzynarodowy. Świadczy o tym nie tylko udział autorów wpływu w międzynarodowym gremium, które opracowało zalecenia europejskie, ale także umożliwienie dostępu do wysokiej jakości skanów polskich i międzynarodowych zabytków osobom z zagranicy poprzez platformy internetowe takie jak Europeana oraz Skechfab. Niewątpliwie przyczynia się to do propagacji polskiej i europejskiej kultury w świecie.