1. Prototip al mediilor 3D interactive, complet functional;
  2. Prototip al sistemului de adnotari, complet functionalcu 3-5 milioane titluri pre-incarcate ;
  3. Prototip final al mediilor 3D, testat intensiv și complet functional;
  4. Prototip final de adnotari, testat intensiv și complet functional. Raport experiment pilot pentru cele mai accesate 100 titluri ;
  5. 1 brevet de inventie ;
  6. 2 articole stiintifice la conferinte sau jurnale ISI.
  • A fost dezvoltat prototipul inițial al Mediilor 3D interactive, cu următoarele funcții de bază:
  • spațiu virtual parțial cu o parte din clădiri modelate 3D și texturate (rezultate din reconstrucția 3D)
  • funcționare pe toate dispozitivele țintă: PC, web browser, VR (HTC Vive) și mobile (Android)
  • conectarea unui număr mare de utilizatori simultan: tehnologie tip MMO (massive multiplayer online), pot fi conectati sute chiar mii de utilizatori simultan, în funcție de capacitatea serverului
  • interacțiuni de bază: vizualizare 3D, avatar configurabil, mișcarea avatarului prin scenă, deschiderea de uși, quest-uri, ghizi virtuali
  • A fost dezvoltat  prototipul inițial al Sistemului de adnotări digitale pe cărți fizice, disponibil ca aplicație pe platforma mobila (Android) și oferind toate funcțiile de baza stabilite.
  • Au fost elaborate noi articole științifice, ajungându-se la un total de 8, din care 7 ISI, pe primele 2 etape.
  • Prototip initial al mediilor 3D interactive, functional (executabile +  instructiuni/descriere)
  • Prototip initial al sistemului de adnotari digitale, functional (executabile + instructiuni/descriere)
  • Toate articolele realizate până în prezent
Titlu, Autori, Conf/jurnal Status
LibQuest initial prototype – Mixed-reality quests to revitalize libraries and reading
Maria Anca Băluțoiu, Alexandru Grădinaru, Alin Moldoveanu, Florica Moldoveanu, Ana-Karina Nazare
Accceptat la conferinta “16th eLearning and Software for Education Conference – eLSE 2020”, ISI
publicat
Rapid Modelling Techniques for 3D Reconstruction of Historical Buildings, for Immersive Virtual Environments
Nazare Ana-Karina, Moldoveanu Alin, Moldoveanu Florica, Gradinaru Alexandru, Balutoiu Maria Anca, Asavei Victor
Accceptat la conferinta “16th eLearning and Software for Education Conference – eLSE 2020”, ISI
publicat
Socio-Collaborative Reading through AR-Annotations over Physical Books
Iulia Stănică, Alin Moldoveanu, Florica Moldoveanu, Alexandru Grădinaru, Maria Dascălu
Accceptat la conferinta “16th eLearning and Software for Education Conference – eLSE 2020”, ISI
publicat
Evolving the Very Act of Reading, with Socio-Collaborative Dimensions – AR-Annotations over Physical Books
Acceptat spre publicare in University POLITEHNICA of Bucharest Scientific Bulletin, Series C-electrical Engineering And Computer Science (jurnal ISI).
publicat

Realizări până în prezent

Aplicația pentru dispozitivele Android – “Lib2Life Annotations” – include în stadiul curent urmatoarele functionalitati (de bază și avansate):

  • creare cont, folosind email + parola, sau cont de social media (Facebook, Twitter sau Google)
  • adaugarea de carti favorite dintre cele existente in baza de date, manual sau prin scanarea si identificarea automata a ISBN-ului folosind camera telefonului
  • adaugarea de noi carti de catre utilizator, prin completarea campurilor cartii
  • rating-uri si comentarii pentru carti
  • recunoasterea automata a textului prin scanarea cu telefonul a paginii unei carti (folosind OCR)
  • adaugarea de adnotari de tip text, link si video (Youtube), insotite de topic-uri folosind hashtag (#)
  • vizualizarea adnotarilor adaugate pe pagina scanata a unei carti, folosind algoritmi de text matching (potential de patentare)
  • vizualizarea detaliilor unei adnotari, de unde se pot acorda rating-uri adnotarii, vizualiza si adauga comentarii (creand fire de discutie)
  • distribuirea adnotarilor pe mediile sociale (Facebook, Twitter, Whatsapp sau orice alta aplicatie instalata pe dispozitivul utilizatorului)
  • traducerea automata a adnotarilor si comentariilor in limba cititorului
  • corectia automata a imaginilor realizate de utilizator pentru adaugarea / vizualizarea adnotarilor
  • vizualizarea noutatilor („News feed”), cu activitatile cele mai recente ale utilizatorilor in aplicatie (crearea unui cont nou, adaugare de carti/adnotari, rating-uri acordate)
  • navigarea prin listele de adnotari si de carti folosind comenzile „search” si „sort by”
  • vizualizarea listelor de adnotari si de carti sub diferite aspecte (liste / grid / tabel)
  • vizualizarea tuturor adnotarilor asociate unui topic (#)
  • incarcarea de obiecte 3D si vizualizarea lor in realitate augmentata

Pe langa functionalitatile esentiale ale aplicatiei, in ultimele 3 luni au fost realizate o serie de functionalitati de optimizare a aplicatiei:

  • integrarea bibliotecii Retrofit pentru a imbunatati comunicarea dintre aplicatia client (Android) si server; au fost rezolvate bugurile aparute in urma acestei integrari;
  • adaugarea optiunii de deskew pentru corectia orientarii imaginilor – a fost dezvoltat un algoritm de corectie automata a rotatiei imaginilor capturate folosind camera dispozitivului; astfel, atat pentru adaugarea de noi adnotari sau pentru vizualizarea celor existente, algoritmul determina liniile de referinta pe baza carora va fi realizata rotatia (liniile cu text) astfel incat unghiul acestora dupa corectie sa fie cat mai aproape de 0 grade. Algoritmul este setat pentru a corecta orice rotatii de pana la 45 de grade (sens orar sau antiorar). Diferentele intre imaginile obtinute fara si cu deskew se pot observa aici (Figura 1 – a si b).

Figura 1 – Corectie automata imagine

a) Inainte de corectie

b) Dupa corectie, incluzand highlight-ul ancorei pe care va fi adaugata adnotarea

De asemenea, a fost demarat procesul de adaugare a functiilor avansate:

  • adaugarea optiunii de distribuire (share) pe mediile sociale – unul dintre indicatorii din Act. 3.14 a proiectului; distribuirea functioneaza in mod predefinit pe toate aplicatiile instalate pe dispozitivul utilizatorului si include functii personalizate pentru distribuire pe Facebook (Figura 2 a si b), Twitter sau Whatsapp; in cazul distribuirii pe Facebook, aceasta va deschide automat aplicatia in cazul in care ea este instalata pe dispozitiv, altfel se va deschide pagina de Facebook in mod web; in stadiul actual al prototipului, in cazul adnotarilor de tip text este inclus si un link catre APK-ul aplicatiei (de pe Google drive), ce va fi inlocuit cu link-ul catre magazinul Google Play (atunci cand aplicatia va fi lansata);
  • adugarea optiunii de traducere automata – adnotarile si comentariile sunt traduse (daca utilizatorul opteaza pentru acest lucru) din limba in care ele au fost realizate in limba in care telefonul utilizatorului este setat (detectata automat de catre aplicatie); aceasta functionalitate este realizata cu ajutorul modulului MLKit al Google;
  • integrarea API-ului pentru Twitter (login, distribuire adnotari sub forma de “tweets”) – acest modul este acum finalizat, fiind initial intarziat din cauza obtinerii tarzii a aprobarii de dezvoltare din partea Twitter.
  • adaugarea modulului de realitate augmentata – o componenta inovativa a aplicatiei, aceea de adaugare si vizualizare de obiecte 3D in realitate augmentata, asociate unei imagini detectate in carte; s-au integrat in aplicatie ARCore (pentru augmentarea imaginilor) si Poli (biblioteca 3D), ambele oferite de Google; utilizatorul poate selecta imaginea dorita dintr-o captura a paginii unei carti pentru a o salva intr-o baza de date (momentan locala pe dispozitiv); modulul de augmentare a imaginilor recunoaste imaginile salvate in baza de date si afiseaza modele 3D asociate acestora (fie prezente in aplicatie Figura 2 c – neindicat, dimensiunea aplicatiei ar creste mult – sau cautate in Poli – Figura 2 d); utilizatorul poate interactiona cu aceste obiecte 3D (scalare, rotire);