Skip to end of metadata
Go to start of metadata

Charakterystyka usługi

Usługa przeznaczona jest dla wszystkich użytkowników, którzy chcieliby w bezpieczny sposób, długoterminowo przechowywać na gridzie duże ilości danych. Archiwizacja danych jest oparta o usługę Platon U4, która zapewnia trwałość danych przechowywanych w kilku kopiach geograficznie rozproszonych w celu zapewnienia niezawodności. Ponadto, dane przesyłane na przestrzeń dyskową w ramach usługi Platon U4 są szyfrowane zapewniając poufność danych użytkowników gridu.  

Dane przechowywane są z zapewnieniem odpowiedniego poziomu bezpieczeństwa i kontroli dostępu. Uprawniony użytkownik ma do nich dostęp z każdego komputera, na którym ma zainstalowany program dostępowy (czyli w praktyce - rozpakowany katalog z klientem systemu UNICORE). Każdy z uprawnionych użytkowników, może określić lokalizację danych, które mają być poddane archiwizacji. W dowolnym momencie, na życzenie użytkownika, dane mogą zostać przywrócone w określonej przez niego lokalizacji (w katalogu domowym lub w katalogu zespołu).

Za pośrednictwem systemu UNICORE, osoby pracujące w zespołach mają również możliwość pracy grupowej i współdzielenia danych. Więcej informacji na temat pracy z plikami znaleźć można w prezentacji o składowaniu danych poprzez system UNICORE.

Aktywowanie usług

Aby skorzystać z usługi, należy założyć konto w infrastrukturze PL-Grid (Zakładanie konta w portalu PL-Grid). Dostęp do danych odbywa się za pośrednictwem systemu UNICORE, niezbędne jest zatem również aktywowanie usługi UNICORE (Uruchamianie zadań przez UNICORE).

Ograniczenia w korzystaniu

Usługa ta w obecnej chwili jest dostępna tylko w ośrodku ICM, dlatego wszelkie dane wymagające dodatkowego archiwizowania należy przegrać do katalogu domowego lub katalogu grupy właśnie w tym ośrodku.

Pierwsze kroki

Wnioskując o usługę prosimy o zgłoszenie w systemie pomocy (https://helpdesk.plgrid.pl) informacji dotyczących planowanego wykorzystania przestrzeni dyskowej oraz ewentualnego zapotrzebowania na kopie zapasowe. Szczegóły zostaną wówczas ustalone z administratorem usługi. W ramach tej korespondencji ustalone zostaną dokładnie następujące informacje:

  • lokalizacja danych do archiwizacji,
  • częstotliwość przeprowadzania archiwizacji (jednak nie częściej niż raz na dobę),
  • maksymalna pojemność danych (jeśli dane we wskazanej lokalizacji przekroczą zadeklarowaną wartość, archiwizacja nie zostanie przeprowadzona).

Po zakończeniu ustaleń z administratorami, użytkownik sam kontroluje, które podkatalogi moją zostać dodatkowo zarchiwizowane. W tym celu, w określonej wspólnie z administratorami ośrodka lokalizacji danych, tworzy plik konfiguracyjny .storageService.config zawierający informacje o archiwizowanych podkatalogach. Zwracamy uwagę, że plik ten jest ukryty. W przypadku korzystania z klienta graficznego UNICORE, należy w zakładce Grid Browser skorzystać z opcji Show -> Files, a następnie odznaczyć opcję Hidden files (patrz rysunek poniżej). Następnie po odświeżeniu widoku katalogu plik powinien być widoczny.

Przykładowy plik konfiguracyjny prezentujemy poniżej.

backup.1 = RAW_DATA/
backup.2 = RESULTS/
backup.3 = IMPORTANT/

Wszystkie wymienione katalogi zostają zarchiwizowane. Podczas każdej archiwizacji tworzony jest nowy dziennik zdarzeń w postaci pliku storageService.log dostępny w tej samej lokalizacji co plik konfiguracyjny.

Kilka zasad i sugestii dotyczących pliku konfiguracyjnego.

  1. Każdy wpis powinien mieć unikalny drugi człon klucza (tzn.ciąg znaków znajdujący się przed znakiem równości a po znakach "backup."). W przeciwnym przypadku zostanie uwzględniony tylko ostatni wpis z danym kluczem. W powyższym przykładzie są to liczby naturalne od 1 do 3.
  2. Można określić maksymalnie 10 wpisów postaci backup.*.
  3. W przypadku zmiany klucza dla określonego podkatalogu należy mieć na względzie, że poprzednie wersje zarchiwizowanych danych zostaną wyczyszczone. Oczywiście zostanie utworzona nowa kopia danych, jednak nie będzie ona miała poprzedniej wersji.

Dostęp do zarchiwizowanych danych

W obecnej chwili głównym zadaniem usługi jest zarchiwizowanie danych dostępnych użytkownikowi lub grupie użytkownikom. W przypadku potrzeby dostępu do zarchiwizowanej wersji danych należy zgłosić takie zapotrzebowanie poprzez system pomocy Helpdesk: https://helpdesk.plgrid.pl/ (kolejka "Bioinformatyka") lub pisząc na adres: helpdesk@plgrid.pl.

Po otrzymaniu zgłoszenia administratorzy przywrócą zarchiwizowane dane w lokalizacji dostępnej dla użytkownika.

Zaawansowane użycie

Oprócz archiwizacji danych, usługa posiada także możliwość określenia katalogów, które podczas przeprowadzania archiwizacji są blokowane przed ich przypadkową modyfikacją lub usunięciem. Określenie tych lokalizacji przeprowadza się na tej samej zasadzie co dane poddawane dodatkowej archiwizacji. Jedyną różnicą jest prefiks wpisów w pliku konfiguracyjnym, którym jest blockChanges.*.

Sama operacja zablokowania modyfikacji danych polega na zabraniu praw do zapisu wskazanego katalogu (wraz z zawartością) wszystkim użytkownikom poza administratorem, który staje się właścicielem plików. Ponadto, wszystkie podkatalogi uzyskują tzw. sticky bit, który oznacza, że dowolny plik w tym katalogu może skasować tylko jego właściciel. Oczywiście, podczas kolejnej archiwizacji, prawa do nowych plików zostaną ograniczone również dla osoby, która te dane wgrała.

Wzorcowy plik konfiguracyjny z opisem i zakomentowanymi przykładami można zobaczyć tutaj: storageService.config.template.

Gdzie szukać dalszych informacji?

Pytania prosimy zadawać poprzez system pomocy: https://helpdesk.plgrid.pl/ (kolejka "Bioinformatyka) lub e-mailem: helpdesk@plgrid.pl. Więcej o systemie pomocy Helpdesk można znaleźć w rozdziale podręcznika: Helpdesk PLGrid

Z systemem UNICORE zapoznać się można poprzez szkolenia dostępne na stronie: http://alfred.mat.umk.pl/unicore. Szczególnie istotne informacje zawarte są w prezentacji: Storage.