Page tree
Skip to end of metadata
Go to start of metadata

Krótki opis usługi

VeilFS jest przeznaczony dla wszystkich użytkowników infrastruktury PLGrid chcących ułatwić składowania danych pomiędzy dostępnymi ośrodkami i systemami. 

 

VeilFS jest wirtualnym sieciowym dyskiem ujednolicającym dostęp do danych przechowywanych na różnych systemach składowania danych, w szczególności na: Lustre, GPFS, NFS, Gluster i inne, oraz w różnych ośrodkach infrastruktury PLGrid. Dane użytkownika są integrowane w jednej wspólnej przestrzeni, która jest dostępna:
  • na maszynach dostępowych ośrodków, 
  • na węzłach obliczeniowych w czasie wykonywania obliczeń, 
  • na komputerach użytkowników.

Dostęp do danych użytkownika możliwy jest przy pomocy:

  • standardu POSIX - dane są prezentowane jako katalog w systemie plików, z którego można korzystać tak, jak z każdego katalogu lokalnego,
  • interfejsu graficznego dostępnego przez przeglądarkę internetową.
  • API RESTowego.

Aktywowanie usługi

Użytkownik chcący skorzystać z usługi VeilFS musi:

  • posiadać dostęp do infrastruktury PLGrid -> Rejestracja
  • zawnioskować o usługę VeilFS -> Aby aktywować usługę, postępuj zgodnie z instrukcjami zawartymi w Katalogu Aplikacji i Usług po uprzednim wyszukaniu usługi.
  • zalogować się do graficznego interfejsu systemu VeilFS, wykorzystując OpenID, dostępnego pod adresem https://veilfs.plgrid.pl.

Pierwsze kroki

VeilFS udostępnia dwa typy interfejsu użytkownika:

  • graficzny, dostępny poprzez przeglądarkę internetową,
  • tekstowy, jako wirtualny system plików w przestrzeni użytkownika.

Graficzny interfejs użytkownika

Po wejściu na stronę systemu - https://veilfs.plgrid.pl - powinna pojawić się informacja o konieczności zalogowania z wykorzystaniem OpenID PLGrid. Po kliknięciu na przycisk:

powinniśmy zostać przekierowani do portalu OpenID PL-Grid, gdzie użytkownika i hasło takie jak przy logowaniu się do Portalu PLGrid (możliwe jest również logowanie z wykorzystaniem certyfikatu wygenerowanego w Portalu PLGrid i załadowanego do przeglądarki internetowej).

Po poprawnym zalogowaniu dostępny jest panel użytkownika taki, jak widoczny na obrazku poniżej:

 

Zakładka "File manager"

Przedstawiony panel użytkownika składa się z następujących części:

  • pasek górny - zawiera odnośniki do głównych części systemu: "File manager" (przeglądarka plików), "Shared files" (zarządzanie plikami współdzielonymi); możliwe jest również przejście do strony opisującej profil użytkownika  oraz wylogowanie się z systemu 

  • pasek aktualnej ścieżki w strukturze katalogów oraz pole wyszukiwania


     
  • pasek akcji - dostępne akcje zostały omówione poniżej,


     
  • tabela z plikami - zawiera listę plików w aktualnym katalogu; wiersze elementów wyszukiwanych zostają podświetlone na zielono

Akcje dostępne z panelu użytkownika:

  •  - tworzenie nowego katalogu


     
  •  - dodawanie plików do systemu


     
  •  - dzielenie plików; po zaznaczeniu wybranego pliku (należy kliknąć fragment wiersza, znajdujący się poza obrębem ikony pliku lub nazwy pliku) i wybraniu tej akcji pojawi się informacja z publicznie dostępnym odnośnikiem do wybranego pliku, który można następnie udostępnić 


     
  • - zmiana nazwy
  •  - kasowanie
  • - wycinanie;  - wklej 
  • - zaznacz wszystkie; - odznacz zaznaczenie
  • - sortowanie plików za pomocą wybranego atrybutu
  • - zmiana sposobu wyświetlania z listy na siatkę elementów

Zakładka "Shared files"

W tej zakładce panelu wyświetlana jest lista plików aktualnie współdzielonych. Dla każdego wyświetlanego pliku możliwe jest sprawdzenie odnośnika pod którym jest dostępny publicznie oraz można zakończyć jego współdzielenie.

Interfejs użytkownika z linii poleceń

Poza Graficznym Interfejsem Użytkownika, dane przechowywane w systemie VeilFS dostępne są również na maszynach dostępowych (UI) do infrastruktury PLGrid oraz gridowych węzłach obliczeniowych (WN). Dostęp do danych umożliwiany jest przez moduł VeilClient będący częścią systemu VeilFS. VeilClient udostępnia interfejs CLI zgodny ze standardem POSIX. W ten sposób użytkownik może korzystać ze swoich danych w systemie VeilFS, tak jak gdyby były one przechowywane w lokalnym systemie plików.

VeilFS w Cyfronecie

Celem uzyskania dostępu do swoich danych składowanych w systemie VeilFS poprzez CLI użytkownik korzystający z klastra Zeus musi wykonać następujące kroki:

  • Zalogować raz do systemu VeilFS poprzez GUI. (https://veilfs.plgrid.pl). Jeśli użytkownik logował się już wcześniej, krok ten można pominąć.
  • Dodać moduł tools/veilclient:
$ module add tools/veilclient
  • Stworzyć katalog i podmontować system VeilFS, np:
$ mkdir veilfs
$ veilFuse veilfs

W ten sposób na obu typach maszyn użytkownik w swoim katalogu domowy otrzymuje dodatkowy katalog o nazwie "veilfs", który jest katalogiem użytkownika w systemie VeilFS. Przy pomocy tego katalogu użytkownik może wykorzystywać system VeilFS za pomocą standardowych metod operacji na plikach dostępnych w standardzie POSIX. Dodatkowo, w ramach katalogu użytkownika w systemie VeilFS użytkownik otrzymuje dostęp do swoich katalogów "grup".

Zaawansowane użycie

Klient linii poleceń może zostać użyty do zdalnego dostępu do systemu VeilFS z komputera użytkownika. W tym celu należy jako administrator zainstalować pakiet VeilClient-Linux (dostarczany w wersji pakietów instalacyjnych systemu Linux RPM i DEB) w systemie zgodnie z używanym menadżerem pakietów, np.

$ yum install VeilClient-Linux-<version>.rpm	

Obecną wersję pakietu można pobrać tutaj.

Dodatkowo należy umieścić w katalogu $HOME/.globus certyfikat i klucz prywatny które zostaną użyte do wygenerowania certyfikatu proxy. Certyfikat gridowy oraz potrzebny klucz prywatny należy uzyskać zgodnie z instrukcją. Jest to najprostszy i domyślny sposób użycia certyfikatu przez klienta VeilFS. Inne metody opisane są sekcji Konfiguracja. Klient wspiera również użycia proxy certyfikatu. 

Aby lokalny użytkownik mógł zamontować system plików VeilFS, musi należeć do grupy fuse. Użytkownik możemy dodać za pomocą następującego polecenia:

# gpasswd fuse -a plgusername

plgusername należy odpowiednio zastąpić właściwą nazwą użytkownika. 

Następnie można podmontować system VeilFS jako wirtualny system plików za pomocą komendy

$ veilFuse veilfs

gdzie 'veilfs' jest punktem montowania, tzn. wskazaniem na istniejący katalog w systemie.

Opcjonalnie można ustawić zmienną środowiskową CLUSTER_HOME na adres serwera systemu VeilFS - domyślnie można go nie podawać (tak jak w komendzie powyżej).

 

Od tego momentu można wykonywać standardowe komendy znane z systemu Linux, np. 'cp', 'mv', 'rm', 'ls'.

 

Katalogi grup użytkownika są dostępne analogicznie jak w przypadku klienta graficznego.

 

System plikowy VeilFS można odmontować za pomocą polecenia fusermount, np.:

$ fusermount -u veilfs

Konfiguracja

Zazwyczaj veilClient nie wymaga konfiguracji. Zaawansowani użytkownicy mają jednak możliwość zmiany konfiguracji poprzez zmienne środowiskowe lub poprzez plik konfiguracyjny. Jeśli zachodzi potrzeba zmiany w konfiguracji, to po zainstalowaniu programu VeilClient należy wykonać podane niżej komendy, a następnie zmienić opcje w pliku veilFuse.conf.

 

cd /usr/local/etc/
mv veilFuse.conf.default veilFuse.conf

 

Plik 'veilFuse.conf' przechowuje konfigurację domyślną. Każda z opcji znajdujących w tym pliku jest w nim dokładnie opisana. 

Integracja usług PL-Grid z VeilFS

Każda usługa w PL-Grid może się zintegrować z VeilFS jeśli będzie posiadała proxy certyfikat użytkownika. Obecnie VeilFS jest zintegrowany testowo z usługą kolejkową QCG.

Gdzie szukać dalszych informacji?

Wszelkie pytania/problemy prosimy kierować poprzez system Helpdesk https://helpdesk.plgrid.pl (kolejka VeilFS).

  • No labels