EGroupware è un sistema di collaborazione online, di livello enterprise, adatto per grosse, medie e piccole aziende. Necessita di PHP e di un DBMS, gira su molti sistemi operativi e supporta, riferendosi a quanto afferma Stylite (la compagnia che sviluppa Egroupware) diversi prodotti:

• Linux, Windows, *NIX
• Nginx, Apache, IIS, PHP
• MySQL, MaxDB, Postgres, MsSQL

Egroupware supporta il multidominio, cioè una installazione fisica, ma con diversi siti, ciascuno con uno specifico DB e configurazione individuali.
Questo articolo spiega come sia possibile installare manualmente EGroupware partendo dai pacchetti tarball/SVN. A installazione completata spiegherò, con un esempio pratico, l’aggiunta di due domini indipendenti in EGroupware.
L’installazione è possibile tramite pacchetti rpm o deb in modo totalmente automatico, ma ci possono essere situazioni particolari in cui è preferibile procedere manualmente. Questa guida si rivolge a quest’ultima casistica.

Introduzione

Questa guida si limita all’esposizione dell’installazione di EGroupware da tarball/SVN.
Farò un accenno sistemistico in merito ai pacchetti richieste e normalmente non installati dalle procedure automatiche della propria distro.
In merito alla gestione e alla personalizzazione di EGroupware farò solo un accenno come test e prova dalla corretta installazione. Per l’uso e la configurazione rimando alla documentazione di EGroupware.
La guida suppone un ambiente CentOS 6.3. Dovrebbe essere completamente valida anche per RedHat 6.3 e altre distro basate su RedHat come la Scientific Linux. Per completezza le istruzioni sono state testate su una installazione CentOS 6.3 con il set software predefinito “web server” e SELinux disattivato.
In fine i requisiti di sistema, richiesti da EGroupware, si possono trovare a questa URL: http://community.egroupware.org/index.php?page_name=wiki&lang=&wikipage=ManualSetupRequirements

Obiettivi

Voglio ottenere un’unica installazione di EGroupware con più domini. Il domini sono

stefano
luca
davide

La webroot dei file è

/srv/www/egroupware

la directory per i backup ed il virtual file system sarà

/srv/bak/egroupware

L’utente ed il gruppo con cui gira Apache sono “apache” (user) e “apache” (gruppo).
Come DBMS uso MySQL ed il database, il relativo utente e password per ciascun dominio EGroupware sono:

dominio EGroupware: stefano
DB nome: stefano
DB user: stefano
DB password: st13_FA!5

dominio EGroupware: luca
DB nome: luca
DB user: luca
DB password: lu31-RL$8

dominio EGroupware: davide
DB nome: davide
DB user: davide
DB password: da62=PZ&3

L’URL dell’installazione sarà http://www.example.com/egroupware.

Infine la procedura che descrivo viene svolta da terminale, come utente root, e da un web browser grafico.

Preparazione server

La personalizzazione consiste nell’installazione di alcune librerie PHP, di un programma di servizio e la personalizzazione di Apache.

Creazione directory base:

# mkdir /srv/bak
# mkdir /srv/bak/egroupware
# mkdir /srv/bak/egroupware/stefano
# mkdir /srv/bak/egroupware/stefano/files
# mkdir /srv/bak/egroupware/stefano/backup
# mkdir /var/lib/egroupware
# mkdir /srv/www
# chown apache:apache -R /srv/bak/egroupware

Creazione di una directory temporanea in srv. Servirà per alcune lavorazioni

# mkdir /srv/tmp

Installazione repository epel e PhpMyAdmin

Visto la grande utilità dei repository epel lo farò tramite il pacchetto offerto da questo repository.

# cd /srv/tmp
# rpm --import https://fedoraproject.org/static/0608B895.txt
# wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-7.noarch.rpm
# rpm -ivh epel-release-6-7.noarch.rpm
# rpm update -y
# yum install -y phpmyadmin php-mysql php-mbstring

Installazione di MySQL

# yum install mysql-server

Installazione librerie PHP necessarie

# yum install -y php-devel php-gd php-imap php-ldap php-odbc php-pear php-xml php-xmlrpc php-pecl-apc php-mcrypt php-mssql php-snmp php-soap php-tidy curl curl-devel perl-libwww-perl libxml2 libxml2-devel php-cli
# pear update-channels
# pear upgrade-all 
# pear install Archive_Tar Auth_SASL Console_Getopt Log Net_Sieve Net_Socket PEAR Structures_Graph XML_Feed_Parser XML_Parser XML_RPC XML_RSS XML_Util Net_IMAP
# yum install -y mcrypt php-mcrypt

Installazione di tnef:

# yum install -y tnef

Creazione del file /etc/httpd/conf.d/egroupware.conf

# vi /etc/httpd/conf.d/egroupware.conf
 
Con il seguente contenuto (il file originale è in egroupware/doc/rpm-build/apache.conf)
 
<pre lang="console">
# Apache and PHP configuration for EGroupware 
# 
# Many settings are required to have a # certain value for eGroupWare 
# to function reasonably, so only change something if you are sure. 
 
# this makes EGroupware available for all vhosts 
Alias /egroupware /srv/www/egroupware 
 
RedirectMatch ^/.well-known/(caldav|carddav)$ /egroupware/groupdav.php/ 
# iOS 4.3+ calendar requires that to autodetect accounts 
RedirectMatch ^(/principals/users/.*)$ /egroupware/groupdav.php$1 
 
<Directory /srv/www/egroupware/> 
  Options FollowSymLinks ExecCGI 
  AllowOverride None 
  Order allow,deny 
  Allow from all 
  DirectoryIndex index.html index.php 
  AddHandler cgi-script .cgi 
  AddDefaultCharset Off 
  php_flag file_uploads on 
  php_flag log_errors on 
  php_flag magic_quotes_gpc off 
  php_flag magic_quotes_runtime off 
  php_flag register_globals off 
  php_flag short_open_tag on 
  php_flag track_vars on 
  php_flag display_errors off 
  # E_ALL & ~E_NOTICE & ~E_STRICT = 8191 - 8 - 2048 = 6135 
  php_value error_reporting 6135 
  php_value max_execution_time 90 
  php_admin_value mbstring.func_overload 7 
  php_value memory_limit 128M 
  php_value session.gc_maxlifetime 14400 
  php_value include_path .:/usr/share/pear 
  php_admin_value open_basedir /srv/www/egroupware:/srv/bak/egroupware:/var/lib/egroupware:/tmp:/usr/share/pear:/usr/bin/zip:/srv/www/jpgraph:/usr/bin/tnef:/usr/bin/aspell:/usr/bin/crontab:/usr/share/fonts 
  php_value upload_max_filesize 64M 
  php_admin_value upload_tmp_dir /tmp 
  php_value post_max_size 65M 
  php_value max_input_vars 3000 
  <Files ~ "\.inc\.php$"> 
    Order allow,deny 
    Deny from all 
  </Files> 
</Directory> 
 
<Directory /srv/www/egroupware/phpsysinfo/> 
    php_admin_value open_basedir / 
</Directory> 
 
<Directory /srv/www/egroupware/gallery/> 
    php_admin_value open_basedir /srv/www/egroupware:/var/lib/egroupware:/tmp:/usr/share/pear:/usr/bin:/bin 
</Directory> 
 
<Location /egroupware/rpc.php> 
    php_admin_value mbstring.func_overload 0 
    Order allow,deny 
    Allow from all 
</Location>

Abilito la nuova configurazione

# service httpd restart

Installazione

Fase 1: download

Questa prima fase comporta il download dei file dal repository, l’estrazione dei file ed il loro posizionamento nella webroot.
Qui di seguito espongo lo scaricamento sia da SVN, sia dal repository standard per i tarball. Come ultimo passo espongo il download e l’installazione di JPgraph, un pacchetto per la creazione di grafici con PHP usato da EGroupware per disegnare i Gantt dei progetti.

Il download dei file può essere fatto attraverso due vie:

1. Download dei tarball: sono aggiornati alla data di pacchettizzazione.

   Mi posiziono nella webroot

   # cd /srv/www/

   Scarico i tarball

   # wget http://downloads.sourceforge.net/project/egroupware/eGroupware-1.8/eGroupware-1.8.004.20121024/eGroupware-1.8.004.20121024.tar.bz2 # wget http://downloads.sourceforge.net/project/egroupware/eGroupware-1.8/eGroupware-1.8.004.20121024/eGroupware-egw-pear-1.8.004.20121024.tar.bz2 # wget http://downloads.sourceforge.net/project/egroupware/eGroupware-1.8/eGroupware-1.8.004.20121024/eGroupware-gallery-1.8.004.20121024.tar.bz2 # wget http://downloads.sourceforge.net/project/egroupware/eGroupware-1.8/eGroupware-1.8.004.20121024/eGroupware-phpfreechat-1.8.004.20121024.tar.bz2

   Estraggo i file dai tarball

   # tar xfj eGroupware-1.8.004.20121024.tar.bz2 # tar xfj eGroupware-egw-pear-1.8.004.20121024.tar.bz2 # tar xfj eGroupware-gallery-1.8.004.20121024.tar.bz2 # tar xfj eGroupware-phpfreechat-1.8.004.20121024.tar.bz2

   Elimino i tarball

   # rm eGroupware-*

   Imposto il corretto proprietario e gruppo

   # chown apache:apache -R egroupware

2. Download via SVN: i file sono aggiornati all’ultima versione disponibile.
   Mi posiziono nella webroot

   # cd /srv/www/

   Scarico i file

   # svn checkout http://svn.egroupware.org/egroupware/branches/1.8/aliases/default .

   Imposto i corretti proprietari

   # chown apache:apche -R egroupware

Scaricamento di JPgraph

Mi posiziono in /srv/www

# cd /srv/www

Scarico il pacchetto

# wget http://jpgraph.net/download/download.php?p=5

Estraggo i file dal pacchetto

# tar xfz download.php\?p\=5

Correggo il nome della directory estratta

# mv jpgraph-3.5.0b1 jpgraph

Imposto il corretto proprietario e gruppo

# chown apache:apache -R jpgraph

Elimino il pacchetto scaricato

# rm download.php\?p\=5

Nota: usando wget per lo scaricamento del tarball non viene automaticamente usato il nome del pacchetto, ma viene dato il nome dell’url passata a wget per il download. Il pacchetto ottenuto è corretto, ma il nome è poco significativo.

Fase 2: configurazione preliminare

A questo punto ho tutti i file/programmi necessari. Anche Apache è correttamente configurato. Manca solo il database. Procedo con la creazione del primo database e poi con l’installazione guidata proposta da EGroupware. Quest’ultima controllerà che tutto l’ambiente sia correttamente configurato, creerà il file base di configurazione (header) e, successivamente, procedo con la configurazione del primo dominio.

Creazione del database

Il database che creo ha i seguenti estremi:

DB nome: stefano
DB user: stefano
DB password: st13_FA!5

La creazione attraverso PhpMyAdmin è autoesplicante, mentre procedendo da linea di comando si possono lanciare i seguenti comandi:

# mysql -u root -p
mysql> CREATE DATABASE stefano;
mysql> GRANT ALL PRIVILEGES ON stefano.* TO “stefano”@”localhost” IDENTIFIED BY “st13_FA!5″;
mysql> FLUSH PRIVILEGES;
mysql> EXIT

Il database e l’utente per il database sono pronti.

Installazione guidata

1. Da un desktop, o dalla console, apro un web browser e punto all’url http://www.example.com/egroupware . Seleziono la lingua e avvio il test di installazione

2. Il risultato riporta una lunga lista di riscontri

3. I vari warning li posso ignorare, ma è da correggere il “System/Locatime”. Edito il file /etc/php.ini

# vi /etc/php.ini

4. Correggo il parametro date.timezone come segue

[...]
date.timezone = “Europe/Rome”
[...]

5. Effettuo un nuovo restart del servizio apache

# service httpd restart

6. Rieseguo il test di EGroupware. Ora tutto è OK. Procedo cliccando su “Continue to the Header Admin”

7. Compilo la nuova form. Qui di seguito lo screeshot compilato coerentemente con l’howto. I campi sono ben commentati dalla Stylite stessa:

Nota 1: a titolo di esempio ho impostato le due password ed i due username con le stesse credenziali. In una installazione reale potrebbe essere opportuno diversificarle.
Nota 2: in questa fase ci possono essere dei problemi di scrittura automatica del file header. Se si verifica questo errore EGroupware automaticamente avverte e restituisce tutto il codice del file proponendo di scriverlo manualmente. Spesso, per ovviare il problema, è sufficiente correggere il proprietario e/o il gruppo della directory di EGroupware e impostare il permesso di scrittura per il proprietario. Il proprietario e il gruppo da assegnare sono quelli con cui si fa girare il webserver (per RedHat e le derivate è apache:apache).
Procedo cliccando su “Scrivi”.

8. Segue una pagina di conferma dell’avvenuta creazione del file di header

9. Clicco su “Continua” e accedo alla pagina di login per creare/gestire gli header ed il setup generale

10. Metto username e password nella parte “Setup/Config Admin Login” e accedo alla pagina di configurazione. EGroupware evidenzia subito che mancano tabelle valide nel database e ne propone la creazione . Clicco sul bottone “Installa”

11. A fine creazione la pagina di configurazione mi comunica l’avvenuta creazione (a parte messaggi diversi). Clicco sul bottone “ricontrolla la mia installazione”

12. A questo punto l’aggiornamento della pagina di setup mi conferma la creazione delle tabelle e mi comunica che manca la configurazione. Clicco sul bottone “Modifica la Configurazione Esistente”

13. La nuova form è ricca di svariati parametri e presuppone una buona conoscenza dei parametri del server e di quello che si vuole ottenere. Le impostazioni del server IMAP ed SMTP si riferiscono al mailing globale del sistema. A titolo di esempio riporto una configurazione possibile. A fine impostazione clicco sul bottone “Salva”

14. La nuova pagina mi informa che devo impostare l’account dell’amministratore del sito. Clicco sul bottone “Crea account amministratore”

15. Imposto l’account dell’amministratore del dominio “stefano” e clicco sul bottone “Salva”

16. A questo punto tutte le impostazioni base sono applicate. È possibile fare una selezione delle applicazioni disponibili all’interno di EGroupware. Cliccando su “Gestione Applicazioni” posso fare questa selezione, ma preferisco avere a disposizione tutte le applicazioni e agire, successivamente, attraverso i gruppi per selezionare le applicazioni a disposizione degli utenti.
A questo punto clicco su “Esci”

17. Ora clicco su “Indietro al Login Utente” per accedere alla pagina di login, lato utente, del nostro dominio

18. Prima di procedere al login come amministratore voglio ottenere che nel menu a tendina dei domini disponibili compaia “stefano” al posto di “default”.
Pertanto edito il file header.inc.php

# vi /srv/www/egroupware/header.inc.php

e modifico la riga “$GLOBALS['egw_domain']['default'] = array(” come segue

[...]
$GLOBALS['egw_domain']['stefano'] = array(
[...]

19. Ora, tramite il browser, accedo all’url http://www.example.com/egroupware . Autenticandomi con l’utente administrator (quello inserito al punto 16) posso iniziare la creazione dei gruppi, l’inserimento degli utenti, la configurazione delle applicazioni.

Conclusioni

In questo primo articolo ho descritto tutte le fasi necessarie all’installazione di Egroupware, nei prossimi approfondirò l’aspetto di configurazione ed i test case di funzionamento.

Nel panorama sistemistico attuale, il lavoro con macchine virtuali è oramai diventato prassi comune.
Con lo sviluppo di piattaforme hardware sempre più potenti e cariche di risorse, unite all’estrema accessibilità di grosse quantità di spazio disco (siano esse fruibili via dischi locali, NAS o SAN), oramai è possibile far convivere diverse macchine virtuali su singoli hardware fisici, permettendoci -finalmente- una reale suddivisione macchina/servizio a costi contenuti.

L’ambiente IT è pieno di soluzioni più o meno commerciali, a costi (generalmente) medio-alti e con pregi e difetti.

Linux non è da meno ed anche lui fornisce differenti soluzioni di virtualizzazione, quali Xen e KVM.

Unito a sistemi di gestione dei volumi (LVM) e capacità di replica evolute (DRBD), citando alcuni esempi, ci fornisce tutto il necessario per “spaccare” il nostro hardware reale in risorse da assegnare a server virtuali multipli.

Il principale problema, quando si parla di virtualizzazione, è quello di assicurare continuità ai servizi erogati dalle macchine virtuali, indipendentemente dall’hardware in cui si trovano.

Già, perché se prima la rottura di un alimentatore o di una scheda madre ci bloccava, per esempio, il server DNS, adesso la rottura dello stesso hardware può, potenzialmente, bloccare il server DNS, qualche web server, e magari anche il server di posta, creando danni estremamente maggiori.

In questo quadro rientrano sistemi più evoluti di virtualizzazione, che permettono di “spostare” le macchine virtuali su diversi hardware fisici, assicurando continuità di servizio anche in caso di guasti gravi.

Ed è qui che entra in gioco Ganeti.

Cos’è Ganeti
Riprendendo la definizione proposta dal sito del progetto Ganeti:

Ganeti è un tool di gestione per cluster di macchine virtuali costruito sopra tecnologie di virtualizzazione esistenti come Xen o KVM ed altri software Open Source

All’atto pratico, altro non è che una serie di script (prevalentemente scritti in python) che, utilizzando software Open Source disponibili su Linux, permettono di gestire cluster di macchine sulle quali risiedono diverse macchine virtuali. Queste macchine virtuali possono essere accese/spente indipendentemente, spostate da un nodo all’altro, etc.

Cosa utilizza Ganeti
Come dicevamo prima, Ganeti utilizza una serie di software e tecnologie Open Source già presenti su Linux per fornire un’interfaccia di semplice utilizzo che astrae le configurazioni e la gestione di questi tool.
Esattamente utilizza:

• Xen / KVM: questi due hypervisor vengono utilizzati per gestire le macchine e l’hardware virtuali;
• Linux Bridge: più che un tool è una feature del kernel Linux. Viene utilizzata per la gestione degli IP delle macchine virtuali, permettendo al sistema di rispondere tramite una singola interfaccia ethernet, a diversi IP relativi alle singole macchine;
• LVM: Logical Volume Manager. Viene utilizzato per gestire dei volumi che rappresentato i dischi delle macchine virtuali ed i dati interni di Ganeti stesso. E’ possibile anche lavorare su file semplici invece che su volumi, ma è fortemente sconsigliato vista la scomodità di gestire semplici file come dischi virtuali;
• DRBD: Viene utilizzato per gestire i mirror sui diversi nodi del cluster di Ganeti ed è la tecnologia principale che permette lo spostamento delle macchine virtuali sui diversi nodi;

E’ giusto sapere bene cosa si trova alla base di Ganeti poiché, se per un utilizzo normale difficilmente andremo ad utilizzare direttamente questi tool, in modalità particolari (o per risolvere grossi problemi sull’infrastruttura) potrebbe essere necessario lavorare a livello più basso di Ganeti, interagendo direttamente con gli hypervisor, i volumi o i mirror di DRBD.

Cosa posso fare con Ganeti?
Come vedremo una volta installato e configurato, Ganeti permette di eseguire una serie di operazioni quali:

• Creazione / Distruzione di macchine virtuali con risorse variabili
• Avvio / Spegnimento di macchine virtuali, con possibilità di boot normali o con live cd
• Spostamento di macchine virtuali tra diversi nodi, sia a caldo (macchina accesa) che a freddo (macchina spenta).
• Creazione di snapshot per eseguire backup, così come importazione ed esportazione di macchine virtuali anche tra cluster differenti

Alcune informazioni fondamentali su Ganeti che possono essere utili in fase di scelta della propria infrastruttura di virtualizzazione sono le seguenti:

• Tutti i software utilizzati da Ganeti, così come Ganeti stesso, sono Open Source. Questo vuol dire che non avremo costi di licenze e che potremo mettere mano (se necessario) al codice sorgente sia dell’insieme di script Ganeti, che dei singoli componenti che esso utilizza
• Sempre per questo motivo, non esiste un supporto “ufficiale” a Ganeti, anche se bisogna far notare che la comunità è molto forte, sia quella di Ganeti che quella dei singoli tool che utilizza
• Nonostante l’intera infrastruttura giri su Linux, con Ganeti è possibile sia creare macchine virtuali Linux che Windows, facendole coesistere nella stessa infrastruttura
• Il cluster di Ganeti è formato da almeno due nodi, ma può essere esteso per utilizzare un qualsiasi numero di nodi; i nodi del cluster possono essere aggiunti e/o rimossi senza dare disservizio e senza dover “spegnere” l’intero cluster (e le macchine virtuali presenti su di esso)
• Pur essendo consigliato, non è strettamente necessario che l’hardware dei vari nodi del cluster sia omogeneo; l’importante è che supporti le stesse tecnologie (a livello di Hypervisor almeno) e che se ne tenga conto in fase di distribuzione delle risorse sui vari nodi
• Ogni macchina virtuale fa riferimento -al massimo- a due nodi del cluster. Questo vuol dire che ognuna ha un nodo primario ed un secondario sul quale è abilitata al funzionamento. Questi nodi possono essere comunque modificati a caldo, andando a ridistribuire le risorse sul cluster

Conclusioni

Questa è solo un’introduzione all’argomento, nei successivi articoli della serie verranno approfonditi tutti gli aspetti relativi alla tecnologia Ganeti per arrivare all’implementazione di una soluzione realmente produttiva.

In questo articolo vedremo alcuni concetti basilari del file system Gnu\Linux e vedremo alcune analogie con Windows

Virtual File System (o VFS).

Lo spazio disponibile sull’hard disk , dove vengono archiviati tutti i file è organizzato in quello che viene definito un file-system.
Lo spazio disco è normalmente suddiviso in settori contigui di dimensione fissa(Impostata nella formattazione). Il sistema organizza questo spazio in modo da poter recuperare velocemente le informazioni memorizzate su

questi settori, anche se sono sparsi sul disco. In questo modo possiamo vedere un unico file anche se i settori che lo compongono sono più di uno.

(fig1)

Se nel nostro hard disk i file vengono frammentati possiamo avere un decadimento delle prestazioni. In windows è presente l’utility defrag per riorganizzare i blocchi, in Gnu\Linux questo processo è molto ridotto,  l’esigenza di riunire i blocchi è meno rilevante, per le prestazioni del sistema.

 L’albero dei file ed il Filesystem Hierarchy Standard

In un sistema unix-like,come Gnu\Linux, l’albero delle directory è unico: non troveremo quindi dei volumi come possiamo trovare in Windows.
All’avvio il kernel “monta” la directory radice dell’albero (ved figura 2), tutti le restanti periferiche ,verranno poi montati in opportune sotto directory della radice.

/boot   Contiene tutti i file necessari al procedimento di boot (immagini del kernel, del bootloader, ramdisk, ecc.)

/dev    Contiene i file di dispositivo, che permettono l’accesso alle periferiche. Il contenuto è nella maggior parte dei casi generato dinamicamente ed è montata su un    filesystem temporaneo che viene popolato in fase di avvio tramite udev.

/etc      Contiene i file di configurazione del sistema e gli script di avvio. Non deve contenere programmi binari e non pu` stare su un filesystem diverso da quello della radice.

/home  Contiene le home directory degli utenti.

/lib        Contiene le librerie condivise essenziali, usate dai programmi di /bin e /sbin, e deve essere sullo stesso filesystem della radice.

/media Contiene i mount point per i dispositivi rimovibili, come CDROM, floppy, chiavette USB, dischi USB o Firewire, ecc.

/mnt      Contiene i mount point per i montaggi temporanei ad uso dell’amministratore di sistema.

/opt       Contiene eventuali pacchetti software aggiuntivi. Può essere su qualunque filesystem. Un pacchetto deve installarsi nella directory /opt/package dove package e` il nome del pacchetto. All’amministratore è riservato l’uso di alcune directory opzionali: /opt/bin,  /opt/doc, /opt/include, /opt/info, /opt/lib e /opt/man. File variabili attinenti ai    suddetti pacchetti devono essere installati in /var/opt ed i file di configurazione in /etc/opt, nessun file attinente ai pacchetti deve essere installato al di fuori di queste   directory.

/proc  E’ il mount point standard del filesystem virtuale proc. Questo è un filesystem speciale che permette di accedere a tutta una serie di variabili interne al kernel (relative a parametri e impostazioni di tutti tipi) con l’interfaccia dei file.

/root    E’ la home directory dell’amministratore. Di norma la si mantiene nello stesso filesystem  della radice; il suo uso è opzionale ma questa è la collocazione consigliata.

/run     Presente solo nelle distribuzioni più recenti, viene utilizzata per mettere a disposizione fin dall’avvio una directory su cui viene montato un filesystem temporaneo e su cui  sono mantenuti i cosiddetti dati di run-time volatili.

/sbin    Contiene i programmi essenziali ad uso dell’amministratore del sistema (come init o fsck). Deve stare sullo stesso filesystem della radice. Vanno messi in questa directory solo i programmi essenziali per l’avvio del sistema, il recupero e la manutenzione dei filesystem.

/srv       E’ stata introdotta per mantenervi i dati relativi ai vari servizi che possono essere stati installati su una macchina (come ad esempio le pagine servite da un web server) che . L’architettura di un sistema GNU/Linux in precedenza venivano installati direttamente sotto /var. Non ne è definita una ulteriore suddivisione, ma in genere si tende a creare una sottodirectory per ciascun servizio (ad esempio www, svn, ecc.).

/tmp     La directory viene usata per mantenere file temporanei. Viene cancellata ad ogni riavvio, ed i programmi non devono assumere che i file siano mantenuti fra due esecuzioni successive.

/usr   E’ la directory principale che contiene tutti i programmi i file ed i dati non variabili, che possono anche essere condivisi fra pi` stazioni di lavoro. Può essere montata su un filesystem separato rispetto a / e può essere montata in sola lettura. Prevede una ulteriore gerarchia di directory in cui i vari file vengono organizzati; lo standard
richiede obbligatoriamente le seguenti:

• bin contiene i programmi usati dall’utente installati direttamente dal sistema (o dalla distribuzione originale). Non pu` essere ulteriormente suddivisa.
• include contiene tutti i file di dichiarazione delle funzioni di libreria usati dal compilatore e dai programmi C e C++
• lib contiene le librerie, file oggetto e binari relative ai programmi di bin e sbin. Può contenere sottodirectory con tutti i file relativi a singoli programmi.
• local contiene una replica della gerarchia di /usr dedicata ai file installati localmente dall’amministratore. In genere qui vengono installati i programmi compilati dai sorgenti e tutto quello che non fa parte della distribuzione ufficiale.
• sbin contiene i programmi per la gestione di sistema ad uso dell’amministratore non essenziali all’avvio.
• share contiene una gerarchia in cui sono organizzati tutti i file e i dati che non dipendono dall’architettura hardware: sono sempre obbligatori man per le pagine di manuale, e misc; se installati vi possono trovare anche una serie di altre directory come: dict per i dizionari, doc per la documentazione, games per i dati statici dei giochi, info per i file del relativo sistema di help , terminfo per il database con le informazioni sui terminali, zoneinfo per i dati relativi ai fusi orari (per l’elenco completo si consulti il sito citato). Deve essere posto dentro misc tutto quello che non viene classificato nelle altre directory opzionali. Mentre sono obbligatorie solo se i relativi pacchetti sono installati, le seguenti directory.

/var  Contiene i file variabili: le directory di spool, i file di log, i dati transienti e temporanei,in modo che /usr possa essere montata in sola lettura. E preferibile montarla in un
filesystem separato; alcune directory non possono essere condivise. Anche in questo caso i file sono organizzati in una ulteriore gerarchia standardizzata che prevede la
presenza delle seguenti sottodirectory:

• cache dati di appoggio e memorizzazione temporanea per le applicazioni.
• lib informazioni di stato e dati delle applicazioni.
• local dati variabili relativi ai pacchetti di /usr/local.
• lock file di lock, se si usa /run è un collegamento simbolico a /run/lock.
•  log file di log delle applicazioni.
• opt file variabili per i pacchetti di /opt;
• spool directory per le code contenenti i dati in transito delle applicazioni (lavori di stampa, posta elettronica, ecc.);
• tmp file temporanei non cancellati al riavvio del sistema.

a queste si aggiungono tradizionalmente altre directory, come /var/backups, /var/cron, ecc. non indicate dallo standard.

Maggiori dettagli: documento ufficiale di definizione del FHS, disponibile all’indirizzo http://www.pathname.com/fhs/.

questo è un riassunto grafico:

(fig2)

Alcune analogie Windows Gnu\Linux

Risorse del Computer Windows	Computer Gnu\Linux Mint

Contenuto disco C:\ in Windows	Contenuto File System

Cartella Programmi Windows.	Cartella delle configurazioni dei programmi “etc”

Cartella Utenti.	Cartella Home

Cartelle del profilo Utente.	Cartelle personali Utente.

Alcune differenze pratiche fra Windows e Linux nella gestione dei file.

Dalle proprietò del file se è presente un flag in “Nascosto” ilfile non viene visualizzato se non è attivato il visualizzafile nascosti.	Se il file inizia con un punto,questo viene nascosto. Significache se non è attivato il visualizza file nascosti non vedremo ilfile.

Le estenzione del file determina quale programma verrà utilizzato per il suo utilizzo. Es: nome.pdf verrà utilizzatoacrobat reader per visualizzarlo.	Linux riconosce i tipi di file usando il ‘magic number’, vale adire una sequenza di byte presente all’inizio del file. Così, adesempio, se all’inizio del file la sequenza ’0xffd8′,file in questione è un’immagine in formato jpeg, a prescindere dall’estensione che può avere.

In questa seconda puntata dedicata a Virtualbox vengono trattate le fasi necessarie alla creazione di una macchina virtuale insieme alla creazione e gestione degli snapshot.

Per creare e gestire una nuova macchina virtuale utilizzando VirtualBox possiamo seguire questi semplici passaggi. Una volta installato VirtualBox possiamo creare una nuova macchina virtuale: per farlo, è necessario lanciare il programma e selezionare il pulsante “nuova”, come mostrato qui sotto.

Dal pulsante in alto a sinistra “nuova” iniziamo la procedura di creazione della V.M.

Il secondo passaggio ci permette di selezionare l’hardware virtuale, ottimizzato per il sistema operativo che andremo a creare. Nell’esempio sopra ho scelto Windows 8.

La memoria a disposizione per la Virtual Machine dovrà avere un valore congruo alla ram a disposizione sul computer nel quale è installato VirtualBox.

Nel passaggio successivo scegliamo se creare un nuovo hard disk oppure utilizzarne uno già presente.

In questo passaggio possiamo decidere il formato del disco virtuale.  Il formato VMDK è quello utilizzato da Vmware, VHD è il formato microsoft. Se in questo passaggio scegliamo VMDK ed in futuro porteremo questa macchina virtuale in ambiente VmWare non sarà necessario fare alcuna conversione.

Nel passaggio successivo scegliamo come verrà gestito il formato del disco. Allocato dinamicamente permette di risparmiare spazio sull’hard disk del pc che esegue VirtualBox.(Guest) Es: alla nuova macchina virtuale facciamo un hard disk da 200gb e diamo dimensione fissa. Verrà creato un file con dimensione 200gb.

Se invece scegliamo “Allocato dinamicamente” il file potrà arrivare ad un massimo di 200gb, ma la dimensione cambierà in base a quanti dati sono presenti sulla nuova macchina virtuale.

In questo passaggio definiamo la dimensione dell’ hard disk virtuale e della relativa posizione.

Adesso l’hardware virtuale è stato definito. Apriamo VirtulBox selezioniamo la macchina virtuale dal pannello di sinistra e selezioniamo settings.

Da qui si possono modificare le caratteristiche dell’hardware virtuale.

Una sezione molto importante è quella della rete. Nel menu “nome” selezioniamo la scheda di rete fisica sulla quale si appoggeranno le configurazioni della rete virtuale.

Dalla finestra sopra possiamo scegliere quante schede di rete virtuali avrà la nostra V.M inoltre possiamo schegliere anche la modalità operativa.

• Modalità NAT. VirtualBox assegnerà alla macchina virtuale un indirizzo Ip Privato. Con questa configurazione la Macchina Virtuale avrà accesso ad internet,ma gli altri host della rete non potranno accedere alla V.M.  Questo significa che questa V.M. potra accedere ad Internet o nelle cartelle condivise della rete, ma non potrà offrire i propri servizi alla rete, quindi se condividiamo una cartella nella V.M. nessuno potrà raggiungerla.
• Modalità Scheda con Bridge. La scheda di rete della V.M. può ricevere un indirizzo appartenente alla classe esistente.Se è presente un DHCP questo fornirà un indirizzo come farebbe per un nuovo pc della rete. In questa modalità possiamo accedere alle risorse delle rete e la rete può accedere alle risorse della V.M.
• Modalità Scheda solo host.  Usa un device di rete dedicato, chiamato vboxnet0: tale device sarà responsabile dell’assegnazione degli IP. Il sistema host diventa un router. IP vengono assegnati dalla vboxnet0 alle macchine virtuali. In questa configurazione si possono allestire reti private all’interno delle quali le V.M. possono vedersi senza però necessariamente dover accedere a risorse esterne (ad esempio la rete Internet).
• Modalità Rete interna. Simile alle opzioni NAT + Scheda solo host. In questo caso, però, lo scambio di dati può avvenire esclusivamente all’interno della rete virtuale creata tra macchine virtuali, senza alcun dialogo con il sistema host. Questo significa che le V.M avranno una LAN privata , senza alcun accesso “al mondo esterno”.

Nella sezione cartelle condivise possiamo impostare una cartella che risulterà visibile dalle V.M. ed il sistema host. ( VirtualBox). Questo ci permette di scambiare file fra host e V.M anche senza una configurazione di rete appropriata.

Dobbiamo scegliere il percorso , il nome e le opzioni di sola lettura e Montaggio automatico.

Una volta terminato il setting dell’hardware virtuale possiamo avviare la macchina virtuale(V.M.) e procedere con l’installazione del sistema operativo.

Possiamo avviare l’installazione facendo avviare la V.M da CdRom oppure da un immagine ISO del sistema operativo. Per l’installazione seguiamo la normale procedura richiesta dal sistema operativo.

Al termine possiamo avere il nostro “host che esegue la nostra V.M come un programma”.

Nell’immagine sopra possiamo vedere l’host Gnu\Linux Mint che esegue un V.M windows Xp.

Per l’host GNU\ Linux la macchina virtuale è un processo(PID 4243) se chiudiamo quel servizio windows Xp si ferma oppure se l’host si blocca anche windows xp si blocca.

In pratica abbiamo due sistemi operativi completamente separati e possono utilizzare tutte le proprie potenzialità . Il cattivo funzionamento di una delle due potrebbe compromettere il funzionameto dell’altra.

L’intero sistema operativo e hardware virtuale si riduce a pochi file.

Il file xp.vbox definisce l’hardware virtuale, il file xp.vdi definisce l’hard disk virtuale. L’estensione dell’hard disk virtuale dipende dalle nostre scelte nel passaggio n.5 dell’installazione.

Snapshot. Istantanea.  Rappresenta una fase di lavoro che si vuole “fermare” nel caso che le variazioni che si stanno per compiere non ci soddisfino. Le snapshot consentono quindi di vedere versioni alternative di una stessa V.M. , per poter scegliere la migliore.

Esempio:

Nella V.M. XP che abbiamo creato facciamo una cartella test sul desktop. Adesso creiamo una snapshot.

Quando creiamo una snapshot, virtualbox divide il nostro hard disk virtuale facendone uno nuovo. Se guardiamo nella cartella snapshot lo possiamo vedere

Possiamo creare quanti snapshot vogliamo in modo da avere più versioni della V.M.. Dobbiamo tenere presente che gli snapshot richiedono risorse in termini di velocità e spazio disco per l’host.

Dalla schermata principale di VirtualBox possiamo vedere e gestire gli snapshot. Sotto abbiamo lo stato attuale.

Adesso eliminiamo la cartella test dalla V.M.

In questo momento abbiamo uno stato attuale della V.M. senza cartella test , ma uno snapshot iniziale dove era presente la cartella test. Adesso ritorniamo allo stato iniziale con cartella test e nessuno snapshot.

Arrestiamo la V.M. Selezioniamo istantanea e premiamo il pulsante “ripristina istantanea” con la freccia rossa.La necessitò di dover arrestare la V.M. dipende da come abbiamo formattato l’hard disk del sistema host se creiamo le V.M su una partizione LVM è possibile fare tutte le operazioni a caldo.

Istantanea1 contiene la cartella test. Stato attuale non contiene la cartella test.

Ci verrà richiesto di creare un nuovo snapshot

Se togliamo la spunta “Crea un’istantanea…” non verrà creata una seconda istantanea.

Lo stato dei files nella cartella snapshot

Istantanea 1 contiene la cartella test. Istantanea2 contiene la cartella test. Stato attuale contiene la cartella test.

Adesso che abbiamo detto a virtualbox che vogliamo ripristinare la prima istantanea  possiamo selezioniare Istantanea 2 ed eliminarla con il pulsante con la X rossa. A termine possiamo fare la stessa cosa con Istantanea1

Riavviamo la V.M ed avremo una V.M. con la cartella test e nessuno snapshot.

Se invece vogliamo mantanere l’eliminazione della cartella test basta selezionare elimina istantanea senza necessità di spengere la V.M

Facendo in questo modo viene consolidato l’hard disk virtuale iniziale “xp.vdi” con lo snapshot creato.

In altre parole:

Se dall’hard disk iniziale(turchese) creiamo uno snapshot (giallo) la V.M. farà tutte le modifiche in questo disco virtuale(giallo), quindi se eliminiamo una cartella o installiamo un aggiornamento lo faremo in questa parte. Adesso, se decidiamo di mantenere le operazioni svolte, basterà eliminare lo snapshot a V.M. accesa e verranno consolidate le modifiche fatte (giallo) nel disco principale (turchese).

Se invece decidiamo di non mantenere le modifiche fatte, dobbiamo eliminare le modifiche dello snapshot

Ultime considerazioni, come abbiamo visto la macchina virtuale è formata da pochi files, salvando o spostando questi file su altri computer che eseguono VirtualBox possiamo copiare o spostare la V.M. Windows Xp del nostro esempio.

Quando chiudiamo la finestra della macchina virtuale ci viene chiesto se salvare lo stato oppure arrestare. Quando si salva lo stato praticamente la V.M. rimane sospesa nella stato in cui si trova.  In questo modalità quando sblocchiamo la V.M. non dobbiamo attendere l’avvio del sistema operativo.

Ecco la terza parte del del seminario di miamammausalinux.org, intitolato “Evoluzione della virtualizzazione su su Linux” che si è svolto nella giornata del 29 giugno 2012, presso l’hotel Holiday Inn di Rho.

In questo video vengono trattate nel dettaglio le tecnologie impiegate per la virtualizzazione, con approfondimenti sul modulo KVM, il sistema Libvirt e l’emulatore QEMU.

Parte tre – “Presentazione ed introduzione al seminario”:

La serie completa dei video di questo seminario:

• Seminario “Evoluzione della virtualizzazione su Linux”: video uno e due – “Introduzione” e “Virtualizzazione”
• Seminario “Evoluzione della virtualizzazione su Linux”: video tre – “KVM, Libvirt e QEMU”

Il canale Youtube di MiaMammaUsaLinux: http://www.youtube.com/user/MiaMammaUsaLinux

Un ringraziamento particolare a Lorenzo, per il costante e preziosissimo supporto video che ci ha permesso di condividere l’evento con quanti non sono riusciti a partecipare.

Buona visione!

Premessa:
Queste informazioni provengono dal forum facilewifi.eu, io le ho solo riunite ed ho cercato di fare una procedura eseguibile da chiunque. Ringrazio gli Admin del forum e gli utenti che hanno condiviso le loro esperienze.
Non mi assumo nessuna responsabilità, fate tutto a vostro rischio e pericolo.

A chi può interessare:

Chiunque abbia una vodafone station con le specifiche sotto riportate e la vuole utilizzare con un operatore diverso da Vodafone e Fastweb.

Modello: EchoLife HG553
Vers. hard.: HG55MAGV VER.A
Vers. soft.: EchoLife_HG553V100R001C06″”B070SP09″”
Per visualizzare queste informazioni digitiamo in un browser 192.168.1.1 e nella videata principale troviamo i dati.

Quali vantaggi otteniamo:

La Vodafone Station è un dispositivo huawei. Ha molte funzionalità che non si trovano nei modem\router standard. Gestisce connessioni ADSL standard e all’occorrenza con chiavina usb per connessioni UMTS.Questo in modalità trasparente per il client, quidi chi naviga non deve modificare niente sul computer. Questa funzione può tornare comoda anche nel caso si abbia una connessione solo con Internet Key, ma vogliamo collegare ad internet più computer.
Si può collegare una memoria USB e condividerla con i client. Permette la gestione di un Server DHCP, permette un accesso SSH e molto altro.
Attualmente il firmware disponibile è il B070SP09.

Di cosa abbiamo bisogno:

•  Vodafone Station

Modello: EchoLife HG553
Vers. hard.: HG55MAGV VER.A
Vers. soft.: EchoLife_HG553V100R001C06″”B070SP09″”

•  4 resistenze da 100hom 1\4 di watt.  (circa 0,5€)  
•  1 connettore per porta parallela.        (circa 1€)
• 1 saldatore a stagno.                             (circa 10€)
• cavo.
  

   

• Software:

•  tjtag3  
•  alice_debrick
•  cfe.bin   
•  software b_21 spagnolo o simili\derivati.

 (Nota: in questi giorni i link indicati hanno problemi di accessibilità. Qui trovate il software necessario. )

Per eseguire lo sbocco della Vodafone Station dobbiamo collegare un cavo Jtag alla Main Board. Non dobbiamo fare i cavi  più lunghi di 10-15cm

Identifichiamo il connettore della Main Board evidenziato come 1B rosso.

 Seguiamo questo schema per il collegamento.

Il connettore per parallela ha la pedinatura segnata sotto i piedini dove andremo a saldare i cavi.

 Al termine avremo una cosa simile a questa.

Adesso creiamo una cartella “vs” in “c:\” e scompattiamo l’archivio giveio.zip jtag.zip e alice_debrick03.zip facciamo in modo che tutti i files siano in “c:\vs”.

Adesso colleghiamo il cavo alla porta parallela del pc e accendiamo la V.S.

Andiamo nella cartella c:\vs e facciamo doppio click sul file “LOADDRV.exe” digitiamo “c:\vs|giveio.sys” in seguito premiamo install e start.

Questo passaggio ci permette di caricare il driver per il funzionamento del cavo Jtag.

Verifichiamo il funzionamento. Per farlo apriamo un prompt di DOS. Da start -> esegui -> CMD:EXE  e premiamo invio.

Digitiamo “cd\” e premiamo invio. Adesso “cd vs” epremiamo invio. Dopo ogni comando è necessario spengere e riaccendere la Vodafone Station.

Adesso digitiamo tjtag3.exe -probeonly

Se il risultato è come quello sotto è necessario rivedete i passaggi sopra,collegamenti, saldature ecc.

Se abbiamo un messaggio positivo possiamo procedere oltre.

Eseguiamo un salvataggio della CFE con il comando

terminato possiamo procedere con la formattazione della CFE

e riscriviamola

se procede tutto per il meglio vedremo una schermata come questa.

 Adesso apriamo il browser all’indirizzo 192.168.1.1 , vedremo una schermata dove ci chiede di caricare il firmware desiderato.

scegliamo il firmware “HG553kisumu 260111.bin” o quello che abbiamo scelto premiamo il tasto update software.

Attendiamo quelche minuto. Se abbiamo scelto il firmware “HG553kisumu 260111.bin” riavviamo la Vodafone Station.

Cambiamo l’ip del computer e mettiamo questi parametri:

ip: 192.168.0.5  subnet 255.255.255.0

gateway: 192.168.0.1 DNS non importa per il momento.

Apriamo il Browser sull’indirizzo http://192.168.0.1   ci verra chiesta User: admin  Password: VF-EShg553

Adesso abbiamo pieno accesso alla Vodafone Station con nuovo firmware.

La virtualizzazione consiste nella riproduzione virtuale di una risorsa normalmente fornita fisicamente. Nel mondo dei computer è un qualcosa di applicabile sia al software che all’hardware. In ambiente desktop i programmi più utilizzati sono VmWare Workstation e virtualbox. Entrambi i software sono installabili in ambienti Windows e GNU\Linux.

VMware offre una versione gratuita chiamata VMware Player che permette di eseguire macchine virtuali.VMware Player manca di molte caratteristiche avanzate, connessioni remote a vSphere, collegamento di vSphere, istantanee multiple ,Clone e molto altro ancora. Se vogliamo avere tutte le caratteristiche dobbiamo acquistare la versione WorkStation.

Virtualbox come funzionalità è possibile paragonarlo alla versione WorkStation di VMware. Virtualbox è completamente gratuito.VirtualBox è un software di virtualizzazione commerciale proprietario (con una versione ridotta distribuita secondo i termini della GNU General Public License) per architettura x86 che supporta Windows, GNU/Linux e Mac OS X come sistemi operativi host, ed è in grado di eseguire Windows, GNU/Linux, OS/2 Warp, OpenBSD e FreeBSD come sistemi operativi guest. VirtualBox supporta la soluzione per la virtualizzazione hardware di Intel VT-x ed, in via sperimentale la soluzione di AMD, AMD-V.

Questo software ci permette di avere sul nostro client macchine virtuali. Significa che possiamo lavorare con il nostro Windows Seven oppure Ubuntu e far avviare una macchina virtuale per eseguire test con Windows XP o Suse Enterprise ecc.

Note preliminari

Per quanto riguarda le licenze Microsoft in merito alla virtualizzazione in giro si trovano risposte contrastanti. Per installazioni GNU\Linux invece siamo molto più liberi.

Faccio un esempio:

Portatile acquistato con windows preinstallato, abbiamo una  Licenza Seven OEM.

Ciò significa che se facciamo una macchina virtuale e la spostiamo su un’altro pc che esegue un software di virtualizzazione violiamo le licenze di Microsoft. Inoltre stiamo utilizzando due licenze, perchè di fatto abbiamo due macchine distinte.

Riporto sempre una faq presa da microsoft.com

Utilizzando software sistemi GNU\Linux possiamo ignorare le questioni di licenza. Fatte le dovute premesse di carattere legale, passiamo alla parte pratica.

Installazione

Le videate e i comandi sono presi da un sistema Debian 6. La maggior parte dei sistemi client derivano da Debian quindi, le guide sono valide anche per le derivate come Ubuntu , Mint ecc.

Installiamo l’ultima versione disponibile di Virtualbox e   scarichiamola
(note queste indicazioni sono valide anche per versioni differenti)

da qui scegliamo la nostra distribuzione, oltre alla versione a 32 o 64bit in base all’hardware che abbiamo e del sistema operativo installato. Una volta scaricato avremo un pacchetto con estensione .deb facciamo click con il destro e selezioniamo “Apri con Gdebi Package Installer”

verrà richiesta la password per avere i permessi

in seguito avremo una finestra di riepilogo dove faremo click su “installa pacchetto”

Al termine l’installazione sarà completata. Adesso scarichiamo anche il pacchetto per aggiungere funzionalità al virtualbox (VirtualBox Extension Pack), come la possibilità di condividere facilmente cartelle fra il pc Host e la Vm guest. Una volta scaricato facciamo il doppio click sul pacchetto.

si avvierà la procedura che ci assisterà nell’installazione:

scegliamo “installa”:

scegliamo “accetta”:

Adesso a seconda della distribuzione che utilizziamo possiamo andare a ricercare l’icona per lanciare il programma. Sotto Debian lo troveremo in Applicazioni>Strumenti di Sistema:

Nella giornata del 29 giugno 2012, presso l’hotel Holiday Inn di Rho si è svolto il secondo seminario di miamammausalinux.org, intitolato quest’anno “Evoluzione della virtualizzazione su Linux“.

Viste le numerose richieste ricevute e rispettando sempre la filosofia alla base del progetto miamammausalinux.org, il video del seminario viene proposto integralmente nelle sue parti, insieme alla documentazione fornita ai partecipanti.

Ecco le prime due parti.

Parte uno – “Presentazione ed introduzione al seminario”:

Parte due – “Introduzione alla virtualizzazione su Linux”:

Ed ecco il link alla documentazione:

Scarica la documentazione!

La serie completa dei video di questo seminario:

• Seminario “Evoluzione della virtualizzazione su Linux”: video uno e due – “Introduzione” e “Virtualizzazione”
• Seminario “Evoluzione della virtualizzazione su Linux”: video tre – “KVM, Libvirt e QEMU”

Il canale Youtube di MiaMammaUsaLinux: http://www.youtube.com/user/MiaMammaUsaLinux

Un ringraziamento particolare a Lorenzo, per il costante e preziosissimo supporto video che ci ha permesso di condividere l’evento con quanti non sono riusciti a partecipare.

Buona visione!

Uno dei principali problemi che si rilevano in fase di debug delle anomalie relative ad applicazioni è la frammentazione delle informazioni. Tanti log, buona parte dei quali inutili, sono sparsi ovunque nelle macchine interessate all’erogazione di questo o quel servizio.
Tipicamente quando si tratta di servizi ripartiti su più macchine è sempre necessario aprire diverse console all’interno delle quali, per ciascuna macchina, il (o i) file di log vengono aperti, filtrati stampati e via così, sino ad ottenere una situazione degna di Sherlock Holmes, in cui solo consumati ed abili detective riescono a trovare l’indizio che sfugge ai più.

Esiste però una via migliore per gestire enormi quantità di log in una forma centralizzata, facilmente ricercabile e che usi un’interfaccia gradevole. Si tratta della combinazione di tre software: Elasticsearch, Logstash e Kibana.

Prerequisiti: Java e spazio

Elasticsearch e Logstash sono software scritti in java e per funzionare necessitano appunto dell’ambiente operativo omonimo, disponibile per tutte le maggiori distribuzioni Linux.
Per verificare se java è installato nel sistema utilizzato è sufficiente lanciare il comando:

root@logstash:~# java -version
java version "1.6.0_35"
Java(TM) SE Runtime Environment (build 1.6.0_35-b10)
Java HotSpot(TM) 64-Bit Server VM (build 20.10-b01, mixed mode)

La versione del sistema in questione è 1.6.0_35. Se non si dovesse disporre di java sarà possibile recuperarlo dal sito ufficiale, presso il seguente link.

Da considerare in fase preliminare è anche la questione spazio. Nel progetto descritto verrà creata la cartella /logs:

root@logstash:~# mkdir /logs

all’interno della quale verranno registrate tutte e tre le directory relative ai componenti del progetto.
E’ chiaro come in base alla quantità prevista di log che dovranno essere archiviati, in particolare per Elasticsearch che conterrà fisicamente le informazioni, a tale cartella potrà essere destinato più o meno spazio, dedicando all’occorrenza una partizione specifica od un mount di rete che consenta di non saturare il disco locale.

Elasticsearch: il motore di ricerca

La prima componente necessaria alla realizzazione del progetto descritto è Elasticsearch. Questo software si pone come un motore di ricerca dal veloce setup ed all’interno del quale è possibile registrare e ricercare informazioni in forma rapida e standard.
La release attuale di Elasticsearch (elasticsearch-0.20.2.tar.gz) è recuperabile presso il sito ufficiale del progetto http://www.elasticsearch.org/download/ ed è installabile mediante i seguenti semplici passi:

root@logstash:~# cd /logs
root@logstash:/logs# tar -xf /where/you/downloaded/elasticsearch-0.20.2.tar.gz

La decompressione dell’archivio ha comportato la creazione della cartella elasticsearch-0.20.2 che contiene tutto il necessario per far funzionare Elasticsearch a dovere:

root@logstash:/logs# ls elasticsearch-0.20.2
bin  config  lib  LICENSE.txt  NOTICE.txt  README.textile

Considerando di voler mantenere le configurazioni di default, funzionali agli scopi del progetto descritto, è già possibile lanciare il programma:

root@logstash:/logs# /logs/elasticsearch-0.20.2/bin/elasticsearch

Il comando dovrebbe restituire immediatamente la console dalla quale sarà possibile capire cosa sta succedendo all’interno del sistema:

root@logstash:/logs# ps -ef|grep elasticsearch
root     29924     1  0 14:48 pts/0    00:00:03 java -Xms256m -Xmx1g -Xss256k -Djava.awt.headless=true -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+HeapDumpOnOutOfMemoryError -Delasticsearch -Des.path.home=/logs/elasticsearch-0.20.2 -cp :/logs/elasticsearch-0.20.2/lib/elasticsearch-0.20.2.jar:/logs/elasticsearch-0.20.2/lib/*:/logs/elasticsearch-0.20.2/lib/sigar/* org.elasticsearch.bootstrap.ElasticSearch

E’ stato quindi avviato il processo java, il cui PID 29924 può essere utilizzato per capire quali porte sono state aperte:

root@logstash:/logs# netstat -nlp | grep 29924
tcp6       0      0 :::9300                 :::*                    LISTEN      29924/java      
tcp6       0      0 :::9200                 :::*                    LISTEN      29924/java      
udp6       0      0 :::54328                :::*                                29924/java

Elasticsearch è quindi operativo e pronto a svolgere la funzione di motore di ricerca per le informazioni che verranno fornite da Logstash.

Logstash: l’accentratore di log

Tipicamente, al fine di centralizzare i log, è necessario predisporre una componente in ascolto (denominata “server”) e tante componenti client che vi scrivono (denominate “client”) quante sono le macchine di cui si necessita l’archiviazione dei log.
Nel progetto descritto la componente che permetterà di fornire una destinazione per tutti i log dalle varie locazioni di rete è Logstash.
Logstash è disponibile presso il sito ufficiale http://logstash.net/ in forma di file jar. Per predisporne al meglio l’utilizzo sarà necessario creare una cartella omonima all’interno della quale lo stesso file e le future configurazioni verranno registrate:

root@logstash:/logs# mkdir logstash
root@logstash:/logs# cd logstash
root@logstash:/logs/logstash# cp /where/you/downloaded/logstash-1.1.7-monolithic.jar .

Sebbene il file .jar di Logstash possa svolgere indifferentemente la funzione di server e client (a variarne il comportamento è la configurazione), nel setup implementato verrà predisposta una sola istanza Logstash in modalità server mentre su tutti i client per i quali si vorranno recuperare i log verrà configurato il sistema standard dei log Linux (rsyslog) affinché archivi direttamente sull’istanza Logstash.
In questo modo in primo luogo non sarà necessario configurare una componente Logstash per ciascun client, con notevole risparmio sui tempi di setup, ed inoltre le performance di tutti i client non verranno impattate in alcuna forma poiché verrà utilizzato un programma già in esecuzione quale rsyslog.

La struttura del file di configurazione di Logstash, un file di testo che potrà essere chiamato ad esempio /logs/logstash/logstash-server.conf, che verrà utilizzata inizialmente è molto semplice:

input {
       tcp {
               type => syslog
               port => 5544
       }
}
 
filter {
}
 
output { 
  elasticsearch { }
}

Analizzare le tre sezioni consente di scattare una fotografia alla sequenza di funzionamento di Logstash:

• input: dichiara da DOVE Logstash accetterà informazioni. In questo caso viene dichiarata una tipologia di ascolto “tcp”, che corrisponde ad una modalità di servizio (syslog) e ad una porta (5544). In questa sezione è possibile ad esempio accettare input da stdin (input da terminale) o persino da twitter!
• filter: dichiara COSA bisogna fare dei log che arrivano. Inizialmente verranno accettati indiscriminatamente tutti i log pervenuti in input alla macchina
• filter: dichiara DOVE verranno posti i log una volta elaborati. Nel caso illustrato i log verranno passati al servizio elasticsearch (mediante la porta 9200, la default). E’ possibile ad esempio destinare i log anche ad stdout (il terminale) o addirittura direttamente a strumenti di monitor come Nagios!

Tutte le modalità operative di Logstash relative ad input, filter ed output sono descritte alla pagina http://logstash.net/docs/1.1.7/.

Terminata la creazione del file di configurazione è possibile lanciare per la prima volta Logstash:

root@logstash:/logs/logstash# nohup java -jar logstash-1.1.7-monolithic.jar agent -f logstash-server.conf &
[1] 10031
nohup: ignoring input and appending output to `nohup.out'

Nota: il comando java viene lanciato mediante nohup, che consente di mantenere in esecuzione il programma anche all’uscita dalla console.

Come nel caso di Elasticsearch per capire se logstash è avviato correttamente e risulta in ascolto alla porta 5544 come da configurazione è sufficiente lanciare i seguenti comandi:

root@logstash:/logs/logstash# ps -ef|grep logstash
root     10031  4402 24 17:10 pts/0    00:00:29 java -jar logstash-1.1.7-monolithic.jar agent -f logstash-server.conf
root     10448  4402  0 17:12 pts/0    00:00:00 grep --color=auto logstash
root@logstash:/logs/logstash# netstat -nltp | grep 10031
tcp6       0      0 :::9301                 :::*                    LISTEN      10031/java      
tcp6       0      0 :::5544                 :::*                    LISTEN      10031/java

L’output certifica quanto fatto: Logstash è in ascolto presso la porta 5544.
Per completare la configurazione di tutte le componenti interessate all’archiviazione dei log non rimane che utilizzare un client rsyslog affinché scriva i propri log all’interno dell’istanza Logstash appena configurata.
Scelta la macchina, sarà sufficiente modificarne il file /etc/rsyslog.conf aggiungendo alla fine del file la seguente direttiva:

...
...
*.* @@logstash:5544

le quale indica al sistema di dirigere tutti i messaggi di log (*.*) mediante il protocollo tcp (@@) all’host logstash (che DEVE essere un fqdn, un nome risolto correttamente dal sistema o un indirizzo IP) alla porta 5544.
Effettuando il reload del servizio rsyslog le informazioni dovrebbero cominciare ad affluire al server Logstash. E’ possibile forzare la scrittura di uno specifico log dalla macchina client in modo da avere una corrispondenza specifica per verifiche future, mediante il comando logger:

user@remote:~# logger TEST

Kibana: visualizzare e ricercare quanto registrato

Ora che il setup del motore di ricerca e del software di centralizzazione dei log è completo non rimane che capire come consultare le informazioni registrate. Il software adatto a questo scopo è Kibana, un’applicazione ruby scaricabile dal sito http://kibana.org.
Il file di archivio scaricabile dal sito dovrebbe avere un nome simile a “rashidkpc-Kibana-v0.2.0-35-g40f2512.tar.gz” e l’installazione potrà essere eseguita in due semplici passi:

root@logstash:/logs# tar -xf rashidkpc-Kibana-v0.2.0-35-g40f2512.tar.gz
root@logstash:/logs# cd rashidkpc-Kibana-v0.2.0-35-g40f2512
root@logstash:/logs/rashidkpc-Kibana-40f2512# gem install bundler
Successfully installed bundler-1.2.3
1 gem installed
Installing ri documentation for bundler-1.2.3...
Installing RDoc documentation for bundler-1.2.3...
root@logstash:/logs/rashidkpc-Kibana-40f2512# bundle install
Fetching gem metadata from http://rubygems.org/.........
Fetching gem metadata from http://rubygems.org/..
Using rake (10.0.3) 
Using daemons (1.1.9) 
Using diff-lcs (1.1.3) 
Installing eventmachine (1.0.0) with native extensions 
Installing fastercsv (1.5.5) 
Installing json (1.7.5) with native extensions 
Installing rack (1.4.1) 
Installing rack-protection (1.2.0) 
Installing tilt (1.3.3) 
Installing sinatra (1.3.3) 
Installing thin (1.5.0) with native extensions 
Installing tzinfo (0.3.35) 
Using kibana (0.0.1) from source at . 
Installing rspec-core (2.11.1) 
Installing rspec-expectations (2.11.3) 
Installing rspec-mocks (2.11.3) 
Installing rspec (2.11.0) 
Using bundler (1.2.3) 
Your bundle is complete! Use `bundle show [gemname]` to see where a bundled gem is installed.

In caso vengano segnalati errori di questo tipo:

root@logstash:/logs/rashidkpc-Kibana-40f2512# bundle install
Fetching gem metadata from http://rubygems.org/.........
Fetching gem metadata from http://rubygems.org/..
Installing rake (10.0.3) 
Installing daemons (1.1.9) 
Installing diff-lcs (1.1.3) 
Installing eventmachine (1.0.0) with native extensions 
Gem::Installer::ExtensionBuildError: ERROR: Failed to build gem native extension.
 
        /usr/bin/ruby1.8 extconf.rb 
extconf.rb:2:in `require': no such file to load -- mkmf (LoadError)
	from extconf.rb:2
 
 
Gem files will remain installed in /var/lib/gems/1.8/gems/eventmachine-1.0.0 for inspection.
Results logged to /var/lib/gems/1.8/gems/eventmachine-1.0.0/ext/gem_make.out
An error occurred while installing eventmachine (1.0.0), and Bundler cannot continue.
Make sure that `gem install eventmachine -v '1.0.0'` succeeds before bundling.

E’ presumibile che il sistema non possieda alcuni dei pacchetti necessari alla compilazione di Kibana, ad esempio su sistemi “Ubuntu Lucid” è necessario aggiungere i segeunti pacchetti:

root@logstash:/logs/rashidkpc-Kibana-40f2512# apt-get install build-essential libopenssl-ruby ruby1.8-dev

Ad installazione completata, prima di avviare Kibana, per fare in modo che il servizio sia in ascolto su tutti gli indirizzi della macchina sarà necessario modificare all’interno del file KibanaConfig.rb la seguente riga:

  KibanaHost = '127.0.0.1'

in

  KibanaHost = '0.0.0.0'

Ed infine avviare il programma con il seguente comando:

root@logstash:/logs/rashidkpc-Kibana-40f2512# ruby kibana.rb
== Sinatra/1.3.3 has taken the stage on 5601 for development with backup from Thin
>> Thin web server (v1.5.0 codename Knife)
>> Maximum connections set to 1024
>> Listening on 127.0.0.1:5601, CTRL+C to stop

Da questo momento in poi l’interfaccia Kibana sarà disponibile all’indirizzo http://logstash:5601/:

Kibana, l’interfaccia principale

Mediante la casella di ricerca sarà possibile indicare cosa cercare, nel nostro caso, digitando TEST, troveremo l’occorrenza precedentemente forzata:

Kibana, il risultato di una ricerca

Il formato di ricerca è lo standard Lucene e si presta ad ogni tipo di query possibile.

Conclusioni

E’ facile capire come con questa breve panoramica l’argomento dell’archiviazione centralizzata dei log sia stato solo marginalmente sfiorato.
Esiste un’enorme quantità di varianti che possono essere applicate al sistema, in primis per quanto riguarda l’aspetto filter che non è stato trattato. E’ possibile sfruttare Logstash per assegnare tag specifici ai log selezionati, in modo da effettuare raggruppamenti, statistiche e grafici mediante Kibana.
Le evolutive sono pressoché infinite.

Nota finale sull”interfaccia nativa di logstash

Logstash possiede anche una web interface inclusa nel programma stesso, questa è attivabile mediante il seguente comando:

root@logstash:/logs/logstash# java -jar logstash-1.1.7-monolithic.jar web --backend elasticsearch:///?local

Dopo qualche secondo il programma attiverà la porta 9292 che sarà accessibile mediante il browser all’indirizzo http://logstash:9292/search:

Logstash, interfaccia web nativa

Rispetto a Kibana l’interfaccia nativa risulta più essenziale ed inoltre necessita di una configurazione particolare della sezione elasticsearch di logstash (senza indicare embed => true questa non funzionerà).
La scelta su quale interfaccia risulti più utile è sempre dell’utente finale.

Opends è un directory Ldap sviluppato in Java, il quale implementa un’ampia gamma delle funzionalità LDAP ( Lightweight Directory Access Protocol) e dei relativi standard. Inoltre è pienamente compatibile con LDAPv3 , supporta il Directory Service Markup Language (DSMLv2), prevede la replica multi master, implementa le policy di accesso (ACL) ed offre molte estensioni.

Solitamente un directory Ldap viene utilizzato come rubrica condivisa, ed i contatti contenuti sono estratti dal programma di posta elettronica tramite delle query, che prevedono la visualizzazione solo delle voci trovate, non dell’intero contenuto della rubrica. Il fatto di non avere a disposizione l’elenco completo del contenuto di una rubrica è piuttosto fastidioso. OpenDS supporta nativamente l’estensione VLV (Virtual List Viewer), che consente la visualizzazione dei contatti come elenco, esattamente come se fosse una rubrica locale solo in lettura. Solo i programmi di posta che supportano questa funzionalità potranno beneficiare di questa particolarità di OpenDS, ad esempio Microsoft Outlook.

Vediamo come si procede con l’installazione.

• Creare sul sistema un utente con il quale si vuole far girare il directory Ldap  e posizionare la sua home in un punto del file system di sistema più opportuno, secondo la sua struttura;

• Scaricare l’ultima versione disponibile (.zip): http://java.net/downloads/opends/promoted-builds/2.2.1/OpenDS-2.2.1.zip

• Scompattare l’archivio; viene creata una cartella “OpenDS-<versione>”.

• All’interno della cartella scompattata c’è l’ambiente di lavoro del directory; eseguendo il comando ./setup –cli  parte l’installazione del servizio in modalità testuale. Senza il parametro –cli l’installazione avviene con interfaccia grafica.

• In fase di installazione bisogna fornire le seguenti informazioni

•  Password del directory Manager
•  DN del directory (ad esempio dc=example,dc=com)
•  Porta di ascolto del servizio: se l’utente non è root  viene proposta la porta 1389

Di seguito vengono riportate le schermate presentate in fase di installazione, dopo aver digitato il comando ./setup –cli :

OpenDS Directory Server 2.2.1
 
Please wait while the setup program initializes...
 
What would you like to use as the initial root user DN for the Directory
Server? [cn=Directory Manager]: cn=Manager
Please provide the password to use for the initial root user:
Please re-enter the password for confirmation:
On which port would you like the Directory Server to accept connections from LDAP clients? [1389]:

Porta di ascolto proposta di default se l’installazione non viene eseguita come utente root

On which port would you like the Administration Connector to accept connections? [4444]:

Porta di ascolto del servizio di amministrazione

What do you wish to use as the base DN for the directory data? [dc=example,dc=com]:
 
1) Only create the base entry
2) Leave the database empty
3) Import data from an LDIF file
4) Load automatically-generated sample data
 
Enter choice [1]: 1

Selezionare l’opzione 1 per creare la struttura necessaria di base

Do you want to enable SSL? (yes / no) [no]:
Do you want to enable Start TLS? (yes / no) [no]:
Do you want to start the server when the configuration is completed? (yes /no) [yes]:
 
Setup Summary
 
=============
 
LDAP Listener Port: 1389
 
Administration Connector Port: 4444
 
LDAP Secure Access: disabled
 
Root User DN: cn=Manager
 
Directory Data: Create New Base DN dc=example,dc=com
 
Base DN Data: Only Create Base Entry (dc=example,dc=com)
 
Start Server when the configuration is completed
 
What would you like to do?
 
1) Setup the server with the parameters above
 
2) Provide the setup parameters again
 
3) Cancel the setup
 
Enter choice [1]: 1

E’ possibile spostare la directory che contiene effettivamente la struttura dati in un altro punto del file system, semplicemente linkandolo.
Il database si trova nella cartella db all’interno della directory di installazione di OpenDS.
Il comando per avviare il directory è bin/start-ds.
Il comando per fermare il directory è bin/stop-ds.

Il log si trovano nella cartella logs presente nella cartella di installazione di OpenDS.

Vediamo ora come si gestisce il directory appena installato

Esistono due interfacce per gestire il directory: una testuale e l’altra grafica; entrambe possono essere eseguite da una macchina remota.
Nella cartella bin, presente nella directory di installazione di OpenDS, sono presenti vari eseguibili, tra questi ci sono dsconfig e control-panel, che sono rispettivamente l’interfaccia testuale e l’interfaccia grafica.

Screenshot di dsconfig:

Screenshot di control-panel:

Tramite questo pannello è possibile:

• Gestire la struttura del directory (Manage Entries)
• Importare ed esportare file ldif (Import/export Ldif)
• Gestire il backup e schedularlo (Backup)
• Ricostruire gli indici (Index)
• Gestire lo schema del directory (Schema)

Conclusioni

OpenDS è un directory facilmente installabile  e gestibile, ed offre pannelli di gestione completi sia per chi è alla prima esperienza, sia per chi vuole ottimizzarlo al massimo e sfruttarlo per altre soluzioni che richiedono Ldap come backend, ad esempio la gestione degli accessi e l’autenticazione.