Blog

Other languagesBosna i Hercegovina Bosna i Hercegovina   Hrvatska Hrvatska   Slovenija Slovenija   English English   

Demistifikovani Simplivity

HPE je i ove godine u Gartnerovom Leader kvadrantu u Hyper-converged Infrastructure kategoriji, ali sada sa svojim novim rešenjem HPE Simplivity 380 Gen 10.

Hyper-converged tržište raste i s tom mišlju želja nam je da popularizujemo  rešenje koje HPE donosi.

Celine

  • Uvod
  • Zašto Simplivity?
  • Tehničke pojedinosti
  • Gartner
  • Deployment

UVOD

Hyper-converged Infrastruktura je proizašla od Integrisanih sistema i sledeća je stepenica prema poboljšanju efikasnosti preduzeća i to jednostavnijim upravljanjem, skalabilnošću, oporavkom od neželjenih ispada, backupovanjem i iskorišćenošću prostora. HPE Simplivity 380 koristi sve nabrojane atribute i tu se razlikuje od konkurencije.

Dosadašnji „Legacy stack“ nije dizajniran za virtuelizaciju. Sastojao se od 6 do 9 različitih uređaja, pa je upravljanje time zahtevalo puno vremena, koordinacije, usklađivanja kompatibilnosti softvera i strpljenja kod zvanja podrške. Nutanix je nakon toga otišao korak dalje kad je njihov softver ukomponovao resurse servera i sistema za skladištenje podataka, ali nije imao nikakav sistem za backup podataka, WAN optimizaciju, cacheing. Za sve dodatne mogućnosti potrebno je koristiti „Third-party“ softver. HPE Simplivity 380 je jedina softverski optimizovana platforma koja pruža jedan zajednički „bazen“ resursa kroz celi stack sa svim navedenim karakteristikama i sa dodatkom povezivosti sa cloud servisima. Jedina platforma koja u proseku postiže iskoristivost podataka 40:1 i kombinuje sve IT i data karakteristike u virtuelizacijskoj okolini.

 

Slika 1. Legacy vs Simplivity


Jezgra Simplivity platforme je Omnistack Data Virtualization, sistem datoteka koji koristi globalne „bazene“ resursa kroz celi klaster. Platformu karakterišu napredni data servisi:

  • Garantovana efikasnost podataka

Simplivity rešenje deduplicira, komprimuje i optimizuje sve podatke inline od početka, u stvarnom vremenu, jednom i zauvek.

Prava snaga dolazi iz Omnistack akcelerator kartice koja preuzima na sebe sve teške infrastrukturne operacije i time omogućava x86 Intelovim procesorima da rade pod manjim opterećenjem i ono što rade najbolje: pokreću Virtuelne mašine. Na taj način povećavaju se performanse samog sistema uklanjanjem nepotrebnih IOPS-a. Simplivity na taj način garantuje efikasnost podataka od 10:1 kao deo njihove standardne  garancije.

  • Ugrađena otpornost, sigurnosno kopiranje i oporavak od ispada

SimpliVity pruža otpornost, ugrađeni backup i „bandwidth-efficient“ replikaciju potrebnu da bi se osigurao najviši nivo integriteta i dostupnosti podataka, na taj način eliminišući potrebu za drugim backup rešenjima.

Zaštita podataka ugrađena je na nivou virtualnih mašina, pa je takve mašine vrlo lako skladištiti, vratiti, premestiti bez brige o infrastrukturi i čuvanju podataka.

Sve te akcije moguće je odrađivati sa par klikova unutar vCentera ili pomoću orkestracijskih alata kao što su Vmware vRealize Automation ili UCS Director.

HPE garantuje mogućnost vraćanja VM-a veličine 1TB u okviru jednog minuta. Tako je jedan klijent umanjio vreme vraćanja svojih skladištenih virtualnih mašina za 70% i time eliminisao potrebu za korišćenjem drugih alata za sigurnosno kopiranje ili replikaciju.

  • Globalno VM-Centricno upravljanje

Data Virtualization Platforma je „lightweight“softver sa kojim je izuzetno lako premeštati i/ili klonirati virtuelne mašine između udaljenih lokacija u zavisnosti od zahteva aplikacije. Upravljanje na taj način isključuje korišćenje LUN-ova, shareova, volumea , te se umesto toga upravljanje vrši na nivou virtuelnih mašina sa jedinstvenim pogledom nad svim data centrima i udaljenim lokacijama.

Slika 2. Omnistack DVP

Built in data protection and automated DR

Simplivity je jedino rešenje koje ima celi spektar zaštite od ispada, replikaciju i WAN optimizaciju, ne samo server i storage deo, nego celi stack. Korisnici mogu jednostavno da prave sigurnosne kopije i da premeštaju VM-ove, a da ne moraju da brinu o hardverskoj infrastrukturi ili skladištenju podataka.

 


Slika 3. HPE Simplivity vs Suparnici

Tehničke pojedinosti

SimpliVity data centar (cluster) se sastoji od skupa servera x86 koji upravljaju hipervizorom poput VMwareovog vSpherea. Dostupni su serveri od više dobavljača hardvera i imaju uobičajene karakteristike servera, poput redundantnih napajanja i ventilatora, mrežnih kartica.

SimpliVity cluster logično je grupisanje tih servera koji kombinuju lokalno skladište  u visoko raspoloživo zajedničko skladište putem Data virtualization platforme. Na taj način više Simplivity clustera može postojati unutar jednog fizičkog data centra ili jedan Simplivity data centar koji se prostire na dva fizička datacentra, takozvani metro cluster. Svi nodovi u data centru moraju biti upravljani istim vCenter serverom koji na taj način formira vSphere cluster.

 


Slika 4. DVP

Na fizičkom sloju Simplivity se sastoji od SSD-ova koji su priključeni na RAID kontroler i zavisno od modela može imati različit broj diskova u polju. Takođe, zavisno od modela je i RAID mod, te tako u ExtraSmall i Small varijanti imamo diskove posložene u RAID 5, a u ostalim varijantama RAID 6.

Hipervizor može upravljati jednim ili sa više NFS skladišta podataka gde su pohranjene virtualne mašine, te su ta ista skladišta podataka dostupna svakom nodeu u Simplivity clusteru. Postoje zasebni RAID skupovi za SSD diskove koji su direktno povezani sa OmniStack Virtual kontolerom. OmniStack Virtual kontoler je virtuelna mašina i centralni je deo Data Virtualization platforme, pa se toj virtuelnoj mašini predstavljaju NFS datastoreovi na kojima rade produkcijske virtuelne mašine. OmniStack Virtual kontroler osigurava da se blokovi koji čine lokalne virtuelne mašine ažuriraju i na udaljenom data centru i na taj način čini skladište podataka vrlo dostupnim. Fizički kontroler je na taj način dediciran Omnistack virtuelnom kontroleru preko hipervizora putem VMDirectPathIO tehnologije.

Presudan deo ove Data virtualization platforme je custom-made PCI Express Omnistack akceleratorska kartica od strane Simplivity-a koja radi deduplikaciju i kompresiju, te skida to opterećenje sa procesora. Na taj način Omnistack Virtual kontroler ne opterećuje procesor i time više svog vremena može iskoristiti za pokretanje virtuelnih mašina. Omnistack kartica ima svoj RAM, kondenzatore, FPGA procesor i flash prostor za podatke. Omnistack akceleratorska kartica takođe ima direktnu konekciju do Virtuelnog kontrolera pomoću VMDirectPathIO tehnologije1.

1 Vidljivo na slici 4


Slika 5. Komponente Omnistack DV platforme

Federation

Na isti način kako grupa hostova stvara Simplivity datacentar/cluster, tako i grupa data centara čine Simplivity federaciju. Simplivity Federation omogućava upravljanje nad virtualnim mašinama preko više datacentara, uključujući i sposobnost izrade sigurnosne kopije i replikacije između datacentara i brzo migriranje/premeštanje virtuelnih mašina između datacentara. Data Virtualization platforma se proteže preko svih Simplivity clustera u federaciji  i time omogućava globalnu izradu sigurnosnih kopija i replikaciju nad virtualnim mašinama.

Politika izrade sigurnosnih kopija se radi na nivou federacije. Ta politika definiše lokalna i udaljena pravila koja su dodeljena određenim virtuelnim mašinama ili grupi virtuelnih mašina baziranim na datastoreovima. Topologija koja povezuje ove zasebne data centre može biti mesh, hub ili spoke, što će se automatski odrediti tokom implementacije federacije.


 

Slika 6. Komponente HPE Simplivity Federacije


HPE SimpliVity Data Virtualization Platform

Data Virtualization platforma prema arhitekturi spaja hardver i hipervizor, te apstrahuje hardver iz VM-ova. U tom se sloju nalazi i Akcelerator kartica koja obavlja deduplikaciju i kompresiju i omptimizuje sve podatke inline na samom početku nastanka tog podatka.

Ako zagrebemo još dublje ispod površine Data Virtualization Platforme, DVP ima dva sloja:

  • Prezentacijski sloj – sloj sa kojim Vmware ima logičku interakciju
  • Upravljački sloj – sloj u kojem su uskladišteni i upravljani meta podaci

Proces zapisivanja

Kod zapisa iz virtuelnih mašina DVP analizira blokove veličine 8 KB. Takav zapis će biti prvo zapisan u Akcelerator karticu. Kartica bi istovremeno radila sinhronu repliku na drugu karticu u drugom nodeu da bi dobili veliku dosupnost (HA). Kad se blok zapiše na kartici, kartica to javlja hostu. Svaka kartica ima 8 GB cache, NVRAM-a te kondenzatore koji održavaju napajanje kartice u slučaju izostanka napajanja.

Kartica tada analizira blok i ako je jedinstven biće kompresovan i zapisan na disk. I tako za svaki sledeći blok koji je jedinstven. Kad u karticu stigne blok koji je već zapisan, DVP prepoznaje to i onda ažurira metadata za taj blok. Stavlja pointer na taj blok i ne zapisuje ništa na disk.

Nakon bezbroj blokova koji su prošli kroz DVP , Vmware misli da je odradio desetine IOPS-a, a u stvari je zapisao jedan blok i ažurirao meta podatke s pointerima za taj blok.

Visoka dostupnost

Simplivity platforma štiti Enterprise infrastrukturu na više načina:

  • File restore– Jedna od najčešćih vrsta vraćanja podataka koja dolazi zbog nesmotrenih korisnika, zbog potrebe za starijom verzijom datoteke, ransomwarea itd.
  • VM backup– su full nezavisne kopije virtuelnih mašina u određenom vremenu koje mogu biti vraćene na orginalnoj virtuelnoj mašini ili kao zasebna mašina
  • Node– zaštita od ispada na temelju hardverskog RAID-a, zajedno sa ostalim komponentama kao što su redundantna napajanja, mrežne kartice, ECC memorija, te cache unutar Akcelerator kartice
  • Datacenter okruženje (cluster)– Instant VM recovery, velika dostupnost(HA), sinhrona replikacija između hostova, te RAIN

Federacija – je zaštita od ispada jednog sajta sa DR mogućnostima


Simplivity virtual networking

Konfigurisanje virtuelnog umrežavanja u HPE Simplivity okruženju je jednostavno i fleksibilno. Postoji nekoliko zahteva za povezivanje SimpliVity Data Virtualization Platforme (DVP), ali izvan toga virtuelno i fizičko umrežavanje je konfigurisano kao što bi bilo u bilo kojem vSphere okruženju.

HPE SimpliVity se bazira na HPE DL380 Gen10 (koji se takođe naziva kao SimpliVity node ili host). Prema tehničkoj specifikaciji svaki node sadrži dve LOM mrežne kartice, 4 x 1 GbE i 2 x 10 GbE. Kartica od 10 GbE je dostupna s priključkom SFP + ili 10Gbase-T. U sistem se mogu dodati do 3 dodatne mrežne kartice. ESXi se nalazi na svakom Simplivity hostu i sve konfiguracije mreže se vrše putem vCentera koji upravljaju Simplivity hostovima.

Smernice/zahtevi ili praksa za SimpliVity DVP umrežavanje:

  • 10 GbE povezivost je potrebna za SimpliVity DVP storage saobraćaj
  • Mreža koja se koristi za Simplivity DVP saobraćaj mora biti konfigurisana sa Jumbo Frames
  • Grupe portova koji su povezani sa SimpliVity DVP Storage saobraćajem i ESXi vmkernelom treba konfigurisati u Active/Standby mod
  • OVC Storage IP adresa i ESXi Storage vmkernel IP adresa moraju biti na istoj podmreži preko svih hostova u klasteru
  • OVC Federation IP adresa mora biti na istoj podmreži na svim hostovima u klasteru
  • SimpliVity DVP Storage, SimpliVity Federation, Management i VM Traffic treba da budu logički odvojeni vlanovima
  • Mrežne konfiguracije treba da budu u skladu sa svim SimpliVity hostovima u istom clusteru
  • Podržani su vSphere Standard vSwitch i vSphere Distributed vSwitch
  • SDN, NSX su podržani za VM i management saobraćaj


Postoje dve mogućnosti za fizičku mrežnu povezivost SimpliVity hostova za DVP saobraćaj, 10 GbE Direct Connect i 10 GbE povezivost pomoću svičeva.

10 GbE Direct Connect

U implementaciji Simplivity vSphere klastera koji sadrži samo 2 SimpliVity hosta, hostovi se mogu međusobno direktno povezati sa 10Gb konekcijama za DVP komunikaciju između hostova (Storage, Federation). Direct Connect je podržan i sa 10 GbE SFP + i sa 10Gbase-T adapterima.

U konfiguraciji s direktnim povezivanjem, 4 x 1 GbE portovi dostupni su za saobraćaj koji zahteva manju propusnost (VM, upravljanje, itd.). Ti portovi mogu se konfigurisati prema zahtevima korisnika za odvajanje saobraćaja (odvajanje menagementa od VM saobraćaja). Dodatni NIC-ovi takođe se mogu dodati za podršku dodatnim zahtevima mrežne povezivosti.


10 GbE Switched

U vSphere clusteru koji sadrži više od 2 SimpliVty hosta (ili 2 Simplivity hosta i Standard ESXi hosta koji rade kao compute DVP hostovi) hostovi moraju biti povezani putem 10 GbE preko sviča. U ovoj vrsti implementacije sav saobraćaj se može “konvergirati” na dostupnim 10 GbE vmnicovima.

Propusnost za VM i management saobraćaj stvarno zavisi od zahteva kupca. HPE SimpliVity DVP je tu fleksibilan sve dok je DVP saobraćaj na 10 GbE, direktno ili svičem  povezani hostovi, te da se nalaze u istom vSphere clusteru, OVC i ESXi management jedan drugom dostupni i vide vCenter Server koji upravlja vSphere klasterom. Dodatni mrežni adapteri mogu se dodati kako bi se osigurala dodatna mrežna povezivost i sposobnost daljnjeg razdvajanja mrežnog saobraćaja po potrebi.

HPE SimpliVity je skalabilna platforma, pa kako zahtevi rastu jednostavno se dodaju novi hostovi (bilo SimpliVity hostovi ili Compute hostovi) kako bismo skalirali resurse. Kako HPE SimpliVity infrastruktura raste, biće potrebno migrirati s 10 GbE Direct Connect na 10 GbE switch model. Ovaj proces je vrlo jednostavan i može se dovršiti bez uticaja na rad platforme.

 

 

 


Migracija sa legacy stacka u Simplivity

Postoji nekoliko načina migracije virtuelnih mašina sa legacy infrastrukture u SimpliVity. Ako se migracija planira ispravno, može se lako postići bez značajnog uticaja na VM-ove koji se trenutno nalaze u virtuelnom okruženju. U nastavku je pregled nekih uobičajenih metoda migracije koji se mogu koristiti za premeštanje VM-ova s legacy infrastrukture u SimpliVity Hyperconverged Infrastrukturu (HCI).

Integrisanje SimpliVity u postojeće okruženje

Ovo je verovatno najčešći scenario. SimpliVity se implementira kako bi zamenio trenutno okruženje, pružio dodatne kapacitete za povećanje trenutnog okruženja ili za podršku određenoj aplikaciji. Koristi se postojeći vCenter i SimpliVity se implementira u postojeće okruženje.

  • Prezentuje se HPE SimpliVity Datastore hostu u postojećem okruženju
  • Koristi se Storage vMotion za premeštanje VM-ova u SimpliVity Datastore
  • Koristi se vMotion za premeštanje VM-ova u SimpliVity node

Storage vMotion neće imati nikakav uticaj na dostupnost migriranog VM-a. Ako postoji kompatibilnost procesora između postojećih hostova i SimpliVity hostova (što se može postići implementacijom SimpliVity hosta u klaster s omogućenim Enhanced vMotion Compatibility (EVC) modom), VM vMotion se može obaviti bez uticaja na dostupnost virtuelne mašine. Ako procesori nisu kompatibilni, VM se mora isključiti i migrirati pomoću cold vMotiona. Budući da se cold vMotion može odraditi brzo, ispad po VM-u je obično samo nekoliko minuta.

Ako se ispune uslovi za Enhanced vMotion Compatibility mod, to bi se moglo koristiti za live migraciju storagea i computea bez prezentovanja SimpliVity storagea postojećim hostovima i bez uticaja na dostupnost VM-a tokom postupka migracije.

Ova metoda migracije takođe se može obaviti prezentovanjem postojećeg prostora za skladištenje SimpliVity hostovima. Postupak bi u osnovi bio isti, ali bi dizajn SimpliVity-a verovatno trebalo da uključi HBA ili NIC-ove kako bi osigurao povezanost Simplivity storagea s postojećim storageom.

 


Migriranje u novo SimpliVity okruženje.

U ovom slučaju korisnik diže novo vCenter okruženje za implementaciju HPE SimpliVity platforme. Obično je razlog za takvu implementaciju mogućnost korišćenja najnovije verzije vCentera bez potrebe za procesom nadogradnje postojeće infrastrukture na noviju verziju. Tipično, kada SimpliVity postane potpuna zamena za legacy infrastrukturu. Ostali razlozi uključuju prelazak s Windows vCenter Deploymenta na vCenter Server Appliance (VCSA) ili s fizičkog vCenter servera na virtualni vCenter Server.

  • Migrirajte VM-ove na određeni host u postojećem okruženju
  • Dodajte taj host u novi vCenter koji upravlja SimpliVity HCI okruženjem
  • Prikažite SimpliVity Datastore na tom postojećem hostu
  • Upotrebljava se Storage vMotion za premeštanje VM-ova u SimpliVity Datastore
  • Upotrebljava se vMotion za premeštanje VM-ova u SimpliVity hostove

U ovom procesu postojeći host se koristi kao “swing” host. Nakon što se “swing” domaćin doda u novo vCenter okruženje, SimpliVity Datastore se prezentuje tom hostu i postaje compute node. Razlika između korišćenja compute nodea kao “swing” hosta i korišćenja compute nodea kao stalnog izvora resursa je da SimpliVity podržava predstavljanje SimpliVity Datastore koristeći 1 GbE povezivost u svrhu migracije – nema potrebe za 10 GbE konekcijama.

Kao i kod prethodne migracije, Storage vMotion nema uticaja na dostupnost VM-ova i ako su procesori kompatibilni vMotion se takođe može izvesti bez prekida rada. Ako procesori nisu kompatibilni, VM će morati biti isključen i moraće se izvršiti cold vMotion.

 


Simplivity Federation design

HPE SimpliVity Federation dizajn se fokusira na funkciju HPE SimpliVity Arbitera, zahteve za Arbiter i postavljanje Arbitera s nekim smernicama za dizajn vCenter okruženja.

Dva su ključna faktoraa koji utiču na dizajn HPE SimpliVity Federation:

  • Zahtevi za HPE SimpliVity Arbiter
  • Platform Services Controller (PSC) i vCenter Server topologija

Arbiter i vCenter Server su potrebni delovi HPE SimpliVity Federation dizajna. Prilikom implementacije nove SimpliVity federacije, Arbiter i vCenter server moraju biti konfigurisani u management mreži. Arbiter može biti implementiran na neku privremenu lokaciju, a zatim ponovno postavljen na njegovu trajnu lokaciju kada se implementira SimpliVity Federacija. VCenter okruženje takođe se može implementirati na privremenu lokaciju i migrirati na SimpliVity Cluster nakon implementacije. Postoji niz mogućnosti za migraciju vCenter okruženja u SimpliVity Federation.

Arbiter je servis koji služi kao witness održavanja kvoruma za HPE SimpliVity klaster kako bi se osigurale dostupnost i doslednost podataka ukoliko SimpliVity host postane nedostupan ili padne. Arbiter servis radi na 64-bitnom Windows OS-u i zahteva minimalno CPU (1 GHz), memoriju (1 GB) i disk (16 GB) resurse.

Arbiter servis se može instalirati na fizički server ili virtuelnu mašinu i nema potrebe za instaliranjem na dedicirani server. Arbiter usluga ne upotrebljava puno resursa, tako da se može instalirati i na server koji pokreće druge usluge (AD, DNS, itd.). Ključna stavka kod projektovanja mesta gde će se Arbiter nalaziti je da se ne može implementirati na HPE SimpliVity Datastore u SimpliVity Clusteru kome on drži kvorum.

Jedan Arbiter može služiti kao witness svim SimpliVity klasterima u SimpliVity federaciji. U velikim, multisite Federacijama mogu se implementirati višestruki Arbiter servisi. SimpliVity hostovi komuniciraju s Arbiterom preko management mreže koristeći i UDP i TCP port 22122. Round trip latencija između Arbitera i SimpliVity hostova ne sme biti veća od 300 ms. Svi hostovi unutar istog SimpliVity Clustera moraju komunicirati s istim Arbiterom.

Arbiter servisi se izvode u virtuelnim mašinama koje se nalaze na SimpliVity Data Virtualization Platformi (DVP), ali su witness nekom drugom hostu, a ne onaj na kojem se pokreće servis, a u istoj Federaciji. Arbiter u Production Management Clusteru je witness SimpliVity Clusteru, Recovery Management i Recovery clusteru u Recovery Datacenteru. A Arbiter u Recovery Management Clusteru je witness Simplivity Clusteru, Management i Production clusteru u Production Datacenteru. To je potpuno podržana konfiguracija koja se obično koristi u većim implementacijama.


Deployment

Simplivity deployment ima određene zahteve da bi sve prošlo u najboljem redu :

  • Zadovoljavajuća fizička infrastruktura (u to spada switching, kabliranje, tagging, ILO)

Networking:   

  1. Connection (switch or direct)
  2. 10gbe + 1gbe or all 10gbe10G
  3. LACP Enabled/Disabled
  4. DVS /Standard Switches
  5. MTU Size set for Management, Storage & Federation – 1500-Management and 9000 for Storage and Federation
  6. VLANs configured if using switches

  • Instalacija i konfiguracija Vcentera (kreiranje clustera)

           Vcenter :                   

  1. Vcenter version and build
  2. VCSA or Widows podrška
  3. Vcenter Ports – 902 (UDP), 443, 80 open/Closed
  4. Vcenter Admin account podaci
  5. Vcenter Single or Linked Mode
  6. vCenter License
  7. HA and DRS isključen na clusteru
  • Instalacija Deployment Managera,Arbitera i vcenter Simplivity addon-a

SimpliVity Utilities:

  1. Arbiter
  2. Web Client Plugin instalacija
  3. DOT NET 4.0 & JAVA 1.7 OR 1.8 (3.5.1)
  4. Deployment Manager instalacija
  5. SimpliVity Extension Plugin instalacija
  • Konfiguriranje IP-eva na hostovima
  • Pokretanje Deploymenta
  • Host1 završen
  • Host2 završen
  • Host3 završen….

 

  • Testiranje sustava (HA,DRS, active-active NIC,backup, migrate, restore, storage, federacija)

Kako naručiti

HPE Simplivity platforma se naručuje u bundleovima, pa tamo postoje različite veličine bundleova za SSD diskovni prostor i memoriju. Mogu se odabrati procesori od 8 do 22 jezgra u jednoprocesorskoj ili dvoprocesorskoj varijanti. Memorija od 144GB bundle do 768GB u bundle po procesoru. SSD diskovni prostor može se odabrati u 5 modela i to: XS, S, M, L, XL. Modeli XS i S imaju RAID 5 konfiguraciju, dok svi ostali bivaju isporučeni u RAID 6 konfiguraciji. Narudžba je takođe moguća sa dva različita modela SSD-ova po efektivnom broju zapisa i čitanja: 4000 modeli i 6000 modeli.

 


Ako želite saznati dodatne informacije,Simplivity demo na test ili besplatnu deployment edukaciju, slobodno nam se obratite.

Korisne informacije:

HPE SimpliVity 380 Gen10 QuickSpecs

HPE SimpliVity hyperconverged infrastructure for VMware vSphere

HPE SimpliVity Data Virtualization Platform

HPE SimpliVity 380 Gen10 Server Installation and Maintenance Guide

Demo oprema za partnere

Treba Vam ponuda ili pomoć pri izradi rešenja? Tražite partnera za implementaciju?

Kontaktirajte nas!