V tomto tutoriálu se dozvíte,
- Režimy instalace Apache HBase
- Jak stáhnout stabilní verzi souboru tar Hbase
- Hbase - instalace v samostatném režimu
- Hbase - Pseudo distribuovaný způsob instalace
- Hbase - instalace v plně distribuovaném režimu
- Odstraňování problémů s instalací HBase
Režimy instalace Apache HBase
Apache HBase lze nainstalovat ve třech režimech. Vlastnosti těchto režimů jsou uvedeny níže.
1) Instalace v samostatném režimu (bez závislosti na systému Hadoop)
- Toto je výchozí režim HBase
- Běží proti místnímu systému souborů
- Nepoužívá Hadoop HDFS
- Může běžet pouze démon HMaster
- Nedoporučuje se pro produkční prostředí
- Běží v jednom JVM
2) Instalace v pseudodistribuovaném režimu (systém Hadoop s jedním uzlem + instalace HBase)
- Běží na Hadoop HDFS
- Všichni démoni běží v jednom uzlu
- Doporučit pro produkční prostředí
3) Plně distribuovaný režim instalace (prostředí MultinodeHadoop + instalace HBase)
- Běží na Hadoop HDFS
- Všichni démoni poběží přes všechny uzly přítomné v klastru
- Velmi doporučeno pro produkční prostředí
Pro instalaci Hadoop viz tuto URL zde
Jak stáhnout stabilní verzi souboru tar Hbase
Krok 1) Chcete-li stáhnout HBase, přejděte na odkaz zde. Otevře se webová stránka, jak je uvedeno níže.
Krok 2) Vyberte stabilní verzi, jak je uvedeno níže verze 1.1.2
Krok 3) Klikněte na hbase-1.1.2-bin.tar.gz. Stáhne soubor tar. Zkopírujte soubor tar do umístění instalace.
Hbase - instalace v samostatném režimu:
Instalace se provádí na Ubuntu s již nainstalovaným Hadoop.
Krok 1) Umístěte hbase-1.1.2-bin.tar.gz do / home / hduser
Krok 2) Rozbalte jej spuštěním příkazu $ tar -xvf hbase-1.1.2-bin.tar.gz . Rozbalí obsah a vytvoří hbase-1.1.2 v umístění / home / hduser
Krok 3) Otevřete hbase-env.sh jak je uvedeno níže a uveďte cestu JAVA_HOME v umístění.
Krok 4) Otevřete soubor ~ / .bashrc a uveďte cestu HBASE_HOME, jak je uvedeno níže
| export HBASE_HOME = / home / hduser / hbase-1.1.1 export PATH = $ PATH: $ HBASE_HOME / bin |
Krok 5) Otevřete soubor hbase-site.xml a do souboru vložte následující vlastnosti
hduser @ ubuntu $ gedit hbase-site.xml (kód níže)
hbase.rootdir file:///home/hduser/HBASE/hbase hbase.zookeeper.property.dataDir /home/hduser/HBASE/zookeeper
Zde umisťujeme dvě vlastnosti
- Jeden pro kořenový adresář HBase a
- Druhý pro datový adresář odpovídá ZooKeeper.
Všechny aktivity HMaster a ZooKeeper poukazují na tento soubor hbase-site.xml.
Krok 6) Otevřete soubor hostitelů v / etc. umístění a uveďte adresy IP, jak je uvedeno níže.
Krok 7) Nyní spusťte Start-hbase.sh v umístění hbase-1.1.1 / bin, jak je znázorněno níže.
Příkazem jps můžeme zkontrolovat, zda HMaster běží nebo ne.
Krok 8) HBase shell může začít použitím „hbase shell“ a vstoupí do režimu interaktivního prostředí, jak je znázorněno na následujícím obrázku. Jakmile vstoupí do režimu prostředí, můžeme provádět všechny typy příkazů.
Samostatný režim nevyžaduje spuštění démonů Hadoop. HBase může běžet nezávisle.
Hbase - Pseudo distribuovaný způsob instalace:
Toto je další metoda instalace Apache Hbase, známá jako Pseudo Distribuovaný režim instalace. Níže jsou uvedeny kroky instalace HBase prostřednictvím této metody.
Krok 1) Umístěte hbase-1.1.2-bin.tar.gz do / home / hduser
Krok 2) Rozbalte jej spuštěním příkazu $ tar -xvf hbase-1.1.2-bin.tar.gz . Rozbalí obsah a vytvoří hbase-1.1.2 v umístění / home / hduser
Krok 3) Otevřete hbase-env.sh následujícím způsobem a v umístění uveďte cestu JAVA_HOME a cestu serverů regionu a exportujte příkaz podle obrázku
Krok 4) V tomto kroku otevřeme soubor ~ / .bashrc a zmíníme cestu HBASE_HOME, jak je znázorněno na obrazovce.
Krok 5) Otevřete soubor HBase-site.xml a uveďte v souboru níže uvedené vlastnosti. (Kód níže)
hbase.rootdir hdfs://localhost:9000/hbase hbase.cluster.distributed true hbase.zookeeper.quorum localhost dfs.replication 1 hbase.zookeeper.property.clientPort 2181 hbase.zookeeper.property.dataDir /home/hduser/hbase/zookeeper
- Nastavení kořenového adresáře Hbase v této vlastnosti
- Pro distribuované nastavení musíme nastavit tuto vlastnost
- Zde by měla být nastavena vlastnost kvora ZooKeeper
- Nastavení replikace provedeno v této vlastnosti. Ve výchozím nastavení umisťujeme replikaci jako 1.
V plně distribuovaném režimu je k dispozici více datových uzlů, takže můžeme zvýšit replikaci umístěním více než 1 hodnoty do vlastnosti dfs.replication
- V této vlastnosti by měl být uveden klientský port
- V této vlastnosti lze zmínit datový adresář ZooKeeper
Krok 6) Nejprve spusťte démony Hadoop a poté spusťte démony HBase, jak je znázorněno níže
Nejprve zde musíte spustit démony Hadoop pomocí příkazu „./start-all.sh“, jak je uvedeno níže.
Po spuštění démonů Hbase pomocí hbase-start.sh
Nyní zkontrolujte jps
Hbase - instalace plně distribuovaného režimu: -
- Toto nastavení bude fungovat v režimu clusteru Hadoop, kde se v clusteru objeví více uzlů a běží.
- Instalace je stejná jako v pseudo distribuovaném režimu; jediný rozdíl je v tom, že se objeví na více uzlech.
- Soubory konfigurace uvedené v souborech HBase-site.xml a hbase-env.sh jsou stejné jako soubory uvedené v pseudo režimu.
Odstraňování problémů s instalací HBase
1) Prohlášení o problému: Hlavní server se inicializuje, ale regionální servery se neinicializují
Komunikace mezi hlavním a regionálním serverem prostřednictvím jejich IP adres. Stejně jako způsob, jakým Master bude poslouchat, že jsou spuštěny regionální servery nebo mají IP adresu 127.0.0.1. IP adresa 127.0.0.1, která je místním hostitelem a je přeložena na místního hostitele hlavního serveru.
Způsobit:
V duální komunikaci mezi regionálními servery a hlavním serverem regionální server průběžně informuje hlavní server o jejich IP adresách 127.0.0.1.
Řešení:
- Musí odstranit uzel názvu hlavního serveru z místního hostitele, který je přítomen v souboru hostitelů
- Umístění souboru hostitele / etc / hosts
Co změnit:
Otevřete /etc./hosts a přejděte do tohoto umístění
127.0.0.1 fully.qualified.regionservernameregionservername localhost.localdomain localhost: : 1 localhost3.localdomain3 localdomain3
Upravte výše uvedenou konfiguraci níže (odstraňte název serveru regionu, jak je zvýrazněno výše)
127.0.0.1 localhost.localdomainlocalhost: : 1 localhost3.localdomain3 localdomain3
2) Prohlášení o problému: Nelze najít moji adresu: XYZ v seznamu serverů kvora Zookeeper
Způsobit:
- Server ZooKeeper se nepodařilo spustit a do názvu serveru vyvolá chybu jako .xyz.
- HBase se pokusí spustit server ZooKeeper na nějakém počítači, ale zároveň není schopen najít konfiguraci kvora, tj. Přítomnou v konfiguračním souboru HBase.zookeeper.quorum .
Řešení:-
- Musíte nahradit název hostitele názvem hostitele, který je uveden v chybové zprávě
- Předpokládejme, že máme server DNS, a pak můžeme nastavit níže uvedené konfigurace v HBase-site.xml.
- Rozhraní HBase.zookeeper.dns.
- HBase.zookeeper.dns.nameserver
3) Prohlášení o problému: Vytvořen kořenový adresář pro HBase prostřednictvím Hadoop DFS
- Master říká, že musíte spustit migrační skript HBase.
- Po spuštění skript migrace HBase reaguje jako žádné soubory v kořenovém adresáři .
Způsobit:
- Vytvoření nového adresáře pro HBase pomocí systému souborů Hadoop Distributed
- Zde HBase očekává dvě možnosti
1) Kořenový adresář neexistuje
2) HBase předchozí spuštěná instance inicializovaná dříve
Řešení:
- Ujistěte se, že kořenový adresář HBase aktuálně neexistuje nebo byl inicializován předchozím spuštěním instance HBase.
- Jako součást řešení musíme postupovat podle kroků
Krok 1) Odstranění kořenového adresáře HBase pomocí Hadoop dfs
Krok 2) HBase vytvoří a inicializuje adresář sám
4) Prohlášení o problému: Události Zookeeperu vypršely
Způsobit:
- Vypínání serverů HMaster nebo HRegion vyvoláním výjimek
- Pokud pozorujeme protokoly, můžeme zjistit skutečné výjimky, které byly vyvolány
Následující ukazuje výjimku vyvolanou kvůli Zookeeper vypršela událost. Zvýrazněné události jsou některé z výjimek, ke kterým došlo v souboru protokolu
Přihlaste kód souborů, jak je zobrazeno níže:
WARN org.apache.zookeeper.ClientCnxn: Exceptionclosing session 0x278bd16a96000f to sun.nio.ch.SelectionKeyImpl@355811ecjava.io.IOException: TIMED OUT at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:906)WARN org.apache.hadoop.hbase.util.Sleeper: We slept 79410ms, ten times longer than scheduled: 5000INFO org.apache.zookeeper.ClientCnxn: Attempting connection to server hostname/IP:PORTINFO org.apache.zookeeper.ClientCnxn: Priming connection to java.nio.channels.SocketChannel[connected local=/IP:PORT remote=hostname/IP:PORT]INFO org.apache.zookeeper.ClientCnxn: Server connection successfulWARN org.apache.zookeeper.ClientCnxn: Exception closing session 0x278bd16a96000d to sun.nio.ch.SelectionKeyImpl@3544d65ejava.io.IOException: Session Expired at org.apache.zookeeper.ClientCnxn$SendThread.readConnectResult(ClientCnxn.java:589)at org.apache.zookeeper.ClientCnxn$SendThread.doIO(ClientCnxn.java:709)at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:945)ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: ZooKeeper session expired
Řešení:
- Výchozí velikost paměti RAM je 1 GB. Pro dlouhodobé importy jsme udrželi kapacitu RAM více než 1 GB.
- Musí zvýšit časový limit relace pro Zookeeper.
- Pro zvýšení doby relace mimo Zookeeper musíme upravit následující vlastnost v souboru „hbase-site.xml“, která je uvedena v cestě ke složce hbase / conf.
- Výchozí časový limit relace je 60 sekund. Můžeme to změnit na 120 sekund, jak je uvedeno níže
zookeeper.session.timeout 1200000 hbase.zookeeper.property.tickTime 6000