Apache Hadoop 單節(jié)點上的安裝配置
下面將演示快速完成在單節(jié)點上的 Hadoop 安裝與配置，以便你對 Hadoop HDFS 和 MapReduce 框架有所體會。
支持平臺：
GNU/Linux：已經(jīng)證實了 Hadoop 在 GNU/Linux 平臺上可以支持 2000 個節(jié)點的集群；
Windows。本文所演示的例子都是在 GNU/Linux 平臺上運行，若在 Windows 運行，可以參閱 http://wiki.apache.org/hadoop/Hadoop2OnWindows。
所需軟件：
Java 必須安裝。Hadoop 2.7 及以后版本，需要安裝 Java 7，可以是 OpenJDK 或者是 Oracle（HotSpot）的 JDK/JRE。其他版本的 JDK 要求，可以參閱 http://wiki.apache.org/hadoop/HadoopJavaVersions；
ssh 必須安裝并且保證 sshd 一直運行，以便用 Hadoop 腳本管理遠端Hadoop 守護進程。下面是在 Ubuntu 上的安裝的示例：
$ sudo apt-get install ssh
$ sudo apt-get install rsync
1
2
下載地址在 http://www.apache.org/dyn/closer.cgi/hadoop/common/。
解壓所下載的 Hadoop 發(fā)行版。編輯 etc/hadoop/hadoop-env.sh 文件，定義如下參數(shù)：
export JAVA_HOME=/usr/java/latest
1
2
嘗試如下命令：
$ bin/hadoop
1
將會顯示 hadoop 腳本的使用文檔。
現(xiàn)在你可以用以下三種支持的模式中的一種啟動 Hadoop 集群：
本地（單機）模式
偽分布式模式
完全分布式模式
默認情況下，Hadoop 被配置成以非分布式模式運行的一個獨立 Java 進程。這對調(diào)試非常有幫助。
下面的實例將已解壓的 conf 目錄拷貝作為輸入，查找并顯示匹配給定正則表達式的條目。輸出寫入到指定的 output 目錄。
$ mkdir input
$ cp etc/hadoop/.xml input
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'
$ cat output/
1
2
3
4
Hadoop 可以在單節(jié)點上以所謂的偽分布式模式運行，此時每一個 Hadoop 守護進程都作為一個獨立的 Java 進程運行。
配置
使用如下的:
etc/hadoop/core-site.xml:
1
2
3
4
5
6
etc/hadoop/hdfs-site.xml:
有興趣的可以繼續(xù)看下一章
很多人都知道我有大數(shù)據(jù)培訓(xùn)資料，都天真的以為我有全套的大數(shù)據(jù)開發(fā)、hadoop、spark等視頻學(xué)習(xí)資料。我想說你們是對的，我的確有大數(shù)據(jù)開發(fā)、hadoop、spark的全套視頻資料。
如果你對大數(shù)據(jù)開發(fā)感興趣可以加口群領(lǐng)取免費學(xué)習(xí)資料： 763835121
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
重慶分公司
重慶分公司
