软件环境:
OS:RHEL 6
JDK:openjdk
eclipse:kepler
1.安装JDK
1.配置环境变量,打开/etc/profile,添加下列代码:
export JAVA_HOME=/usr/lib/jvm/java-openjdk
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
2.安装hadoop
1.下载hadoop-2.2.0.tar.gz,解压到/hadoop
2.配置环境变量,打开/etc/environment,添加下列代码:
export HADOOP_HOME=/hadoop
export PATH=/usr/lib64/qt-3.3/bin:/usr/local/sbin:/usr/sbin:/sbin:/usr/local/bin:/usr/bin:/bin:/root/bin:/hadoop/bin:/hadoop/sbin
3.写入两批环境变量
# source /etc/profile
# source /etc/environment
4.查看是否安装hadoop成功
# hadoop version
5.安装hadoop-eclipse插件
1.下载hadoop-eclipse-kepler-plugin-2.2.0.jar (必须和安装的hadoop是同一版本)
2.拷贝到kepler-eclipse的plugins文件夹下
6.修改hadoop下的配置文件
core-site.xml修改为:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml修改为:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml修改为:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:8021</value>
</property>
</configuration>
hadoop-env.sh修改JAVA_HOME为:
export JAVA_HOME=/usr/lib/jvm/java-openjdk
7.配置SSH的localhost免密码登录
# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/autorized_keys
8.格式化hdfs文件系统
# hadoop namenode -format
9.启动守护进程
# start-all.sh
(关闭守护进程:# stop-all.sh)
10.配置eclipse里面的DFS Location
(1)打开Window-->Preferens,会发现Hadoop Map/Reduce选项,在这个选项里需要填写Hadoop安装目录。
(2)在Window-->Show View中打开Map/Reduce Locations。
(3)在Map/Reduce Locations中新建一个Hadoop Location。在这个View中,右键-->New Hadoop Location。
(4)随意命名location name
(5)Map/Reduce master的配置按照mapred-site.xml的配置
(6)DFS master 的配置按照hdfs-site.xml的配置
(7)project explore 下的DFS loacations 下的DFS能打开,即可。
11.新建map/reduce项目
...
相关推荐
第1章 初识Hadoop 数据!数据! 数据存储与分析 与其他系统相比 关系型数据库管理系统 网格计算 志愿计算 1.3.4 Hadoop 发展简史 Apache Hadoop和Hadoop生态圈 第2章 关于MapReduce 一个气象数据...
【大数据入门笔记系列】第五节 SpringBoot集成hadoop开发环境(复杂版的WordCount)前言环境清单创建SpringBoot项目创建包创建yml添加集群主机名映射hadoop配置文件环境变量HADOOP_HOME编写代码添加hadoop依赖jar包...
第一章 Kerberos简介 第二章 环境准备 2.1 使用软件版本信息介绍 2.2 节点架构介绍 2.3 基础系统环境准备 第三章 Kerberos框架搭建 3.1 Kerberos Server搭建 3.2 Kerberos Client搭建 3.3 规划principal 第四章 配置...
本文分两部分 第一部分为Hadoop2 5 1集群的架设 基于CentOS 7操作系统;第二部分是基于Windows 7 64位Eclipse开发环境的配置 若严格按本文步骤执行的话应该可以配置环境完成(没把握的话连空格都不要改动 血的教训 ...
第1~2章详细地介绍了Hadoop的生态系统、关键技术以及安装和配置;第3章是MapReduce的使用入门,让读者了解整个开发过程;第4~5章详细讲解了分布式文件系统HDFS和Hadoop的文件I/O;第6章分析了MapReduce的工作原理...
第1章 初识Hadoop 数据!数据! 数据存储与分析 与其他系统相比 关系型数据库管理系统 网格计算 志愿计算 1.3.4 Hadoop 发展简史 Apache Hadoop和Hadoop生态圈 第2章 关于MapReduce 一个气象数据集 数据的格式 使用...
hadoop的环境搭建过程.方便第一次使用hadoop的同学.快速搭建环境
第1章 HDFS HA及解决方案 1.1 HDFS系统架构 1.2 HA定义 1.3 HDFS HA原因分析及应对措施 1.3.1 可靠性 1.3.2 可维护性 1.4 现有HDFS HA解决方案 1.4.1 Hadoop的元数据备份方案 1.4.2 Hadoop的SecondaryNameNode方案 ...
第1~2章详细地介绍了Hadoop的生态系统、关键技术以及安装和配置;第3章是MapReduce的使用入门,让读者了解整个开发过程;第4~5章详细讲解了分布式文件系统HDFS和Hadoop的文件I/O;第6章分析了MapReduce的工作原理...
第一部分核心设计篇 第1 章HDFS 的数据存储………….. .....………………… ……………………····· ··· …..... ... 2 1.1 HDFS 内存存储...............…·······················...
第一步:找到你的搭建Hadoop配置bin的文件夹 我这里是用一个文件夹专门来放bin。 第二步:配置环境变量 建立一个变量名为HADOOP_HOME来配置bin的上一个文件夹。 然后将其配置到本地Path当中。 第三步:重新启动...
大数据项目组人员配置 演讲人 2021-08-08 大数据项目组人员配置全文共27页,当前为第1页。 目录 01. 背景 07. 产品设计类 03. 出发点 05. 基础平台类 02. 目标分析 04. 人员配置结构 06. 技术研发类 08. 实施项目...
集群网络连接;3.1.1 实验环境下大数据Hadoop平台集群网络;对于实验环境下Hadoop集群网络需考虑地址规划、连通性。由于实验环境下数据负载较小、可靠性要求不高,链路一般采用...登录时,远程主机会向用户发送一段随机字
第一章:大数据统一化终端需求 1.大数据框架集成弊端 2.Hue统一化的框架解决方案 3.Hue的设计思想 4.Hue的架构及原理 第二章:Hue的定制化编译与部署 1.Hue的依赖环境构建 2.Hue基础配置更改 3.Hue定制...
大数据开发笔试全文共4页,当前为第1页。大数据开发笔试全文共4页,当前为第1页。1、 hdfs原理,以及各个模块的职责 大数据开发笔试全文共4页,当前为第1页。 大数据开发笔试全文共4页,当前为第1页。 答:Hadoop ...
本次是在VM12虚拟机中实现Cent OS 64 的安装以及配置,后续还会有Hadoop的安装配置教程,我们先来进行第一步。 一、VMware 12 Install CentOS 64(Linux)OS create a new vm->there I screenshot my settings in ...
本文档详细的描述了大数据平台的搭建过程,包括前期所需软件的下载,虚拟机系统的安装和配置,以及jdk的安装配置.Hadoop的安装配置和调试验证,以及到最后的HIVE的安装和调试过程,内付整个过程的代码.很详尽,可以说是...
第1章 网站架构及其演变过程2 1.1 软件的三大类型2 1.2 基础的结构并不简单3 1.3 架构演变的起点5 1.4 海量数据的解决方案5 1.4.1 缓存和页面静态化5 1.4.2 数据库优化6 1.4.3 分离活跃数据8 1.4.4 批量...
第一部分(第1~2章)阐述ApacheZooKeeper这类系统的设计目的和动机,并介绍分布式系统的一些必要背景知识。第1章介绍ZooKeeper可以做什么,以及其设计如何支撑这些任务。第2章介绍基本概念和基本组成模块,并通过...
Hibernate是后来又补上的,最早的版本没有是因为第一个版本是为游戏服务器架构的,唯快不破的准则放弃了Hibernate,而后面增加回来是基于后台管理功能的需要。这一过程纠正了我一个开发框架中只能存在一个ORM的想法...