添加链接 注册    登录
link之家
链接快照平台
  • 输入网页链接，自动生成快照
  • 标签化管理网页链接
相关文章推荐
苦恼的荔枝  ·  Shell脚本使用jq解析json_shel ...·  7 月前    · 
面冷心慈的大象  ·  VS string转CString - ...·  9 月前    · 
豁达的钱包  ·  兰州大学2023年强基计划校考入围划线及考试 ...·  11 月前    · 
淡定的啄木鸟  ·  在OAuth ...·  1 年前    · 
link之家  ›  Windows环境搭建Hadoop源码阅读环境(爬坑)--不念过去,无畏将来_小1天的博客
linux系统 hadoop开发环境搭建 hadoop 源码
https://blog.csdn.net/qq_36553370/article/details/106730117
年轻有为的墨镜
1 年前

Windows环境搭建Hadoop源码阅读环境(爬坑)–不念过去,无畏将来

1.脱坑后的感受

每天早早的下班后,也是无趣.于是乎就想阅读下hadoop的源码,毕竟自己每天也要和Hadoop生态圈的这些东西打交道.

2.环境准备

缺安装包的朋友可以从下面的链接获取,有可能和我的版本不一致,问题不大.

注意,一定要为这些工具配置环境变量

链接：https://pan.baidu.com/s/1AWheywYcWRt-eTelSLYpNg
提取码：81bj

  1. 操作系统: Window10
  2. java 版本: 1.8.0_112
  3. maven: 3.5.3
  4. cmake:3.12.0-rc1
  5. protobuf:2.5.0
  6. protoc:2.5.0
  7. msbuild:安装vscode就会有的,但是要配置环境变量,也可以单独下载

2.1环境变量的配置

这里以msbuild&cmake为例:

  1. 找到msbuild&cmake的安装路径,复制路径
  2. 打开系统环境变量中的path变量
  3. 新建后把复制的路径粘贴进去
  4. 注意重新打开一个cmd窗口在验证是否配置成功.

自己配置的时候因为没重新打开cmd结果死活都搞出来,一直折腾到了晚上3点,当时都快哭了,曾一度想放弃,但是我是放弃的人吗…哈哈哈哈
在这里插入图片描述
​ 安装完vscode,msbuild的路径应该和我一致,但不排除自定义位置的msbuild安装
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
打开新的cmd窗口查看版本,验证是否配置成功

3.使用maven编译源码

国内用户一定要把仓库的地址换为阿里云,也可以直接修改源码根目录的pom.xml
在这里插入图片描述
​ 仓库的setting.xml修改
源码根目录的pom.xml文件修改

3.1开始编译

注意一定要在bash环境下编译,可以使用GitBash环境,然后运行以下命令:mvn -DskipTests clean package,按下Enter就开始编译吧

3.2将编译好的hadoop源码通过pom.xml导入idea中

3.3后记

  • 编译过程中肯定会遇到各种问题,不要心急慢慢排查即可,百度是个好东西…
  • 动手能力强的建议自己搭建源码阅读环境,也可以使用我编译成功的
  • 注意最好不要使用包含中文字符及特殊符号的路径
  • 有问题下面评论区呼叫我…
基于 Windows 10 64位。 Hadoop -2.8.3，winutils-2.8.3。 1，下载 Hadoop 发布的稳定包：https://archive.apache.org/dist/ hadoop /common/ 下载后把文件解压，如图： 前面我们已经讲过了在，还没看过的可以先去了解一下安装流程。今天我们来看一下如何在Window下安装 Hadoop ，这其实和在Linux下的安装都是大同小异的。下面我们具体来看一下安装步骤。 在 Windows 上安装 Hadoop 时经常会出现许多错误，很多用户使用基于Linux的操作系统。本文详细讲述如何在 Windows 上安装和运行Apache Hadoop ，如果遇到了问题，可以参考文章中的步骤进行解决。 Hadoop 都是在Linux上安装、配置、操作的，那么 Hadoop 可以在 Windows 上安装、运行吗？ 答：我们知道 Hadoop 官网只提供了 Hadoop 的tar.gz安装包，显然是属于Linux系统的。但其实 Windows 系统也可以安装 Hadoop ，如果想在 Windows 上安装，我们将linux上的tar.gz这个安装包解压缩一下就可以了。（使用软件7-zip） 一、 Windows 上安装 hadoop 步骤 第一步 将linux上的tar.gz安装包解压缩 需要解压缩两... 2、 Hadoop 2.8.3，下载地址：http://archive.apache.org/dist/ hadoop /core/ Hadoop 2.8.3 windows 环境 下的第三方包：winutils， https://github.com/stevelough... https://www.cnblogs.com/caiyishuai/p/12392070.html https://blog.csdn.net/qq_35535690/article/details/81976032 1.首先下载 hadoop 2.7.1和 hadoop on windows -master.zip 链接：https://pan.baidu.com/s/1M2i8prhEPFOIROG_EIYhJw 提取码：acif 下载并解压到本地 我是放到了的D盘 2.原版的 Hadoop 不支持Win. 因此，如果你要在生产 环境 中使用 Hadoop ，并且你有选择的余地，那么在Linux上使用 Hadoop 可能是更常见和推荐的选择。需要注意的是，在 Windows 上使用 Hadoop 可能会面临一些挑战和限制。因为 Hadoop 是为Linux 环境 开发的，一些 Hadoop 生态系统的工具、库和功能可能在 Windows 上的支持不如在Linux上完整和稳定。 Hadoop 可以在 Windows 和Linux等多个操作系统上使用，但它最初是为Linux 环境 设计和开发的，因此在Linux上使用 Hadoop 更为常见和广泛支持。
 
推荐文章
苦恼的荔枝  ·  Shell脚本使用jq解析json_shell jq读取json位置-CSDN博客
7 月前
面冷心慈的大象  ·  VS string转CString - CSDN文库
9 月前
豁达的钱包  ·  兰州大学2023年强基计划校考入围划线及考试相关事项公告<div><br/></div> - 兰州大学本科招生网
11 月前
淡定的啄木鸟  ·  在OAuth 2中模仿DefaultTokenServices写一个新的tokenServices来提供个性化服务 -腾讯云开发者社区-腾讯云
1 年前
今天看啥   ·   Py中国   ·   codingpro   ·   小百科   ·   link之家   ·   卧龙AI搜索
删除内容请联系邮箱 2879853325@qq.com
link之家 - 链接快照平台
© 2024 ~ 沪ICP备11025650号