• <tfoot id='z87lrb52'></tfoot>
  • <small id='ezabe0ry'></small><noframes id='2j1v7mar'>

    您的位置:荆州电脑信息网 > win7问题 > 如何在windows7下安装spark

    如何在windows7下安装spark

    作者:电脑信息网日期:

    返回目录:win7问题


    WIN7下怎么安装iis教程:
    1
    点击开始→控制面板,然后再点击程序,勿点击卸载程序,否则到不了目标系统界面。

    2
    然后在程序和功能下面,点击打开和关闭windows功能。

    3
    进入Windows功能窗口,然后看到internet信息服务选项,然后按照图中设置即可,Ps:打√的选项下面为全选,方圈的下面按照图中打√的选择即可。

    4
    然后确定,会进入系统安装设置,此时可能需要等待两三分钟的样子。

    5
    安装成功后,窗口会消失,然后回到控制面板,选择系统和安全。

    6
    进入系统和安全窗口,然后选择左下角的管理工具。

    进入管理工具窗口,此时就7a64e4b893e5b19e330可以看到internet信息服务了,不过此时需注意,因为有两个大致相同的,需要选择的是internet信息服务(IIS)管理器。

    双击internet信息服务(IIS)管理器,进入到管理窗口,看上去很复杂,有三大主要功能:FTP,IIS,管理,现在需要设置都在IIS这个里面。

    点击左边的倒三角,就会看到网站下面的default web site,然后双击IIS下面的ASP.

    进入ASP设置窗口,行为下面的启用父路径,点击后面,修改为true,默认为false。

    然后再来设置高级设置,步骤:先点击default web site ,然后点击最下面的内容视图,再点击右边的高级设置。

    进入高级设置,需要修改的是物理路径,即本地文件程序存放的位置。

    再来设置端口问题,步骤:点击default web site 再点击最下面的内容视图,然后点击右边的编辑绑定。

    进入网址绑定窗口,也就是端口设置窗口,一般80端口很容易被占用,这里我们可以设置添加一个端口即可,如8080端口。

    此时,基本完成IIS的设置,不过有时候,可能还是不能顺利完成本地安装,此时需要注意一个问题,那就是默认文档中的选项是否含有default.html这个选项,没有就需要添加,才能顺利完成安装,步骤:回到主界面,然后点击IIS下面的默认文档。

    然后在内容视图下选择添加,输入default.html即可。

    2.1.2 在Windows上安装与配置Spark

    本节介绍在Windows系统上安装Spark的过程。在Windows环境下需要安装Cygwin模拟Linux的命令行环境来安装Spark。

    (1)安装JDK

    相对于Linux、Windows的JDK安装更加自动化,用户可以下载安装Oracle JDK或者OpenJDK。只安装JRE是不够的,用户应该下载整个JDK。

    安装过程十分简单,运行二进制可执行文件即可,程序会自动配置环境变量。e799bee5baa6e58685e5aeb9366

    (2)安装Cygwin

    Cygwin是在Windows平台下模拟Linux环境的一个非常有用的工具,只有通过它才可以在Windows环境下安装Hadoop和Spark。具体安装步骤如下。

    1)运行安装程序,选择install from internet。

    2)选择网络最好的下载源进行下载。

    3)进入Select Packages界面(见图2-2),然后进入Net,选择openssl及openssh。因为之后还是会用到ssh无密钥登录的。

    另外应该安装“Editors Category”下面的“vim”。这样就可以在Cygwin上方便地修改配置文件。

    最后需要配置环境变量,依次选择“我的电脑”→“属性”→“高级系统设置”→“环境变量”命令,更新环境变量中的path设置,在其后添加Cygwin的bin目录和Cygwin的usr\bin两个目录。

    (3)安装sshd并配置免密码登录

    1)双击桌面上的Cygwin图标,启动Cygwin,执行ssh-host-config -y命令,出现如图2-3所示的界面。

    2)执行后,提示输入密码,否则会退出该配置,此时输入密码和确认密码,按回车键。最后出现Host configuration finished.Have fun!表示安装成功。

    3)输入net start sshd,启动服务。或者在系统的服务中找到并启动Cygwin sshd服务。

    注意,如果是Windows 8操作系统,启动Cygwin时,需要以管理员身份运行(右击图标,选择以管理员身份运行),否则会因为权限问题,提示“发生系统错误5”。

    (4)配置SSH免密码登录

    1)执行ssh-keygen命令生成密钥文件,如图2-4所示。

    2)执行此命令后,在你的Cygwin\home\用户名路径下面会生成.ssh文件夹,可以通过命令ls -a /home/用户名 查看,通过ssh -version命令查看版本。

    3)执行完ssh-keygen命令后,再执行下面命令,生成authorized_keys文件。

    cd ~/.ssh/
    cp id_dsa.pub authorized_keys
    这样就配置好了sshd服务。

    (5)配置Hadoop

    修改和配置相关文件与Linux的配置一致,读者可以参照上文Linux中的配置方式,这里不再赘述。

    (6)配置Spark

    修改和配置相关文件与Linux的配置一致,读者可以参照上文Linux中的配置方式,这里不再赘述。

    (7)运行Spark

    1)Spark的启动与关闭

    ①在Spark根目录启动Spark。

    ./sbin/start-all.sh
    ②关闭Spark。

    ./sbin/stop-all.sh
    2)Hadoop的启动与关闭

    ①在Hadoop根目录启动Hadoop。

    ./sbin/start-all.sh
    ②关闭Hadoop。

    ./sbin/stop-all.sh
    3)检测是否安装成功

    正常状态下会出现如下内容。

    -bash-4.1# jps
    23526 Jps
    2127 Master
    7396 NameNode
    7594 SecondaryNameNode
    7681 ResourceManager
    1053 DataNode
    31935 NodeManager
    1405 Worker
    如缺少进程请到logs文件夹下查看相应日志,针对具体问题进行解决。
    其实,我想说,起初学习Hadoop的一些经验对现在学习和理解spark有了很大的帮助,尤其反反复复几次Hadoop的配置,现在linux基础指令和spark安装,比较顺手了,出错了也知道哪里遗漏了。

    肯定第一步是配置spark环境:包括linux系统的安装,java,ssh,Hadoop,Scala,spark的安装与环境变量设置。虽说简单,但对于初学者说,尤其是没有使用过linux系统的,还是有些挑战。其中遗漏一些细节问题,都会出错。

    第二步:java学习。会java的可以忽略,不会的建议还是学习下java,虽说可以跳过java直接学习Scala,但是Scala毕竟和java联系密切,教材中也经常拿Scala和Java做比较。掌握Java基础就行,最差就是能看懂吧。。

    第三步:Hadoop学习。HDFS,MR计算框架,必须得知道吧。spark也是需要在HDFS上进行数据获取的,学习Hadoop才能知道其不足,明白spark的优势,为什么Hadoop必死。在hdfs的操作指令也必须掌握。能会写MapReduce程序就再好不过了。(我还不会。e79fa5e98193e4b893e5b19e365。。)

    第四步:Scala学习。函数式编程,重点明白这个吧。一些trait什么的使用,会java了这些都是小菜,本质一样,表达方式不同而已。所以。再次强调要学习JAVA。对我来说,不需要深入学习Scala编程,只需能看懂,而且会使用Scala操作RDD就行。后面的复杂高级编程我没学,以后用到再看。

    第五步:就是spark学习。当然,最好学习spark的方式就是看官方文档,读源码,看博客(博客写的都太简单,没有特别深入的),看RDD的论文,作业如何调度,什么什么的。对于英语水平不高,阅读官方文档略困难的童鞋,推荐某研究院的spark官方文档中文翻译,还是很全的。不推荐买国内的书看,想看度娘参考下就行了,所以。英语也得提升啊。

    其实,我想说,起初学习Hadoop的一些经验对现在学习和理解spark有了很大的帮助,尤其反反复复几次Hadoop的配置,现在linux基础指令和spark安装,比较顺手了,出错了也知道哪里遗漏了。
    肯定第一步是配置spark环境:包括linux系统的安装,java,ssh,Hadoop,Scala,spark的安装与环境变量设置。虽说简单,但对于初学者说,尤其是没有使用过linux系统的,还是有些挑战。其中遗漏一些细节问题,都会7a686964616fe58685e5aeb9331出错。

    第二步:java学习。会java的可以忽略,不会的建议还是学习下java,虽说可以跳过java直接学习Scala,但是Scala毕竟和java联系密切,教材中也经常拿Scala和Java做比较。掌握Java基础就行,最差就是能看懂吧。。

    第三步:Hadoop学习。HDFS,MR计算框架,必须得知道吧。spark也是需要在HDFS上进行数据获取的,学习Hadoop才能知道其不足,明白spark的优势,为什么Hadoop必死。在hdfs的操作指令也必须掌握。能会写MapReduce程序就再好不过了。(我还不会。。。)

    第四步:Scala学习。函数式编程,重点明白这个吧。一些trait什么的使用,会java了这些都是小菜,本质一样,表达方式不同而已。所以。再次强调要学习JAVA。对我来说,不需要深入学习Scala编程,只需能看懂,而且会使用Scala操作RDD就行。后面的复杂高级编程我没学,以后用到再看。

    第五步:就是spark学习。当然,最好学习spark的方式就是看官方文档,读源码,看博客(博客写的都太简单,没有特别深入的),看RDD的论文,作业如何调度,什么什么的。对于英语水平不高,阅读官方文档略困难的童鞋,推荐某研究院的spark官方文档中文翻译,还是很全的。不推荐买国内的书看,想看度娘参考下就行了,所以。英语也得提升啊。

    • <tfoot id='kbwpv2pi'></tfoot>

        <tbody id='wf8oivnp'></tbody>
    • <small id='429bgh5c'></small><noframes id='zn4jn55h'>

      相关阅读

      • 如何在windows7下安装spark

      • 电脑信息网win7问题
      • WIN7下怎么安装iis教程:1点击开始→控制面板,然后再点击程序,勿点击卸载程序,否则到不了目标系统界面。2然后在程序和功能下面,点击打开和关闭windows功能。3进入Windows功能窗口
      关键词不能为空

      标签导航

      如何在win7 里面安装JAVA 如何在win7系统搭建Java环境 win7 旗舰版 操作系统环境下、如何配置java“环境变量... 怎么在Win7系统下安装java和eclipse 以及设置环... win10笔记本接通电源无法进入睡眠 电脑设置了十分钟进入睡眠,为什么还是一分钟就睡眠了,接通电源... 5分钟不碰就自动黑屏处于睡眠状态 我已经在电... win10系统电源设置中休眠和睡眠的区别 win10电脑 如何在本地安装运行Spark? 怎么一键安装Spark spark在win7下安装是乱码,急求解决! 如何在windows7安装iis 如何设置win10电源选项高级设置 win10怎么开启高能电源管理 win10怎么启用高级电源管理 win10系统如何打开高级电源管理支持 内存占用有时突然飙升到90% 没有运行什么程序 Win7物理内存突然飙升到90%以上,并且居高不下... 内存突然变成90%以上 cpu使用率也突然飙到90% 为什么电脑有时候自动重启 不开软件CPU占用率也会达到90% win10 csgo更新后闪退有没有一样的 求助!!win10玩游戏退出后桌面特别卡 win10运行CSGO后,CPU占用超高 WIN10玩CSGO比在WIN7玩fps掉了几十,不是说wi... win7字体乱码后用360修复,字体却没有以前看起来顺眼 win7系统乱码怎么修复,网上说的改语言也不行 win7系统字体显示不正常怎么办 字体如何还原 win7系统出现字体乱码显示不正常的解决方法? Win10自带视频录制功能怎么使用 如何设置按win+G启用Win10自带屏幕录制功能 win10按win键+G键可以打开视频录制,为什么要打开Xb... Win10如何利用Win+G快捷键录制屏幕 以win7为例子如何将安卓手机投射到电脑屏幕? 投射屏幕到win7电脑上怎么设置? 求教,如何把安卓手机屏幕投射到win7电脑上 投射屏幕到win7电脑上怎么设置,具体的 怎么设置win10 mobile hotspot win10无法启动windows mobile 设备中心怎么... 如何查看win10mobile的系统文件 稳安快ghost win7 sp1 x64 纯净版v6.8 ... 联想稳安快 ghost win7 sp1 ×86 极限精简版... 求教;稳安快 GHOST Win7 SP1 x64 超级精简... windows10怎么关闭通知中心 windows10怎么关闭通知 Windows 10怎么彻底关闭消息通知 windows10通知怎么设置 我的电脑(win7家庭普通版64位)安装jdk怎么不行 jdk-7-windows-i586 64位和32位是兼容的... win7 32位的系统,下载哪个Jdk可以使用? win7家庭版32位的 能安装上java吗

      电脑蓝屏,win7,win10相关问题_荆州电脑信息网