• 欢迎来到魔据教育大数据学院,专注大数据工程师培养!
    当前位置:首页 > 学习资料 > 讲师博文 > sparkR安装文档

    sparkR安装文档

    时间:2017-08-16 09:11:45作者:[!--zuozhe--]

     

    sparkR安装文档
    R是用于统计分析、绘图的语言和操作环境。R属于GNU系统的一个自由、免费、源代码开放的软件,它是一个广泛应用于统计计算和统计制图的优秀编程语言,但是其交互式使用通常局限于一台机器。为了能够使用R语言分析大规模分布式的数据,spark1.4开始推出sparkR,sparkR就是用R语言进行编程建模,计算分析依赖于Spark等大数据?#25945;ā?#23427;可以允许数据科学家分析大规模的数据集,并通过R shell交互式的在sparkR上运行作业。
    具体安装整合操作如下:
    安装环境准备:
    CentOs6.5及以上版本
    JDK    1.7/1.8
    HDP    2.6(社区版)
    R      3.3.3  
    1.先安装spark,我们使用的是社区版HDP2.6,具体安装过程参考https://jinshuju.net/f/Ebi2Au,安装过程中注意勾选livy server(后面连接spark时会使用到)服务,界面如下:

    2.安装R语言环境,执行以下命令安装
    su root
    yum -y install epel-release
    yum -y update
    yum -y install curl curl-devel
    yum -y install libxml2 libxml2-devel openssl-devel.x86_64
    yum -y install gcc glibc-headers gcc-c++ gcc-gfortran readline-devel
    libXt-devel
    yum install gnutls-devel.x86_64
    yum -y install libcurl libcurl-devel
    yum -y install R
    ü 安装截图如下:

    ü 安装完成,输入R命令进入shell操作界面,如下图:

    ü 安装完成R语言,要在R语言中添加sparkR的包,在R脚?#23616;?#34892;以下命令:
    install.packages("sparklyr")
    安装过程中会出现源选择,建议选择China(beijing)
    ü 安装完成即可通过library(sparklyr)加载sparkR的包即可使用。
    ü  

    更多大数据相关资讯敬请关注魔据教育,为您分享最及时的大数据资讯。
    学习大数据敬请关注魔据教育微信二维码。
    魔据教育微信二维码

    【版权与免责声明】如发现内容存在版权问题,烦请提供相关信息发?#22987;?#33267;[email protected],我们将及时沟通与处理。本站内容除非来源注明魔据教育,否则均为网友转载,涉及言论、版权与本站无关。

    全国咨询热线:18501996998,值班手机:18501996998(7*24小时)

    在线咨询:张老师QQ 320169340

    企业合作服务专线:010-82340234-821, 院校合作洽谈专线:010-82340234

    Copyright 2001-2019 魔据教育 - 北京华育兴业科技有限公司 版权所?#26657;?#20140;ICP备17018991号-2

    安徽十一选五开奖号码