环境搭建    2019-05-06 06:51:53    101    0    0

1.安装vmware

    版本 12.1

2.下载centos 7系统。

        http://101.44.1.4/files/50220000045FC39E/mirror.neu.edu.cn/centos/7.2.1511/isos/x86_64/CentOS-7-x86_64-Minimal-1511.iso

3. 修改网卡配置

    3.1 自动获取动态IP地址

    输入“ip addr”并按回车键确定,发现无法获取IP(CentOS 7默认没有ifconfig命令),记录下网卡名称(本例中为eno16777736)。

    输入“cd /etc/sysconfig/network-scripts/”按回车键确定,继续输入“ls”按回车键查看文件。

    输入“sudo vi ifcfg-eno16777736”并按回车键确定(网卡名称可能不同)。亦可在第二步直接输入“cd /etc/sysconfig/network-scripts/ifcfg-eno16777736”直接编辑文件。

    查看最后一项(红色框内),发现为“ONBOOT=no”

    按“i”键进入编辑状态,将最后一行“no”修改为“yes”,然后按“ESC”键退出编辑状态,并输入“:x”保存退出。

    输入“service network restart”重启服务,亦可输入“systemctl restart netwrok”。

    再次输入“ip addr”查看,现已可自动获取IP地址。

    2.设置静态IP地址

    输入“sudo vi ifcfg-eno16777736”并按回车键确定(网卡名称可能不同)。亦可在第二步直接输入“cd /etc/sysconfig/network-scripts/ifcfg-eno16777736”直接编辑文件。

    设置为“BOOTPROTO='static'”(如设置为none则禁止DHCP,static则启用静态IP地址,设置为dhcp则为开启DHCP服务).

    并修改其他部分设置, 本例中为192.168.1.200/24,GW:192.168.1.1。 注意:NM_CONTROLLED=no和ONBOOT=yes可根据需求进行设置。

BOOTPROTO="static" #dhcp改为static 
ONBOOT="y
2016-05-21 06:30:00    73    0    0

采集数据

./nmon_linux_x86_64 -s1 -c600 -f -m /home/ipms/test/

参数解释:

  • -s10 每 10 秒采集一次数据。
  • -c60 采集 60 次,即为采集十分钟的数据。
  • -f 生成的数据文件名中包含文件创建的时间。
  • -m 生成的数据文件的存放目录。

这样就会生成一个 nmon 文件,并每十秒更新一次,直到十分钟后。
生成的文件名如: _090824_1306.nmon


生成报表

下载 nmon analyser (生成性能报告的免费工具)

将之前生成的 nmon 数据文件传到 Windows 机器上,用 Excel 打开分析工具 nmon analyser v33C.xls 。

点击 Excel 文件中的 “Analyze nmon data” 按钮,选择 nmon 数据文件,这样就会生成一个分析后的结果文件: hostname_090824_1306.nmon.xls ,用 Excel打开生成的文件就可以看到结果了。

如果宏不能运行,需要做以下操作:
工具 -> 宏 -> 安全性 -> 中,然后再打开文件并允许运行宏。


附件
nmon_analyser_v46.zip
nmon_linux_x86_64

2019-05-06 06:51:53    22    0    0

下载FinalSpeed安装脚本

wget  https://github.com/dupontjoy/customization/raw/master/Rules/Shadowsocks/Finalspeed/install_fs.sh

添加执行权限

chmod +x install_fs.sh
./install_fs.sh

查看日志文件

cat /fs/server.log

卸载

sh /fs/stop.sh ; rm -rf /fs

启动

sh /fs/start.sh

停止

sh /fs/stop.sh

重新启动

sh /fs/restart.sh

日志

tail -f /fs/server.log

设置服务端口

默认udp 150和tcp 150 ,由于finalspeed的工作原理,请不要在本机防火墙开放finalspeed所使用的tcp端口.

mkdir -p /fs/cnf/ ; echo 端口号 > /fs/cnf/listen_port ; sh /fs/restart.sh

设置开机启动

chmod +x /etc/rc.local
vi /etc/rc.local
加入
sh /fs/start.sh

每天晚上3点自动重启

crontab -e

加入

0 3 * * *  sh /fs/restart.sh
2019-05-06 06:51:53    84    0    0

Downloading Mesos

  1. wget http://mirror.dsrg.utoronto.ca/apache/mesos/1.3.0/mesos-1.3.0.tar.gz
  2. tar -zxf mesos-1.3.0.tar.gz

System Requirements

Make sure your hostname is resolvable via DNS or via /etc/hosts to allow full support of Docker’s host-networking capabilities, needed for some of the Mesos tests. When in doubt, please validate that /etc/hosts contains your hostname.

CentOS 7.1

  1. # Install a few utility tools
  2. sudo yum install -y tar wget git
  3. #Fetch the Apache Maven repo file.
  4. sudo wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo
  5. # Install the EPEL repo so that we can pull in 'libserf-1' as part of our
  6. # subversion install below.
  7. sudo yum install -y epel-release
  8. # 'Mesos > 0.21.0' requires 'subversion > 1.8' devel package,
  9. # which is not available in the default repositories.
  10. # Create a WANdisco SVN repo file to install the correct version:
  11. sudo bash
2019-05-06 06:51:53    49    0    0

Installing KDCs

When setting up Kerberos in a production environment, it is best to have multiple slave KDCs alongside with a master KDC to ensure the continued availability of the Kerberized services.

Each KDC contains a copy of the Kerberos database. The master KDC contains the writable copy of the realm database, which it replicates to the slave KDCs at regular intervals. All database changes (such as password changes) are made on the master KDC. Slave KDCs provide Kerberos ticket-granting services, but not database administration, when the master KDC is unavailable.

Install and configure the master KDC

For the purpose of this document we will use the following names:

  1. kerberos.mit.edu - master KDC
  2. kerberos-1.mit.edu - slave KDC
  3. ATHENA.MIT.EDU - realm name
  4. .k5.ATHENA.MIT.EDU - stash file
  5. admin/admin - admin principal

See MIT Kerberos defaults for the default names and locations of the relevant to this

storm 环境搭建    2019-05-06 06:51:53    129    0    0

1. Storm集群组件

Storm集群中包含两类节点:主控节点(Master Node)和工作节点(Work Node)。其分别对应的角色如下:

  •  主控节点(Master Node)上运行一个被称为Nimbus的后台程序,它负责在Storm集群内分发代码,分配任务给工作机器,并且负责监控集群运行状态。Nimbus的作用类似于Hadoop中JobTracker的角色。
  •  每个工作节点(Work Node)上运行一个被称为Supervisor的后台程序。Supervisor负责监听从Nimbus分配给它执行的任务,据此启动或停止执行任务的工作进程。每一个工作进程执行一个Topology的子集;一个运行中的Topology由分布在不同工作节点上的多个工作进程组成。

 


Storm集群组件

 

Nimbus和Supervisor节点之间所有的协调工作是通过Zookeeper集群来实现的。此外,Nimbus和Supervisor进程都是快速失败(fail-fast)和无状态(stateless)的;Storm集群所有的状态要么在Zookeeper集群中,要么存储在本地磁盘上。这意味着你可以用kill -9来杀死Nimbus和Supervisor进程,它们在重启后可以继续工作。这个设计使得Storm集群拥有不可思议的稳定性。

 

2. 安装Storm集群

2.1 搭建Zookeeper集群

参考zookeeper集群搭建

2.2 安装Jdk 7

1. 下载并安装JDK 7;

2. 配置JAVA_HOME环境变量;

3. 运行java、javac命令,测试java正常安装。

2.3 下载并解压Storm发布版本

下一步,需要在Nimbus和Supervisor机器上安装Storm发行版本。

1. 下载Storm发行版本,推荐使用Storm0.10.0:

2. 解压到安装目录下(/home/ipms/storm-0.10.0)

3. 修改storm.yaml配置文件

1) storm.zookeeper.servers: Storm集群使用的Zookeeper集群地址,其格式如下:

storm.zookeeper.servers:
  - "111.222.333.444"
  - "555.666.777.888"​

如果Zookeeper集群使用的不是默认端口,那么还需要storm.zookeeper.port选项。

2

环境搭建 storm    2019-05-06 06:51:53    70    0    0
# Building Heron on CentOS 7 ## Step 1 - Install the required dependencies sudo yum install gcc gcc-c++ kernel-devel wget unzip zlib-devel zip git automake cmake patch libtool -y yum install
环境搭建 hadoop cdh    2019-05-06 06:51:53    53    0    0

Before You Begin

SSH Configuration

vi /etc/hosts
x.x.x.x linode01
x.x.x.x linode02
x.x.x.x linode03

hostnamectl set-hostname linode01

ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub linode01
ssh-copy-id -i ~/.ssh/id_rsa.pub linode02
ssh-copy-id -i ~/.ssh/id_rsa.pub linode03

Disable Firewall

systemctl stop firewalld.service
systemctl disable firewalld.service

Dependency

yum install psmisc -y
yum install libxslt-devel -y
yum install chkconfig bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb -y
yum install python-psycopg2 -y 
yum install snappy snappy-devel  -y

#NFS
yum install rpcbind -y
service rpcbind start

Install the Oracle JDK

cd /opt/
sudo wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn/java/jdk/7u80-b15/jdk-7u80-linux-x64
环境搭建 hadoop cdh    2019-05-06 06:51:53    39    0    0

Before You Begin

SSH Configuration

vi /etc/hosts
x.x.x.x linode01
x.x.x.x linode02
x.x.x.x linode03

hostnamectl set-hostname linode01

ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub linode01
ssh-copy-id -i ~/.ssh/id_rsa.pub linode02
ssh-copy-id -i ~/.ssh/id_rsa.pub linode03

Disable Firewall

systemctl stop firewalld.service
systemctl disable firewalld.service

Dependency

yum install psmisc -y
yum install libxslt-devel -y
yum install chkconfig bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb -y
yum install python-psycopg2 -y 
yum install snappy snappy-devel  -y

#NFS
yum install rpcbind -y
service rpcbind start

Install and Configure External Databases

sudo yum install postgresql-server postgresql -y
sudo su - postgres
initdb -D /var/lib/pgsql/data

#remote access
vi /var/lib/pgsql/data/postgresql.conf
listen_addresses ='*'

vi /var/lib/pgsql/data/pg_h
环境搭建 hadoop    2019-05-06 06:51:53    401    0    0

Overview

The NFS Gateway supports NFSv3 and allows HDFS to be mounted as part of the client’s local file system. Currently NFS Gateway supports and enables the following usage patterns:

  • Users can browse the HDFS file system through their local file system on NFSv3 client compatible operating systems.
  • Users can download files from the the HDFS file system on to their local file system.
  • Users can upload files from their local file system directly to the HDFS file system.
  • Users can stream data directly to HDFS through the mount point. File append is supported but random write is not supported.

The NFS gateway machine needs the same thing to run an HDFS client like Hadoop JAR files, HADOOP_CONF directory. The NFS gateway can be on the same host as DataNode, NameNode, or any HDFS client.

Configuration

in core-site.xml of the namenode, the following must be set( in non-secure mode)

<property>
  <name>hadoop.proxyuser.nfs
5/9