凉月の博客

ZooKeeper 集群使用。

鉴于 ZooKeeper 本身的特点，服务器集群的节点数推荐设置为奇数台。

ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是 Google 的 Chubby一个开源的实现。

介绍一下到底什么是CAP理论，如何证明CAP理论，以及CAP的权衡问题

介绍一下到底什么是CAP理论，如何证明CAP理论，以及CAP的权衡问题

接下来就是上代码了，这里使用java调用API说明。 配置环境： 这里是在windows下的环境配置，我在mac环境下没有配置程序也能够运行。 将hadoop的插件包放置在eclipse的安装目录的plugins hadoop-eclipse-plugin-2.7.5.jar 添加过去。 编译好的jarhttps://github.com/HuangDongdong666/Hadoop-eclipse-plugin-2.8.3 配置本地的hadoop环境 安装单机版的windows下的hadoop ,用于代码调试 解压hadoop的安装包 配置hadoop的windows下的环境变量 12HADOOP_HOME=C:\soft\hadoop-3.2.1PATH= 末尾追加 ;%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin 添加插件https://github.com/cdarlint/winutils hadoop.dll放在windows下的System32文件夹下 将winutil.exe放在hadoop安装目录的bin目录下 重启 ...

环境搭建好了后，就是操作了，先介绍在命令行下的操作。 shell操作方式 必须在hadoop的安装的节点上 1234567891011121314151617181920212223242526272829303132333435363738394041hadoop fs [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...] [-chown [-R] [OWNER][:[GROUP]] PATH...] [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <ds ...

之前一直在windows上，通过VMware软件搭建hadoop集群，尝试过使用docker进行搭建，在 Windows 环境下跑程序，需要winutils.exe ,hadoop.dll 遇到了种种问题。本着尝试的原则使用了黑苹果。搭建后的问题都没有啦。总算是解决了环境的问题。下面就记录下。 准备 VMware Fusion:虚拟机 Termius：连接虚拟机，mac自带的终端也不错 Transmit：ftp连接虚拟机 软件工具包： java8-linux.tar.gz Hadoop3.2.1.tar.gz CentOS 镜像文件 虚拟机安装CentOS 推荐先创建一个CentOS，配置好下面的所有内容(包括hadoop的安装)后，再克隆出3份。 使用VMwae Fusion 创建CentOS的虚拟机，之后要克隆2个，我要搭建完全分布式。 修改ip地址为静态IP 修改主机名分别为 hadoop01, hadoop02, hadoop03 关闭防火墙和selinux (自己学习为了简单) Yum 换国内源 ，安装 vim, tree, net-tools等常用工具 ...

可能对于很多开发来说，只要搞懂Git的push、pull、解决一些简单的冲突命令就好了，事实上Git的功能十分强大，而通过背命令很难熟记每个逻辑。当然不同的ide开发环境都有各种各样的Git插件，操作方法各不相同，不如直接学个跨平台，不受ide限制的Git管理工具Sourcetree。不管你做Java，还是Python、Android都可以使用。 介绍官方介绍 A free Git client for Windows and MacSourcetree simplifies how you interact with your Git repositories so you can focus on coding. Visualize and manage your repositories through Sourcetree’s simple Git GUI. 译文 一款强大的Windows和Mac的免费Git客户端Sourcetree简化你如何与你的Git存储库使您可以专注于编码。可视化和通过Sourcetree简单的Git GUI管理你的知识库。 一点坑 下载: ...

统⼀解决了node和npm版本管理的问题。