Psyche's Blog

置顶 mr on yarn流程/yarn架构设计

this is about mr on yarn

mr on yarn流程/yarn架构设计 MapReduce 分布式计算框架 map映射 指的是一组数据按照规则映射为一组 string=a b a (a,1) (b,1) (a,1) reduce 归约 汇总 ​ (a,2) ​ (b,1) 【shuffle】 洗牌 ​ 数据根据key进行网络传输规整到一起，按规则计算 ​ hadoop001 id=1 name=a ......

Posted by PsycheLee on 2018-09-08

shell

置顶 Hive_3

this is about Hive

Hive_3 PARTITIONED BY 分区表 用于操作日志表：记录日志、查询操作 who when what op_log_20300501 <== op_log_20300502 <== 普通表: /user/hive/warehouse/ruozedata_hive.db/access /1.log ......

Posted by PsycheLee on 2018-09-08

shell

置顶 hadoop参数调优

this is about hadoop parameters

hadoop参数调优 container 容器 关于yarn的调优，其实就是调整container 虚拟化 是memory + cpu vcore组成的 是专门运行任务 生产上应该如何调优container参数？ 假设128G 16 物理core 1.1 系统装完 消耗 （1G） 1.2 系统要预留20%内存 （1G） ​ 给当前进程服务，防止出现oom-kill机制 ​ ......

Posted by PsycheLee on 2018-09-08

shell

置顶 hive(2)

this is about hive

hive(2) Load 语法: ​ LOAD DATA [LOCAL] INPATH ‘filepath’ [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 …)] 说明: ​ LOAD DATA：加载数据 ​ LOCAL：可有可无 有：从本地[Hive客户端]加载数据到Hive表 ......

Posted by PsycheLee on 2018-09-08

shell

置顶 Sqoop

this is about Sqoop

Sqoop 说明 ​ 在关系型数据库和Hadoop之上建立了一个桥梁 ​ 让我们方便的完成数据的导入导出操作 ​ Sqoop的底层使用MR来完成的 RDBMS ==> Hadoop(HDFS/Hive/HBase…) emp MR : code Hadoop(HDFS/Hive/HBase…) ==> RDBMS 版本 1.4.7 Sqoop1 1.99.7 Sqoop......

Posted by PsycheLee on 2019-09-08

shell

置顶 Zookeeper

This is about Zookeeper

Zookeeper 是什么? ​ 协调管理 ​ 分布式系统: 多个节点组成 存储的数据模型 层次化的目录结构 每个节点是znode 临时节点 session过期后被删除 不能有子节点 有序 永久节点 如果不手动删除,不会自动被删除 可以有子节点 有序 znode特点 身份id, 版本号 修改\删除, 如果版本号不匹配, 会报错 zk上的数据较小 可以为znode添加......

Posted by PsycheLee on 2015-09-08

shell

置顶 Flume入门

This is about flume

Flume入门 介绍 背景 hdfs dfs -put … hdfs_path crontab 定时去put 时效性 完整性 监控 压缩 安全性 … Flume 针对日志数据进行收集的一个框架 A ==> B Flume使用时就是编写配置文件 有时需求直接使用Flume的build-in，是满足不了了 二次开发 TODO… 官网: Flume User......

Posted by PsycheLee on 2015-09-08

shell

置顶 hadoopHA部署

This is about hadoop HA

hadoopHA部署 1.阿里云三台机器 按量付费 1.1window的hosts文件 C:\Windows\System32\drivers\etc\HOSTS 外网ip 机器名称 停机不收费 ，其实只是收费极低 1.2 运行hostname lxl001命令修改主机名 linux的hosts文件 /etc/hosts,三个机器名都需要追加到三台机器的hosts文件 追加 内网IP 机器......

Posted by PsycheLee on 2017-09-08

shell

置顶 rundeck入门

This is about rundeck

rundeck入门 调度工具 crontab azkaban rundeck xxl_job 部署 jdk1.8 下载上传到linux 将war包压缩后上传到linux 运行 启动 1234567891011121314151617181920212223242526272829303132333435新建文件夹rundeck[bigdata@hadoop001 app]$ lltota......

Posted by PsycheLee on 2015-09-08

shell

置顶 jdk的linux安装

This is about jdk

Title ...

Posted by PsycheLee on 2015-09-08

shell

FEATURED TAGS
shell MySQL linux
ABOUT ME

程序媛的学习之路

RECENT POSTS
FRIENDS
ARCHIVES