跳转到内容

Rethink

薛鹏的个人博客

搜索:
  • 首页
  • 首页
  • 关于本站
  • 关于本站

Hadoop类别订阅

RETHINK HADOOP3.0 之九:Yarn里的Fair scheduler

在Yarn里另一种资源调度器是Fair Scheduler公平调度器。它的基本思想是每个任务都是公平… 继续阅读 RETHINK HADOOP3.0 之九:Yarn里的Fair scheduler

  • 发表于: 2018年1月12日 2018年1月24日
  • 作者: Mark
  • 分类: Hadoop
  • 发表评论: RETHINK HADOOP3.0 之九:Yarn里的Fair scheduler

RETHINK HADOOP3.0 之八:Yarn里的Capacity scheduler

你肯定去餐厅点过菜,假如当时有很多顾客都在点菜,你会发现饭店有自己的策略来安排有限的厨师来为大家服务… 继续阅读 RETHINK HADOOP3.0 之八:Yarn里的Capacity scheduler

  • 发表于: 2018年1月11日 2018年3月12日
  • 作者: Mark
  • 分类: Hadoop
  • 发表评论: RETHINK HADOOP3.0 之八:Yarn里的Capacity scheduler

RETHINK HADOOP3.0 之七:一个Applicaiton是如何在YARN里运行的

大多数时候我们使用的应用比如MapReduce,Spark都是构建在Yarn之上的。我们并不需要自己… 继续阅读 RETHINK HADOOP3.0 之七:一个Applicaiton是如何在YARN里运行的

  • 发表于: 2018年1月8日 2018年1月9日
  • 作者: Mark
  • 分类: Hadoop
  • 发表评论: RETHINK HADOOP3.0 之七:一个Applicaiton是如何在YARN里运行的

RETHINK HADOOP3.0 之六:YARN 是什么

YARN (Yet Another Resource Negotiator)字面翻译是“一个资源调度… 继续阅读 RETHINK HADOOP3.0 之六:YARN 是什么

  • 发表于: 2018年1月5日 2018年1月24日
  • 作者: Mark
  • 分类: Hadoop
  • 发表评论: RETHINK HADOOP3.0 之六:YARN 是什么

RETHINK HADOOP3.0 之五:MAPREDUCE 下

书接上回,还是我们数豆子的程序,这次我们做一些改进。 combiner 我们之前的例子里每个mapp… 继续阅读 RETHINK HADOOP3.0 之五:MAPREDUCE 下

  • 发表于: 2018年1月3日 2018年1月3日
  • 作者: Mark
  • 分类: Hadoop
  • 发表评论: RETHINK HADOOP3.0 之五:MAPREDUCE 下

Rethink Hadoop3.0 之四:MapReduce 上

对于Hadoop集群来说,如果我们只用它的HDFS来存放数据那就大材小用了。Hadoop另个一更重要… 继续阅读 Rethink Hadoop3.0 之四:MapReduce 上

  • 发表于: 2018年1月2日 2018年1月3日
  • 作者: Mark
  • 分类: Hadoop
  • 发表评论: Rethink Hadoop3.0 之四:MapReduce 上

Rethink Hadoop 3.0 之三:对HDFS的操作

HDFS里文件操作的命令都是通过 hdfs dfs 和对文件操作的命令以及参数构成的。比如我们在Li… 继续阅读 Rethink Hadoop 3.0 之三:对HDFS的操作

  • 格式: 日志
  • 发表于: 2017年12月28日 2017年12月31日
  • 作者: Mark
  • 分类: Hadoop
  • 发表评论: Rethink Hadoop 3.0 之三:对HDFS的操作

Rethink Hadoop 3.0 之二:HDFS里的一些基本概念

HDFS作为一个分布式文件系统,和传统文件系统相比它面临着以下几个新的挑战: 1. 它需要能够存取大… 继续阅读 Rethink Hadoop 3.0 之二:HDFS里的一些基本概念

  • 发表于: 2017年12月25日 2017年12月29日
  • 作者: Mark
  • 分类: Hadoop
  • 发表评论: Rethink Hadoop 3.0 之二:HDFS里的一些基本概念

Rethink Hadoop 3.0 之一:Ubuntu 16.04.1下的安装Hadoop3.0

Hadoop的安装不是很容易,以至于Apache还有另外一个开源的项目Ambari来做Hadoop集… 继续阅读 Rethink Hadoop 3.0 之一:Ubuntu 16.04.1下的安装Hadoop3.0

  • 发表于: 2017年12月18日 2018年1月2日
  • 作者: Mark
  • 分类: Hadoop
  • 发表评论: Rethink Hadoop 3.0 之一:Ubuntu 16.04.1下的安装Hadoop3.0

Rethink Hadoop 3.0 之零:Hadoop 介绍

Hadoop作为在大数据应用里的基础平台,2017年12月13日迎来了它的3.0 GA版本的发布。 … 继续阅读 Rethink Hadoop 3.0 之零:Hadoop 介绍

  • 发表于: 2017年12月17日 2017年12月17日
  • 作者: Mark
  • 分类: Hadoop
  • 发表评论: Rethink Hadoop 3.0 之零:Hadoop 介绍

分类目录

  • Hadoop (10)
  • Jenkins (2)
  • NLP (1)
  • Python (4)
  • Pytorch (5)
  • Scala (11)
  • TensorFlow (19)
  • 安全相关 (2)
  • 机器学习(Machine Learning) (5)
  • 杂项 (2)
  • 深度学习(DeepLearning) (62)
  • 线性代数 (4)

近期文章

  • 使用tf.data构建你的TensorFlow输入管道
  • Rethink TensorFlow2.0之一: 基本图像分类,对衣物照片进行分类
  • 论文翻译-《Attention Is All You Need》
  • PyTorch之四:构建和训练一个模型
  • PyTorch之三:数据读入与预处理

文章归档

  • 2020年十月
  • 2020年七月
  • 2019年十月
  • 2018年十月
  • 2018年九月
  • 2018年八月
  • 2018年七月
  • 2018年六月
  • 2018年五月
  • 2018年四月
  • 2018年三月
  • 2018年二月
  • 2018年一月
  • 2017年十二月
  • 2017年十一月

近期评论

  • Mark发表在《机器学习策略之四:如何开始建立一个机器学习工程》
  • Mark发表在《PyTorch之零:安装》
  • Mark发表在《向量点积的几何意义》
  • Mark发表在《如何配置一个深度学习主机》
  • Mark发表在《我的第一篇博客》

功能

  • 注册
  • 登录
  • 文章RSS
  • 评论RSS
  • WordPress.org

博客统计

  • 34,322 点击次数

© 2021 Rethink. 由 WordPress 强力驱动. WordStar, 主题由Linesh Jose提供