1.Hadoop 发展历史

1.1 Hadoop 产生背景

Hadoop 最早起源于Nutch。Nutch是一个开源的网络搜索引擎，始于2002年，Nutch的设计目标是构建一个大型的全网搜索引擎，包括抓取网页，索引，查询等，但是随着数据量的增加，遇到了扩展问题。直至2003年google发表了一篇关于google的文件系统GFS，该论文描述了google搜索引擎网页数据的存储架构，该架构解决了Nutch遇到的问题，随即实现了自己的分布式文件系统，即NDFS(此间google只是开源思想，但并未开源代码)，到了2004年的google的另一篇论文MapReduce：simplified data processing on large cluster ,震惊世界，该论文描述了分布式计算的框架，但也只是开源思想，并不开源代码，Nutch的开发人员靠自己完成了实现，由于NDFS和MapReduce 的成功，2006年Nutch的开发人员，随即将其移出Nutch，成为Lucene的子项目，称为Hadoop(据说是Doug Cutting儿子的玩具大象的名字)，随着Hadoop的发展，2008年，Hadoop已经成为Apache基金会的顶级项目，也促生了Hadoop 家族其他项目的发展。

好程序员大数据培训分享Apache-Hadoop简介

　　好程序员大数据培训分享Apache-Hadoop简介，一、Hadoop出现的原因：现在的我们，生活在数据大爆炸的年代。国际数据公司已经预测在2020年，全球的数据总量将达到44ZB，经过单位换算后，至少在440亿TB以上，也就是说，全球每人一块1TB的硬盘都存储不下。

一些数据集的大小更远远超过了1TB，也就是说，数据的存储是一个要解决的问题。同时，硬盘技术也面临一个技术瓶颈，就是硬盘的传输速度(读数据的速度)的提升远远低于硬盘容量的提升。我们看下面这个表格:

在当今信息爆炸的时代，网页抓取工具成为许多人不可或缺的利器。特别是对于Mac用户来说，寻找一款高效、稳定且免费的网页抓取工具尤为重要。本文将为大家评测对比几款热门的mac免费网页抓取工具，帮助你选择最适合自己的工具。下面小编将详细介绍这几款工具的特点和优势。

1.工具A：WebScraper

WebScraper是一款功能强大的开源网页抓取工具，它提供了简洁易用的界面和丰富的功能。通过WebScraper，用户可以快速地抓取网页内容，并将其保存为CSV或JSON格式。该工具支持多线程抓取，能够高效地处理大量数据。此外，WebScraper还提供了强大的过滤和筛选功能，可以按关键词、日期等条件进行精确搜索。

为迎接即将来临的圣诞季和2020年新春佳节,尚泰百货特举办“Let’s Celebrate 2020”主题的大型庆典，期待带给更多顾客节日的愉悦氛围。

此次庆典以“Let’s Celebrate 2020”为大主题，有多个活动地点，其中最引人入胜和令人期待的，莫过于在盛泰领使商场开幕的“The BIG Holiday”建筑主题公园现场，以及将于在尚泰百货旗舰店开幕的“Let it Snow”圣诞主题现场。

盛泰领使商场“The BIG Holiday”主题建筑公园(2019年11月22日至2020年1月5日)

| 责编：王迪

在Google，MapReduce有着非常广泛的应用，包括分布排序，Web访问日志分析、反向构建索引和机器学习等。Nutch项目开发，正是以MapReduce的项目为依据，开发出后来大名鼎鼎的Hadoop。

Hadoop架构示意图（来自cnblog）

可惜风云变幻，时光荏苒，现在谷歌宣布要弃用MapReduce，转而投向更有前景的云分析平台。

mapreduce平行编程设计架构流程图（图片来自Google）

一、Nutch介绍

What is Apache Nutch?

Apache Nutch is a highly extensible and scalable open source web crawlersoftware project. Stemming from Apache Lucene, the project has diversified and now comprises two codebases, namely:

Java 17新特性展望：未来的编程之路

Java 17作为2021年9月发布的长期支持（LTS）版本，不仅是Java生态系统中的一个重要里程碑，更是对未来编程趋势的一次深刻洞察。从最新的特性解析到性能优化，Java 17正在塑造着下一代编程模型和开发体验。在这篇文章中，我们将一起探索Java 17所带来的革新，以及它为开发者们开启的无限可能。

Java 17新特性抢先看：带你探索未来的编程旅程

Java 17作为Java家族的新成员，于2021年9月14日正式发布。它带来了许多令人兴奋的新特性和改进，无论是对于初学者还是资深开发者来说，都是一个值得期待的版本。接下来，我们将带您一起探索这些激动人心的变化。

一、文本块（Text Blocks）

Java 17：那些让你眼前一亮的新特性

开篇：为何Java 17如此特别？

Java 17是继Java 11之后的一个重要版本，它带来了众多令人兴奋的新特性和改进。作为一位热衷于探索新技术的程序员，我迫不及待想和大家分享这些新变化。从密封类到模式匹配的进一步发展，再到全新的垃 圾回收器，Java 17无疑让我们的编程生活变得更加丰富多彩。

1. 介绍

JAVA作为使用的主力语言，掌握下其历史发展也是有必要的。看看从JAVA5开始到现在的JAVA9有哪些变化。借此机会，也可以看看哪些特性我们是已经用到的，哪些是还没有用到的。

我们在IDEA里面也可以看到language level里面的信息，这里也大致写了下各个版本JDK的新特性。