选项设置

Navicat Data Modeler 提供一些选项让你自定义用户界面和性能。

若要打开选项窗口，从主菜单选择“工具”->“选项”。

常规选项

【提示】需要重新启动 Navicat Data Modeler 才生效。

显示工具栏标题

在 Navicat Data Modeler 工具栏按钮显示文本。否则，只有按钮显示。

ra2Pg介绍

Ora2Pg是一个将Oracle迁移至PostgreSQL的开源工具，通过连接Oracle数据库，自动扫描并提取其中的对象结构及数据，产生SQL脚本，通过手动或自动的方式将其应用到PostgreSQL。

前言

今天父亲节，忙着陪孩子，今天写点轻松简单点的内容。

经常使用Linux操作的童鞋，少不了配置一些常规的工具变量，这里罗列一下，仅供参考。

一、目录

1：centos 环境准备

2：instant client 下载

3：instant client 安装

4：instant client 配置

5：测试连接

二、安装步骤

大数据处理从流程上来讲，首先第一步要解决的是数据的搜集和存储的问题。这部分分为三个主要步骤：

数据采集=》数据清洗=》数据存储

主要解决大数据的前期功能，即数据来源方面问题，首选需要将数据通过各种途径采集和归集到大数据平台系统上，数据量规模越大，后期分析和挖掘越具有统计意义，但是这也带来一个问题，就是超大规模的数据量，早已不是TB，PB所能表示，所以对于数据存储的设备的压力呈指数级增长，所以分布式存储的需求应运而生。这部分主要就这几个方面，精选相关技术学习的书单，以期让大家在从整体上学习大数据技术和体系概念后，可以深度到每个技术模块和环节，找到最佳的解决方案。

先了解一下Hadoop、Hive、Spark三者的基本概念：

• Hadoop是一个由Apache基金会所开发的

MapReduce是一个可用于大规模数据处理的分布式计算框架，它借助函数式编程及分而治之的设计思想，使编程人员在即使不会分布式编程的情况下，也能够轻松地编写分布式应用程序并运行在分布式系统之上。

一、MapReduce 是什么

MapReduce 最早是由 Google 公司研究提出的一种面向大规模数据处理的并行计算模型和方法。Google 设计 MapReduce 的初衷主要是为了解决其搜索引擎中大规模网页数据的并行化处理问题. 2004年，Google 发表了一篇关于分布式计算框架 MapReduce 的论文，重点介绍了 MapRe

1.Hadoop 发展历史

1.1 Hadoop 产生背景

Hadoop 最早起源于Nutch。Nutch是一个开源的网络搜索引擎，始于2002年，Nutch的设计目标是构建一个大型的全网搜索引擎，包括抓取网页，索引，查询等，但是随着数据量的增加，遇到了扩展问题。直至2003年google发表了一篇关于google的文件系统GFS，该论文描述了google搜索引擎网页数据的存储架构，该架构解决了Nutch遇到的问题，随即实现了自己的分布式文件系统，即NDFS(此间google只是开源思想，但并未开源代码)，到了2004年的google的另一篇论文MapReduce：simplified data processing on large cluster ,震惊世界，该论文描述了分布式计算的框架，但也只是开源思想，并不开源代码，Nutch的开发人员靠自己完成了实现，由于NDFS和MapReduce 的成功，2006年Nutch的开发人员，随即将其移出Nutch，成为Lucene的子项目，称为Hadoop(据说是Doug Cutting儿子的玩具大象的名字)，随着Hadoop的发展，2008年，Hadoop已经成为Apache基金会的顶级项目，也促生了Hadoop 家族其他项目的发展。

好程序员大数据培训分享Apache-Hadoop简介

　　好程序员大数据培训分享Apache-Hadoop简介，一、Hadoop出现的原因：现在的我们，生活在数据大爆炸的年代。国际数据公司已经预测在2020年，全球的数据总量将达到44ZB，经过单位换算后，至少在440亿TB以上，也就是说，全球每人一块1TB的硬盘都存储不下。

一些数据集的大小更远远超过了1TB，也就是说，数据的存储是一个要解决的问题。同时，硬盘技术也面临一个技术瓶颈，就是硬盘的传输速度(读数据的速度)的提升远远低于硬盘容量的提升。我们看下面这个表格:

在当今信息爆炸的时代，网页抓取工具成为许多人不可或缺的利器。特别是对于Mac用户来说，寻找一款高效、稳定且免费的网页抓取工具尤为重要。本文将为大家评测对比几款热门的mac免费网页抓取工具，帮助你选择最适合自己的工具。下面小编将详细介绍这几款工具的特点和优势。

1.工具A：WebScraper

WebScraper是一款功能强大的开源网页抓取工具，它提供了简洁易用的界面和丰富的功能。通过WebScraper，用户可以快速地抓取网页内容，并将其保存为CSV或JSON格式。该工具支持多线程抓取，能够高效地处理大量数据。此外，WebScraper还提供了强大的过滤和筛选功能，可以按关键词、日期等条件进行精确搜索。