Ktl-icon-tai-lieu

Báo cáo Mapreduce

Được đăng lên bởi Huỳnh Ngọc Phương Thanh
Số trang: 40 trang   |   Lượt xem: 1235 lần   |   Lượt tải: 0 lần
Xinchàogiảngviên,chàocácbạnsinhviênlớpCSDL1đếnvớibuổith
uyếttrìnhhômnay!!

1

ĐỀ TÀI

2

Nội dung báo cáo

1. BIG DATA(DỮ LIỆU LỚN)
2. HADOOP
3. MAPREDUCE

3

I. BIGDATA

4

5

Big Datalàgì???

6

CácđặctrưngcủaBig Data

7

CácthànhphầncủaBig Data

8

IBM & Big Data
Việc quản lý thông tin dữ liệu lớn và phân tích khả năng bao gồm:

•
•
•
•
•

Quản lý và kho dữ liệu
Hệ thống Hadoop
Dòng máy tính
Quản lý nội dung
Thông tin hội nhập & Quản trị

9

Các sản phẩm nổi bật về Big Data

•
•
•
•
•
•
•

InfoSphere Streams: Cho phép phân tích liên tục của khối lượng lớn dữ liệu trực tuyến
với thời gian phản ứng phụ mili giây.
InfoSphere BigInsights:giải pháp dựa trên Apache Hadoop giúp doanh nghiệp sẵn sàng
cho việc quản lý và phân tích khối lượng lớn dữ liệu có cấu trúc và cả phi cấu trúc.
IBM Watson Explorer:Cung cấp tìm kiếm, định vị và phát hiện ra trên một phạm vi rộng
lớn của các nguồn dữ liệu và các ứng dụng cả trong và ngoài doanh nghiệp
IBM PureData powered by Netezza technology:Đơn giản hóa và tối ưu hóa hiệu suất
của dịch vụ dữ liệu cho các ứng dụng phân tích
DB2 with BLU Acceleration:Tăng tốc độ phân tích khối lượng công việc cho cơ sở dữ
liệu và kho dữ liệu.
InfoSphere Information Server:Cho phépchia sẻ siêu dữ liệu giữa các mô đun cá nhân và
làm cho việc tích hợp trở nên dễ dàng hơn
InfoSphere Master Data Management:tạo dữ liệu đáng tin cậy nhằmcải thiện ứng dụng
và quy trình kinh doanh.

10

II. HADOOP

11

Hadooplàgì?

12

LịchsửHadoop

13

CácthànhphầncủaHadoop

14

Cómộtsựkhácbiệtlớngiữac
áchệthốngtậptinkhácvàH
adoop

HadoopDistributedFile

System (HDFS)

15

16

17

18

MapReduce???

19

20

Nguyêntắchoạtđộng

MAPREDUCE == "CHIA ĐỂ TRỊ”

21

22

ƯuđiểmcủaMapReduce?

23

MÔ HÌNH MAPREDUCE

24

Tínhtoánsongsong

25

MôhìnhMapReducevớibàitoánthốngkêlượngtừ(WordCount
)

26

WordCount(tt)

27

ThựcthiMapReduce(8bước)

28

Thựcthi(Bước1)
Chươngtrình(User
program),thôngquathưviệnMapReducephânmảnhdữliệuđầuvào

29

Thựcthi(Bước2)
MapReduesaochépchươngtrìnhnàyvào
cácmáycluster (mastervàcácworker)

30

Thựcthi(Bước3)

•
•

MasterphânphốiMtácvụMapvàRtácvụReducevàocácworkerrãnhrỗi
Phânphốicáctácvụdựatrênvịtrícủadữliệu

31

Thựcthi(Bước4)

Mỗimap-task

workerđọcdữliệutừphânvùngdữliệuđượcgánchonóvàxuấtranhữngcặp<key,value>trun
ggian.

 DữliệunàyđượcghitạmtrênRAM

32

Thựcthi(Bước5)
MỗiworkerphânchiadữliệutrunggianthànhRvùng,lưuxuốngđĩa,xóadữliệutrênbộđệmvàthô
ngbáochoMaster

33

Thựcthi(Bước6)
Mastergáncácdữliệutrunggianvà
chỉ...
Xinchàogiảngviên,chàocácbạnsinhviênlớpCSDL1đếnvớibuổith
uyếttrìnhhômnay!!
1
Báo cáo Mapreduce - Trang 2
Để xem tài liệu đầy đủ. Xin vui lòng
Báo cáo Mapreduce - Người đăng: Huỳnh Ngọc Phương Thanh
5 Tài liệu rất hay! Được đăng lên bởi - 1 giờ trước Đúng là cái mình đang tìm. Rất hay và bổ ích. Cảm ơn bạn!
40 Vietnamese
Báo cáo Mapreduce 9 10 723