Skip to content
项目

water8394/BigData-Interview

在 GitHub 查看

water8394/BigData-Interview has 1,661 GitHub stars and 441 forks. GitHot measured -1 stars in 24 hours and -2 in 7 days. Last checked 2026-11-12 21:14 UTC. Last push 2021-08-30.

这些数字如何统计

:dart: :star2:[大数据面试题]分享自己在网络上收集的大数据相关的面试题以及自己的答案总结.目前包含Hadoop/Hive/Spark/Flink/Hbase/Kafka/Zookeeper框架的面试题知识总结

1,661 星标441 forks

实测星标增长

24小时
-1
7天
-2
15天
正在收集历史
1个月
正在收集历史

各周期内的星标净变化，周期相互重叠，并非每日新增。缺失的测量保持空白。星标代表关注度，不代表软件质量。

README.md

原文
发一条内推消息，社招、实习生欢迎投递
字节跳动校招内推码: 3UWFMRS
投递链接: https://jobs.toutiao.com/s/eFCv3cB
社招：https://job.toutiao.com/s/eFCPHb6

大数据面试题汇总与答案分享

Hadoop Hive Spark Flink HBase Kafka Zookeeper

一、Hadoop

  1. HDFS架构

  2. Yarn架构

  3. MapReduce过程

  4. Yarn 调度MapReduce

  5. hdfs写流程

  6. hdfs读流程

  7. hdfs创建一个文件的流程

  8. hadoop1.x 和hadoop 2.x 的区别

  9. hadoop1.x的缺点

  10. hadoop HA介绍

  11. hadoop的常用配置文件有哪些,自己实际改过哪些?

  12. 小文件过多会有什么危害,如何避免?

  13. 启动hadoop集群会分别启动哪些进程,各自的作用

  14. 讲一下环形缓冲区的概念

二、Hive

  1. hive 内部表和外部表的区别

  2. hive中 sort by / order by / cluster by / distribute by 的区别

  3. hive的metastore的三种模式

  4. hive 中 join都有哪些

  5. Impala 和 hive 的查询有哪些区别

  6. Hive中大表join小表的优化方法

  7. Hive Sql 是怎样解析成MR job的?

  8. Hive UDF简单介绍

  9. SQL题: 按照学生科目分组, 取每个科目的TopN

  10. SQL题: 获取每个用户的前1/4次的数据

三、Spark

  1. 讲一下spark 的运行架构
  2. 一个spark程序的执行流程
  3. spark的shuffle介绍
  4. Spark的 partitioner 都有哪些?
  5. spark 有哪几种join
  6. RDD有哪些特点
  7. 讲一下宽依赖和窄依赖
  8. Spark中的算子都有哪些
  9. RDD的缓存级别都有哪些
  10. RDD 懒加载是什么意思
  11. 讲一下spark的几种部署方式
  12. spark on yarn 模式下的 cluster模式和 client模式有什么区别
  13. spark运行原理,从提交一个jar到最后返回结果,整个过程
  14. spark的stage是如何划分的
  15. spark的rpc: spark2.0为什么放弃了akka 而用netty?
  16. spark的各种HA, master/worker/executor/driver/task的ha
  17. spark的内存管理机制,spark 1.6前后分析对比, spark2.0 做出来哪些优化
  18. 讲一下spark 中的广播变量
  19. 什么是数据倾斜,怎样去处理数据倾斜
  20. 分析一下一段spark代码中哪些部分在Driver端执行,哪些部分在Worker端执行

四、Flink

  1. 讲一下flink的运行架构

  2. 讲一下flink的作业执行流程

  3. flink具体是如何实现exactly once 语义

  4. flink 的 window 实现机制

  5. flink的window分类

  6. flink 的 state 是存储在哪里的

  7. flink是如何实现反压的

  8. flink的部署模式都有哪些

  9. 讲一下flink on yarn的部署

  10. flink中的时间概念 , eventTime 和 processTime的区别

  11. flink中的session Window怎样使用

五、HBase

  1. 讲一下 Hbase 架构
  2. hbase 如何设计 rowkey
  3. 讲一下hbase的存储结构,这样的存储结构有什么优缺点
  4. hbase的HA实现,zookeeper在其中的作用
  5. HMaster宕机的时候,哪些操作还能正常工作
  6. 讲一下hbase的写数据的流程
  7. 讲一下hbase读数据的流程

六、Kafka

  1. 讲一下 kafka 的架构

  2. kafka 与其他消息组件对比?

  3. kafka 实现高吞吐的原理

  4. kafka怎样保证不重复消费

  5. kafka怎样保证不丢失消息

  6. kafka 与 spark streaming 集成,如何保证 exactly once 语义

  7. ack 有哪几种, 生产中怎样选择?

  8. 如何通过 offset 寻找数据

  9. 如何清理过期数据

  10. 1条message中包含哪些信息

  11. 讲一下zookeeper在kafka中的作用

  12. kafka 可以脱离 zookeeper 单独使用吗

  13. kafka有几种数据保留策略

  14. kafka同时设置了7天和10G清除数据,到第5天的时候消息到达了10G,这个时候kafka如何处理?

七、Zookeeper

  1. zookeeper是什么,都有哪些功能
  2. zk 有几种部署模式
  3. zk 是怎样保证主从节点的状态同步
  4. 说一下 zk 的通知机制
  5. zk 的分布式锁实现方式
  6. zk 采用的哪种分布式一致性协议? 还有哪些分布式一致性协议
  7. 讲一下leader 选举过程

探索相关项目

codecrafters-io/build-your-own-x

通过从零开始重新构建你喜爱的技术来精通编程。

562,200 星标

public-apis/public-apis

一份免费 API 汇总列表

498,592 星标

morluto/rea

借助智能体进行逆向分析，涵盖应用行为乃至原生二进制文件。

455,951 星标

openclaw/openclaw

真正能把事情做成的 AI。适用于任何操作系统和平台。龙虾之道。🦞

394,419 星标