31 | 深度和广度优先搜索:如何找出社交网络中的三度好友关系?

上一节我们讲了图的表示方法,讲到如何用有向图、无向图来表示一个社交网络。在社交网络中,有一个六度分割理论,具体是说,你与世界上的另一个人间隔的关系不会超过六度,也就是说平均只需要六步就可以联系到任何两个互不相识的人。

一个用户的一度连接用户很好理解,就是他的好友,二度连接用户就是他好友的好友,三度连接用户就是他好友的好友的好友。在社交网络中,我们往往通过用户之间的连接关系,来实现推荐“可能认识的人”这么一个功能。今天的开篇问题就是,给你一个用户,如何找出这个用户的所有三度(其中包含一度、二度和三度)好友关系?

这就要用到今天要讲的深度优先和广度优先搜索算法。

什么是“搜索”算法?

我们知道,算法是作用于具体数据结构之上的,深度优先搜索算法和广度优先搜索算法都是基于“图”这种数据结构的。这是因为,图这种数据结构的表达能力很强,大部分涉及搜索的场景都可以抽象成“图”。

图上的搜索算法,最直接的理解就是,在图中找出从一个顶点出发,到另一个顶点的路径。具体方法有很多,比如今天要讲的两种最简单、最“暴力”的深度优先、广度优先搜索,还有A*、IDA*等启发式搜索算法。

我们上一节讲过,图有两种主要存储方法,邻接表和邻接矩阵。今天我会用邻接表来存储图。

我这里先给出图的代码实现。需要说明一下,深度优先搜索算法和广度优先搜索算法,既可以用在无向图,也可以用在有向图上。在今天的讲解中,我都针对无向图来讲解。

public class Graph { // 无向图
  private int v; // 顶点的个数
  private LinkedList<Integer> adj[]; // 邻接表

  public Graph(int v) {
    this.v = v;
    adj = new LinkedList[v];
    for (int i=0; i<v; ++i) {
      adj[i] = new LinkedList<>();
    }
  }

  public void addEdge(int s, int t) { // 无向图一条边存两次
    adj[s].add(t);
    adj[t].add(s);
  }
}

广度优先搜索(BFS)

广度优先搜索(Breadth-First-Search),我们平常都简称BFS。直观地讲,它其实就是一种“地毯式”层层推进的搜索策略,即先查找离起始顶点最近的,然后是次近的,依次往外搜索。理解起来并不难,所以我画了一张示意图,你可以看下。

尽管广度优先搜索的原理挺简单,但代码实现还是稍微有点复杂度。所以,我们重点讲一下它的代码实现。

这里面,bfs()函数就是基于之前定义的,图的广度优先搜索的代码实现。其中s表示起始顶点,t表示终止顶点。我们搜索一条从s到t的路径。实际上,这样求得的路径就是从s到t的最短路径。

public void bfs(int s, int t) {
  if (s == t) return;
  boolean[] visited = new boolean[v];
  visited[s]=true;
  Queue<Integer> queue = new LinkedList<>();
  queue.add(s);
  int[] prev = new int[v];
  for (int i = 0; i < v; ++i) {
    prev[i] = -1;
  }
  while (queue.size() != 0) {
    int w = queue.poll();
   for (int i = 0; i < adj[w].size(); ++i) {
      int q = adj[w].get(i);
      if (!visited[q]) {
        prev[q] = w;
        if (q == t) {
          print(prev, s, t);
          return;
        }
        visited[q] = true;
        queue.add(q);
      }
    }
  }
}

private void print(int[] prev, int s, int t) { // 递归打印s->t的路径
  if (prev[t] != -1 && t != s) {
    print(prev, s, prev[t]);
  }
  System.out.print(t + " ");
}

这段代码不是很好理解,里面有三个重要的辅助变量visited、queue、prev。只要理解这三个变量,读懂这段代码估计就没什么问题了。

visited是用来记录已经被访问的顶点,用来避免顶点被重复访问。如果顶点q被访问,那相应的visited[q]会被设置为true。

queue是一个队列,用来存储已经被访问、但相连的顶点还没有被访问的顶点。因为广度优先搜索是逐层访问的,也就是说,我们只有把第k层的顶点都访问完成之后,才能访问第k+1层的顶点。当我们访问到第k层的顶点的时候,我们需要把第k层的顶点记录下来,稍后才能通过第k层的顶点来找第k+1层的顶点。所以,我们用这个队列来实现记录的功能。

prev用来记录搜索路径。当我们从顶点s开始,广度优先搜索到顶点t后,prev数组中存储的就是搜索的路径。不过,这个路径是反向存储的。prev[w]存储的是,顶点w是从哪个前驱顶点遍历过来的。比如,我们通过顶点2的邻接表访问到顶点3,那prev[3]就等于2。为了正向打印出路径,我们需要递归地来打印,你可以看下print()函数的实现方式。

为了方便你理解,我画了一个广度优先搜索的分解图,你可以结合着代码以及我的讲解一块儿看。

掌握了广度优先搜索算法的原理,我们来看下,广度优先搜索的时间、空间复杂度是多少呢?

最坏情况下,终止顶点t离起始顶点s很远,需要遍历完整个图才能找到。这个时候,每个顶点都要进出一遍队列,每个边也都会被访问一次,所以,广度优先搜索的时间复杂度是O(V+E),其中,V表示顶点的个数,E表示边的个数。当然,对于一个连通图来说,也就是说一个图中的所有顶点都是连通的,E肯定要大于等于V-1,所以,广度优先搜索的时间复杂度也可以简写为O(E)。

广度优先搜索的空间消耗主要在几个辅助变量visited数组、queue队列、prev数组上。这三个存储空间的大小都不会超过顶点的个数,所以空间复杂度是O(V)。

深度优先搜索(DFS)

深度优先搜索(Depth-First-Search),简称DFS。最直观的例子就是“走迷宫”。

假设你站在迷宫的某个岔路口,然后想找到出口。你随意选择一个岔路口来走,走着走着发现走不通的时候,你就回退到上一个岔路口,重新选择一条路继续走,直到最终找到出口。这种走法就是一种深度优先搜索策略。

走迷宫的例子很容易能看懂,我们现在再来看下,如何在图中应用深度优先搜索,来找某个顶点到另一个顶点的路径。

你可以看我画的这幅图。搜索的起始顶点是s,终止顶点是t,我们希望在图中寻找一条从顶点s到顶点t的路径。如果映射到迷宫那个例子,s就是你起始所在的位置,t就是出口。

我用深度递归算法,把整个搜索的路径标记出来了。这里面实线箭头表示遍历,虚线箭头表示回退。从图中我们可以看出,深度优先搜索找出来的路径,并不是顶点s到顶点t的最短路径。

实际上,深度优先搜索用的是一种比较著名的算法思想,回溯思想。这种思想解决问题的过程,非常适合用递归来实现。回溯思想我们后面会有专门的一节来讲,我们现在还回到深度优先搜索算法上。

我把上面的过程用递归来翻译出来,就是下面这个样子。我们发现,深度优先搜索代码实现也用到了prev、visited变量以及print()函数,它们跟广度优先搜索代码实现里的作用是一样的。不过,深度优先搜索代码实现里,有个比较特殊的变量found,它的作用是,当我们已经找到终止顶点t之后,我们就不再递归地继续查找了。

boolean found = false; // 全局变量或者类成员变量

public void dfs(int s, int t) {
  found = false;
  boolean[] visited = new boolean[v];
  int[] prev = new int[v];
  for (int i = 0; i < v; ++i) {
    prev[i] = -1;
  }
  recurDfs(s, t, visited, prev);
  print(prev, s, t);
}

private void recurDfs(int w, int t, boolean[] visited, int[] prev) {
  if (found == true) return;
  visited[w] = true;
  if (w == t) {
    found = true;
    return;
  }
  for (int i = 0; i < adj[w].size(); ++i) {
    int q = adj[w].get(i);
    if (!visited[q]) {
      prev[q] = w;
      recurDfs(q, t, visited, prev);
    }
  }
}

理解了深度优先搜索算法之后,我们来看,深度优先搜索的时间、空间复杂度是多少呢?

从我前面画的图可以看出,每条边最多会被访问两次,一次是遍历,一次是回退。所以,图上的深度优先搜索算法的时间复杂度是O(E),E表示边的个数。

深度优先搜索算法的消耗内存主要是visited、prev数组和递归调用栈。visited、prev数组的大小跟顶点的个数V成正比,递归调用栈的最大深度不会超过顶点的个数,所以总的空间复杂度就是O(V)。

解答开篇

了解了深度优先搜索和广度优先搜索的原理之后,开篇的问题是不是变得很简单了呢?我们现在来一起看下,如何找出社交网络中某个用户的三度好友关系?

上一节我们讲过,社交网络可以用图来表示。这个问题就非常适合用图的广度优先搜索算法来解决,因为广度优先搜索是层层往外推进的。首先,遍历与起始顶点最近的一层顶点,也就是用户的一度好友,然后再遍历与用户距离的边数为2的顶点,也就是二度好友关系,以及与用户距离的边数为3的顶点,也就是三度好友关系。

我们只需要稍加改造一下广度优先搜索代码,用一个数组来记录每个顶点与起始顶点的距离,非常容易就可以找出三度好友关系。

内容小结

广度优先搜索和深度优先搜索是图上的两种最常用、最基本的搜索算法,比起其他高级的搜索算法,比如A*、IDA*等,要简单粗暴,没有什么优化,所以,也被叫作暴力搜索算法。所以,这两种搜索算法仅适用于状态空间不大,也就是说图不大的搜索。

广度优先搜索,通俗的理解就是,地毯式层层推进,从起始顶点开始,依次往外遍历。广度优先搜索需要借助队列来实现,遍历得到的路径就是,起始顶点到终止顶点的最短路径。深度优先搜索用的是回溯思想,非常适合用递归实现。换种说法,深度优先搜索是借助栈来实现的。在执行效率方面,深度优先和广度优先搜索的时间复杂度都是O(E),空间复杂度是O(V)。

课后思考

  1. 我们通过广度优先搜索算法解决了开篇的问题,你可以思考一下,能否用深度优先搜索来解决呢?

  2. 学习数据结构最难的不是理解和掌握原理,而是能灵活地将各种场景和问题抽象成对应的数据结构和算法。今天的内容中提到,迷宫可以抽象成图,走迷宫可以抽象成搜索算法,你能具体讲讲,如何将迷宫抽象成一个图吗?或者换个说法,如何在计算机中存储一个迷宫?

欢迎留言和我分享,也欢迎点击“请朋友读”,把今天的内容分享给你的好友,和他一起讨论、学习。

精选留言

  • Jerry银银

    2018-12-03 12:58:32

    朗读者原谅我的有强迫症:queue这个单词读错了,付上正确的音标如下[kju]

    我觉得避免这种问题,有个方法就是,朗读之前,逐个查询一下单词的正确发音,一篇文章中的单词屈指可数,这个工作量按理说应该不大。

    但是这个简单的举措,能大大提高听文章的体验,不然听起来总觉得很怪

    往大了说影响,毕竟咱们极客时间做的是知识,做的是学问
    作者回复

    😂

    2018-12-05 09:51:56

  • The Sword of Damocles

    2018-12-16 10:54:41

    看的费劲的同学可以先去网上找找二叉树的深度、广度优先遍历看看。图的搜索和这个类似。
    深度:借助一个栈
    广度:借助一个队列

    老师的代码没有注释,变量名称也比较简洁,虽然下文有解释,但是来回上下翻实在是看的费劲。建议能稍微优化一下。
  • P@tricK

    2018-12-03 09:16:19

    思考题:
    1. 可以。DFS递归时传多一个离初始节点的距离值,访问节点时,距离超过3的不再继续递归

    2. 初始化两个顶点为迷宫起点和终点,从起点开始,遇到分叉点,为每个分支都新建一个节点,并和前一节点连接,递归每个分支直到终点
  • 李东勇

    2018-12-18 21:51:11

    老师, 我觉得深度优先搜索的代码中有一个可以改进的地方, 可以在21行之后加一句: if (found == true) return; 这样, 在一个顶点的for循环之中, 如果已经找到了t, 就可以跳出这个for循环了。目前的逻辑是, 这个for循环中剩下的还会继续执行, 每次都调用一次recurDfs函数, 但recurDfs函数在第一行就return了。
    作者回复

    嗯嗯 👍

    2018-12-19 10:00:40

  • Geek_iuz763

    2020-03-01 14:30:02

    20200301 续
    关于第一阶段任务:
    2020的第一季度已经马上度过,看了看初期定的计划,自己完成情况大概在70%;预计的3月中旬把《数据之美》看完,完成难度有点大。复工之后,明显感觉每天投入到学习中的时间变少。百日计划也暂停了两周。目前《数据之美》完成了70%,还剩余30%,但是如果按照保质保量的完成剩余课程,还是需要很多时间的,因为后面的内容更加高级和复杂,需要用很多时间来思考。
    关于第一阶段内一些问题:
    1.应试过程中如果按计划学习?
    2.如何培养正确的学习习惯?
    首先是关于工作,开年后就开始着手换工作的事情,现在找到一家薪资合适的工作,但是回头看,觉得自己还是没有一个清晰的规划路线。现在觉得自己纠结点是:没有去尝试头部公司以及自己觉得现在准备不足以冲击头部公司。我觉得自己还是可能属于比较容易妥协的,有一份薪资和工作内容达到自己要求的工作。就会不愿意去再去探索。一方面可能是自己比较急于新的环境(受不了当前的状态);另一方面也是因为自己的知识还不够成体系。每次在面试中都可以看到自己的不足和短板。自信心总是受到打击,而且有些短板的弥补不是一蹴而就的。在这里换工作之后,对学习的目的有了新的感受。要把学习培养成一个习惯,把学习的态度摆正。浅尝辄止的学习态度不利于持久的发展。
    还有一件事件就是关于学习的方向,特别是在面试过程中的学习,会发现一些热点知识点的学习对面试的帮助很大,提高面试成功率显著,对于之前第一阶段制定的围绕基础知识学习对面试的提升就限制的比较多。但又不想放弃自己的学习计划,所以只能又开始了看看这个、看看那个的节奏……这个状态想了很多办法来解决,但是收效甚微,还是在状态切换中花费了很多时间。目前还没有想好特别好的办法,庆幸的是目前收到offer,新的岗位也需要新的技术栈,但这些我觉得可以在入职后通过工作时间来补充。
    关于第一阶段学习总结:
    评估学习量和强度对计划执行有很大影响,能正确评估出自己掌握一个知识点或者消化知识所用的时间,可以让自己的计划不容易打乱。一开始我按照一课时一天的节奏来计划。后来发现,有的章节一天可以刷3-4课,而有的课程需要3-4天才能消化。我在新的计划制定的时候,会采取先大致浏览一下内容,预估一下消化时间,然后在进行计划的制定,这样误差不会太大。像最开始的“四十天完成四十节课计划”执行成功率太低。
    稳定军心,再接再厉:
    在后面的规划中,自己有几点需要注意的
    1.不能松懈,没有松懈的理由,如果真的热爱学习,就应该养成习惯,当每个周末想到的不是可以放松看看直播了,而是发现又有两天可以集中精力学习了。
    2.计划要定时定量,更要有完成的可能性。
    3.不能懒惰的同时也不能急躁;科学的认识到认知的发展规律,认清现状,不要为难自己。
    战略&战术
    战略明确了,剩下的就是战术执行。首先应该还是要围绕着基础,不能后面再回头来补基础一次又一次。目前我认为在基础知识中较为重要的为数据结构与算法、设计模式、通信与网络协议、计算机组成。然后基本每项基础学科的掌握基本需要3-5个月的时间。如果这样算,那基本至少需要一年的时间来补基础。
  • 五岳寻仙

    2018-12-03 09:16:06

    课后思考题:
    1. 深度优先用于寻找3度好友,可以设定搜索的深度,到3就向上回溯。正如文中提到的,可能不是最短路径,所以会涉及到更新结点度的问题。

    2. 关于迷宫存储问题。类似于欧拉七桥问题,需要将迷宫抽象成图,每个分叉路口作为顶点,顶点之间连成边,构成一张无向图,可以存储在邻接矩阵或邻接表中。
  • Jerry银银

    2018-12-03 16:49:49

    留言笔记不小心被自己删了(问了客服,也不能找回了),补上:

    1. 可以用深度遍历,每次遍历到三度人脉,再回溯到上层节点,直到所有的三度人脉都找完。

    2. 将迷宫的每个岔口记为"顶点",岔口之间的路径记为"边",可以用邻接表存储,也可以用邻接矩阵存储。但是个人感觉,像那种标准的方格迷宫,适合用邻接矩阵存储,因为稠密度比较高。
  • Geek_Heiko

    2020-03-30 21:05:48

    "学习数据结构最难的不是理解和掌握原理,而是能灵活地将各种场景和问题抽象成对应的数据结构和算法。" 看到这句话,突然觉得信息量很大,但是目前相关的练习和经验还不到位,没到那个量,是一种相对比较空的那种大,上次的这种体验是,看到和这句话相似的一句话:“一旦一个问题得到正确描述,那么就趋近于解决。"
  • luo

    2019-01-04 11:26:57

    老师针对图这个数据结构的应用 我有点疑惑,从结构来看无论是临近矩阵还是临近表 其实都需要有一个唯一下标作为这个顶点,那么问题来了 在实际数据量庞大的时候,这种数据结构是不是就没法用了(临近矩阵就不说了,临近表的话也是需要一个大的数组存储每个顶点 ),或者只能拆成以hash先分id,之后映射到对应的机器上存储各自的临近表部分,但这样进行深度广度搜索就有网络io了。
    作者回复

    你说的没错,但是做工程就是trade-off,只能权衡来选择方案。如果实在存不下,可以降低些执行效率。不过,现在有很多图数据库,也可以解决你说的问题,把图直接存在硬盘中。

    2019-01-12 11:06:21

  • Liam

    2019-02-13 09:01:20

    对于今天的问题,无权图,如果采用深度优先。拿到的路径不一定是最短路径吧
    作者回复

    不是最短路径的。广度优先可以取到最短路径。

    2019-02-21 10:38:43

  • 唯她命

    2018-12-21 11:42:25

    老师,你好,我怎么觉得,递归完成之后,回溯到上一步,需要执行visited[w] = false呢,,因为路径不通,所以要回溯,但是应该重置为false,以便下次搜索
  • 马球先生

    2018-12-05 10:44:51

    广度优先 有点像树中的层序遍历啊 也是借助一个队列来实现的
  • 2018-12-03 08:35:34

    我的想法:迷宫可以用带权无向图存储,每个多岔路口是一个顶点,相邻的多岔路口是一条边。带权是为了记录两个顶点间的距离。

    但用上面这种方式,会丢失一些拐点信息。可以结合业务场景,如果需要这些信息,就把拐点也作为一个顶点存储。
  • possible

    2019-04-28 16:35:27

    广度优先用的queue(先进先出),深度优先把queue换成stack(后进先出)即可吧?也经常会用stack来替代递归
    作者回复

    是的

    2019-04-29 09:49:02

  • Laughing_Lz

    2018-12-13 01:52:06

    我基础非常差,写了老半天的非递归深度优先遍历,还请各位看看写的对不对

    /**
    * 深度优先遍历
    *
    * @param start 路径查找起始点
    * @param end 路径查找终点
    */
    public void depthFirstSearch(int start, int end) {
    if (start == end) {
    return;
    }
    // 定义一个visited数组,保存是否访问过
    boolean[] visited = new boolean[v];
    // 定义一个栈,作为一个后进先出栈,保存已访问,但相连节点未访问的节点
    Stack<Integer> stack = new Stack<Integer>();
    // 先将start压入栈中
    visited[start] = true;
    stack.push(start);
    while (!stack.isEmpty()) {
    // 取出,但不出栈
    int step = stack.peek();
    // 标识位,标识step节点下的邻接节点中是否有未走过的节点
    boolean hasNoVisited = false;
    for (int i = 0; i < adj[step].size(); i++) {
    int nextStep = adj[step].get(i);
    // 存在未走过节点,则flag = true,将nextStep压入栈中,继续前行
    if (visited[nextStep] == false) {
    hasNoVisited = true;
    visited[nextStep] = true;
    stack.push(nextStep);
    if (nextStep == end) {
    return;
    }
    break;
    }
    }
    // 邻接的节点都是已走过的,则出栈
    if (hasNoVisited == false) {
    stack.pop();
    }
    }
    // 遍历输出栈中存储的节点,即路径
    if (!stack.isEmpty()) {
    Iterator<Integer> it = stack.iterator();
    while (it.hasNext()) {
    System.out.print(it.next() + " ");
    }
    }
    }
  • -W.LI-

    2019-10-20 16:03:20

    弱弱的问一句,prev和visited用数组存是正好value和下标一致才行的吧?
    作者回复

    是的

    2019-10-21 08:35:57

  • JzyCc

    2019-02-09 16:56:45

    弱弱的问一下,宽搜代码那块,如果给的图中 1 和 3的位置互换,那么得出来的就不是最短路径了吧
    作者回复

    不,宽搜对于无权图来说,肯定能找到最短路径的。因为整体的逻辑是离起点越近的,越早被访问到。

    2019-02-19 10:07:09

  • 德尼

    2019-01-02 16:15:44

    说几个自己觉得是问题的小问题噢。在无向图代码中 adj声明的每个顶点的类型不是Integer吗?怎么在下面赋值时变成了LinkList?
    还有就是语音上在讲述dfs空间复杂度的时候,听到的是dfs的时间(实质上是空间)复杂度为Ov。
  • kaiser

    2020-05-03 14:17:16

    三度好友的代码:
    /**
    * 广度优先搜索
    * @param s 起始顶点
    * @return
    */
    public List<Integer> threeDegreeRelationBfs(int s) {
    boolean[] visited = new boolean[v];
    visited[s] = true;
    Queue<Integer> queue = new LinkedList<>();
    queue.add(s);
    List<Integer> result = new ArrayList<>();
    // 记录每个顶点到起始顶点的距离
    int[] degree = new int[v];
    // 记录总共遍历的次数
    int cycleNum = 0;
    // 广度优先搜索,遍历整张图
    while (!queue.isEmpty()) {
    Integer w = queue.poll();
    // 顶点离起始顶点距离超过 3 时则退出
    if (degree[w] == 3) {
    continue;
    }
    // 遍历其关注的顶点
    for (Integer q : adj[w]) {
    // 没有访问过的顶点进行记录
    if (!visited[q]) {
    visited[q] = true;
    // 添加到队列
    queue.add(q);
    // 记录当前顶点到起始顶点的距离,查找其前驱顶点的距离
    degree[q] = degree[w] + 1;
    cycleNum++;
    // 记录结果
    result.add(q);
    }
    }
    }
    System.out.println("广度优先搜索三度好友关系一共遍历的次数:" + cycleNum);
    return result;
    }

    /**
    * 深度优先搜索
    * <p>
    *
    * @param s 起始顶点
    */
    public List<Integer> threeDegreeRelationDfs(int s) {
    // 采用广度优先搜索算法
    boolean[] visited = new boolean[v];
    visited[s] = true;
    List<Integer> relations = new ArrayList<>();
    // 递归寻找顶点的关系
    int cycleNum = findDegreeRelation(visited, relations, s, 0);
    System.out.println("深度优先搜索三度好友关系一共遍历的次数:" + cycleNum);
    return relations;
    }

    /**
    * 递归寻找顶点关系——深度优先搜索
    *
    * @param visited
    * @param relations
    * @param p
    * @param level
    * @return
    */
    private int findDegreeRelation(boolean[] visited, List<Integer> relations, Integer p, int level) {
    if (level == 3) {
    return 1;
    }
    int cycleNum = 0;
    for (int h = 0; h < adj[p].size(); h++) {
    Integer t = adj[p].get(h);
    if (!visited[t]) {
    relations.add(t);
    visited[p] = true;
    cycleNum += findDegreeRelation(visited, relations, t, level + 1);
    }
    cycleNum++;
    }
    return cycleNum;
    }
  • 醉红颜

    2020-02-28 01:35:52

    dfs类似于二叉树的前序遍历,bfs类似于二叉树的层次遍历