13 | [视频]实战：基于FFI实现的lua-resty-lrucache

你好，我是温铭。

今天的内容，我同样会以视频的形式来讲解。不过，在你进行视频学习之前，我想先问你这么几个问题：

  • lua-resty-lrucache 内部最重要的数据结构是什么？
  • lua-resty-lrucache 有两种 FFI 的实现，我们今天讲的这一种更适合什么场景？

这几个问题，也是今天视频课要解决的核心内容，希望你可以先自己思考一下，并带着问题来学习今天的视频内容。

同时，我会给出相应的文字介绍，方便你在听完视频内容后，及时总结与复习。下面是今天这节课的文字介绍部分。

今日核心

lua-resty-lrucache 是一个使用 LuaJIT FFI 实现的 LRU 缓存库，可以在 worker 内缓存各种类型的数据。功能与之类似的是 shared dict，但 shared dict 只能存储字符串类型的数据。在大多数实际情况下，这两种缓存是配合在一起使用的——lrucache 作为一级缓存，shared dict 作为二级缓存。

lrucache 的实现，并没有涉及到 OpenResty 的 Lua API。所以，即使你以前没有用过OpenResty，也可以通过这个项目来学习如何使用 LuaJIT 的 FFI。

lrucache 仓库中包含了两种实现方案，一种是使用 Lua table 来实现缓存，另外一种则是使用 hash 表来实现。前者更适合命中率高的情况，后者适合命中率低的情况。两个方案没有哪个更好，要看你的线上环境更适合哪一个。

通过今天这个项目，你可以弄清楚要如何使用 FFI，并了解一个完整的 lua-resty 库应该包括哪些必要的内容。当然，我顺道也会介绍下 travis 的使用。

最后，还是想强调一点，在你面对一个陌生的开源项目时，文档和测试案例永远是最好的上手方式。而你后期如果要阅读源码，也不要先去抠细节，而是应该先去看主要的数据结构，围绕重点逐层深入。

课件参考

今天的课件已经上传到了我的GitHub上，你可以自己下载学习。

链接如下：https://github.com/iresty/geektime-slides

如果有不清楚的地方，你可以在留言区提问，另也可以在留言区分享你的学习心得。期待与你的对话，也欢迎你把这篇文章分享给你的同事、朋友，我们一起交流、一起进步。

精选留言

  • geraltlaush

    2019-06-30 06:49:27

    专栏订阅人好少，跟陶辉老师的nginx一样，到后面都没什么人留言了，曲高和寡，不过留下来的都是未来的大牛，学好了未来在工作和求职过程中多了一份竞争力
  • 丢了个丢丢丢

    2019-06-24 10:41:37

    老师讲的好好哦！！！
  • yswang

    2019-06-26 14:59:56

    温大，我之前使用 openresty + ffmpeg 做了一个音频格式换行http服务，我使用先写一个 shell 转换脚本文件，例如：audio_converter.sh (sh文件中调用 ffmepg -i 转换命令)，然后使用 lua 的 os.execute("/bin/sh audio_converter.sh a.mp3 b.ogg") 来调用 shell 脚本文件间接调用 ffmpeg 指令进行转换。 今天看到了 ffi ，ffi 可以调用 C 函数，请问，ffi 可以直接调用 ffmpeg 指令吗？如果可以的话，我就可以省去写一个 shell 文件来间接调用了。
    作者回复

    有一个 ffmpeg 的库：https://github.com/daurnimator/ffmpeg-lua-ffi，你可以试下是否满足需求

    2019-06-26 19:54:04

  • chrisforbt

    2019-07-15 21:22:05

    老师，我想问个问题。我计划将用户请求的参数+路径+方式做为key，把数据存在lru-cache、share dict以及redis中，mysql数据源更新了，我就得将缓存全删了。那我是应该把mysql的数据源和前面生成的key关联起来，一旦更新了数据源，就去找相关的key，将其删除吗？还有更佳的缓存更新方式吗，期待您的回复。
    作者回复

    你这种是主动更新，MySQL 数据变化后主动通知前面的缓存。主动更新的话，也不用主动去删除缓存，而是在 key 里面加入一个版本号，数据变化后版本号变了，那么在缓存中就查找不到数据，这时候就回源到 MySQL 了。
    也可以被动更新，根据你的业务特性，给缓存设置一个过期时间，定期的去数据库查询。
    第一种版本号的方法是比较合适的，当然实现起来比被动更新复杂一些。

    2019-07-16 08:55:30

  • emen

    2019-07-10 15:48:01

    温铭老师您好，关于lrucache在使用过程中有个疑惑烦请老师看看。
    openresty环境：1个master进程、X个worker进程
    在init_worker阶段中注册了缓存信息如：cache.set("key1","val1")
    在content阶段修改了缓存信息：cache.set("key1","val2")
    此操作是否仅为更新了当前worker的缓存信息，而无法跨worker更新。
    如需完成跨worker更新应如何处理呢？
    作者回复

    改用 shared dict，或者是使用 lua-resty-worker-event 这样的库

    2019-07-12 13:38:33

  • 星亦辰

    2019-07-04 11:52:37

    请教老师一个问题。

    我用c语言实现了跨平台的so类库。 用ffi.load 来加载。
    那么，在openrestry 中会有几个 so 函数的实例呢？
    按照操作系统的知识,共享库在系统中只有一个实例。

    如果只有一个，那么我们在不同的worker 中调用so 里的函数中，对于一个so 内的资源是否存在冲突呢？
    作者回复

    OpenResty 中的 worker 是互相独立的，如果你在 worker 中使用 ffi.load 来加载 so，那么有几个 worker 进程，就会有几个 so 实例。

    2019-07-10 16:12:50

  • 冰沁宇诺

    2019-06-24 18:20:12

    老师，如果我想从数据库中初始化一些基本不变的数据到shared_dict中，应该怎么做，init_by_lua 阶段可以吗
    作者回复

    可以的，在这个阶段启动一个 timer 去读取数据库，然后放到 shared dict 中。但要注意，这个数据是可以丢失的，代码中要处理这种异常。

    2019-06-26 20:18:29

  • Geek_b16e46

    2023-08-18 07:22:55

    我遇到一个问题，aes加密解密无法和JAVA互通，JAVA加密后OpenResty无法解密

    网上也没有找到解决方案，大多数是要修改JAVA的加密方式，请问有没有更好的办法
  • 沈康

    2020-10-05 22:53:52

    HAHA，刚学完陶辉老师的nginx，跃跃欲试啊
  • dhf

    2020-06-23 20:12:23

    get方法里维护lru的时候，不需要考虑线程安全吗
  • 微众_廖卫军

    2019-09-23 13:14:06

    温铭老师，您好！ FFI调用自己封装的函数库，ffi.load(name[,global])，是否只能是动态库？不能调用静态库吗？ 谢谢！
  • 小飞哥 ‍超級會員

    2019-07-02 22:21:40

    都有视频了，温老师，能否现场演示一下， 让我们见识 openresty 的复杂性。 一些文档库 官网描述等，能否现场打开了解下。 我们自己打开后，就没有然后了。
    作者回复

    我的理解，OpenResty 的复杂性在于各个子项目之间的配合，还是需要有特定的场景和业务需求来驱动，才会更有感觉。你可以参与到 OpenResty 相关的开源项目中来，切身体会下。

    2019-07-10 16:14:39

  • . 。o O 〇

    2019-06-26 08:03:36

    老师好，我碰到一个问题，我用的lrucache，会卡在get set那，并且worker进程cpu100%，整个worker不工作。换成lrucache.pureffi就好了，不知道老师碰到过没
    作者回复

    这个没有遇到过。是否是这个 bug：https://github.com/openresty/luajit2/issues/42？ 用最新的 OpenResty 版本是否可以重现呢？
    如果还是有问题，欢迎给官方提交 issue

    2019-06-26 20:22:25