V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
chuwt
V2EX  ›  程序员

如何优化 Go 频繁的读文件导致的调度开销

  •  
  •   chuwt · 73 天前 · 1999 次点击
    这是一个创建于 73 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在需要对一个文件频繁的读,没有写,文件大小在 100-500G 左右,有顺序读,有随机读。 现在是读取次数太多陷入 syscall 太多然后导致调度占用时间变多,大佬们这种如何优化。

    10 条回复    2021-09-20 00:37:58 +08:00
    JKeita
        1
    JKeita   73 天前
    顺序读也就每次加载一段数据到内存,随机的话感觉优化不了。
    MidGap
        2
    MidGap   73 天前
    可以参考 mmap
    rrfeng
        3
    rrfeng   73 天前 via Android
    根据文件内容,拆分后索引起来。
    如果文件本身有序那也可以索引 offset
    wellsc
        4
    wellsc   73 天前
    文件啥类型的,纯文本?有没有格式?
    ch2
        5
    ch2   73 天前
    直接 mmap
    misaka19000
        6
    misaka19000   73 天前
    mmap+1 让 OS 帮你调度
    llllIIIIllll
        7
    llllIIIIllll   73 天前
    买 1T 内存
    index90
        8
    index90   73 天前
    了解一下 golang 的 netpoll,仿造一个?
    CrazyMonkeyV
        9
    CrazyMonkeyV   73 天前
    长打开这个文件,不关闭就行了
    b00tyhunt3r
        10
    b00tyhunt3r   71 天前
    不 close 不就行了吗?
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3519 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 09:56 · PVG 17:56 · LAX 01:56 · JFK 04:56
    ♥ Do have faith in what you're doing.