V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
tianxiacangshen
V2EX  ›  PHP

2G 甚至 5G 10G 的 sql 文件怎么消化?

  •  
  •   tianxiacangshen · 2017-06-02 11:05:50 +08:00 · 5567 次点击
    这是一个创建于 2732 天前的主题,其中的信息可能已经有所发展或是发生改变。
    不一定是传到数据库,而是能打开,能分割也行( SQLDumpSplitter 无效),这么大个文件,用什么打开编辑都是卡死,只能用大文件查看器查看一下,也不能编辑,请问有什么办法编辑比如剪切里面的内容?
    32 条回复    2017-06-04 09:39:07 +08:00
    liprais
        1
    liprais  
       2017-06-02 11:08:28 +08:00 via iPhone
    倒进数据库看....
    Fishdrowned
        2
    Fishdrowned  
       2017-06-02 11:09:04 +08:00 via Android
    有个笨办法,先导入,再编辑,再导出
    operafans
        3
    operafans  
       2017-06-02 11:09:40 +08:00
    Toad
    harker
        4
    harker  
       2017-06-02 11:12:53 +08:00
    找个好点的配置的主机,导入到数据库,编辑完在导出,简单有效,主要是方便编辑
    baoguok
        5
    baoguok  
       2017-06-02 11:19:27 +08:00
    导入再分批次导出嘛

    玩儿技术的,这都不是事儿
    buir
        6
    buir  
       2017-06-02 11:34:36 +08:00
    卡死是你没 [耐心] 或者内存太小导致的。
    wudanyang
        7
    wudanyang  
       2017-06-02 11:39:43 +08:00
    先分割呗, 用 `split` 命令
    ```
    split -b 256M file_name -d -a 4 file_prefix
    ```
    jianghu52
        8
    jianghu52  
       2017-06-02 11:49:16 +08:00   ❤️ 1
    我最大打开过 6.8G 的 sql 文件。用的 emeditor。慢是慢了一点。但是没有死。10g 的是没试验过。
    gouchaoer
        9
    gouchaoer  
       2017-06-02 11:52:19 +08:00
    手写一行一行的读
    or 用 vim 啥的
    tianxiacangshen
        10
    tianxiacangshen  
    OP
       2017-06-02 11:53:55 +08:00
    @baoguok 这么大没办法导入啊
    baoguok
        11
    baoguok  
       2017-06-02 11:56:12 +08:00
    @tianxiacangshen mysql cli 中,试试 source load xx.sql
    bookit
        12
    bookit  
       2017-06-02 12:01:08 +08:00
    UltraEdit

    禁止临时文件
    禁止显示行号
    禁止文件(回车 & 换行符)转换
    禁止代码折叠
    禁止显示函数列表
    设置打开 XML 大文件阈值
    禁止语法高亮
    禁止列表变更指标( LCI )
    2ME
        13
    2ME  
       2017-06-02 12:06:49 +08:00 via Android
    @tianxiacangshen
    为什么没办法导入 命令行设置编码 source 导入很快 上午刚导入一个 4g 不到的 sql 文件
    mahone3297
        14
    mahone3297  
       2017-06-02 12:08:37 +08:00
    @2ME 4g 导入,差不多要多久?
    congeec
        15
    congeec  
       2017-06-02 12:13:50 +08:00
    ...............
    楼主你听说过 vim 么?
    blankme
        16
    blankme  
       2017-06-02 12:19:04 +08:00 via Android
    你能导出还不能导入么...
    而且只要内存够,vim 随便看随便编辑
    2ME
        17
    2ME  
       2017-06-02 12:38:12 +08:00
    @mahone3297 没注意 很快 几分钟都不到
    tianxiacangshen
        18
    tianxiacangshen  
    OP
       2017-06-02 13:03:12 +08:00
    @jianghu52 这是个神器啊,13G 打开毫无压力,还能“增删改查”
    likuku
        19
    likuku  
       2017-06-02 13:06:06 +08:00
    转 csv,split 指令直接按行切分成多文件。

    grep,sort,awk, 配合起来用,筛出数据都可以。

    内存够大(超过文件体积),那么 vim 吧,快速定位行,复制黏贴,都可以。
    XiaoFaye
        20
    XiaoFaye  
       2017-06-02 13:41:27 +08:00
    你是没用过 UltraEdit 这个神器吧?
    reus
        21
    reus  
       2017-06-02 13:55:02 +08:00
    ed 啊
    artandlol
        22
    artandlol  
       2017-06-02 14:00:29 +08:00 via Android
    使用 mysqldump -tab 导出每想单独的表
    估计是你本身的原因 我打开 11G 的文件嗯正常
    msg7086
        23
    msg7086  
       2017-06-02 15:15:57 +08:00
    没记错的话 EmEditor 有专门用来处理大文件的功能,直接选定某个局部区域打开就行了。
    jhdxr
        24
    jhdxr  
       2017-06-02 15:30:04 +08:00   ❤️ 1
    emeditor 我最高处理过一个单个 22G 的 SQL,而且批量替换啥的,如果不用正则速度还是很快的。
    Akkuman
        25
    Akkuman  
       2017-06-02 15:41:15 +08:00 via Android
    emediter
    Akkuman
        26
    Akkuman  
       2017-06-02 15:41:33 +08:00 via Android
    emeditor
    nadoo
        27
    nadoo  
       2017-06-02 16:28:33 +08:00
    emeditor 可以
    gdsagdada
        28
    gdsagdada  
       2017-06-02 18:38:31 +08:00
    emeditor,自己写个程序不就搞定了,哪个 SB 导这么大的文件,不知道分表分批次导出吗
    mingyun
        29
    mingyun  
       2017-06-03 00:09:25 +08:00
    emeditor 这么屌
    20150517
        30
    20150517  
       2017-06-03 01:25:17 +08:00 via Android
    搞什么 要看下肯定用 less less 是一点点加载的,但你如果要查找就麻烦了
    rubyvector
        31
    rubyvector  
       2017-06-03 16:26:03 +08:00
    之前用过 UltraEdit,也很牛
    winglight2016
        32
    winglight2016  
       2017-06-04 09:39:07 +08:00
    用 ETL 工具随便想输出什么格式都可以
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2983 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 14:10 · PVG 22:10 · LAX 06:10 · JFK 09:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.