这是一个创建于 1571 天前的主题，其中的信息可能已经有所发展或是发生改变。
用户会上传多个大文件（ 1GB 大小），，存在 txt，csv，excel 格式，不知道有什么好的办法入库，还需要判断表是否存在，不存在就去建表。入库的数据有添加和覆盖两个选项。入库后需要得到入库成功多少行失败多少行 很苦恼没啥好的解决办法
 |
1
1018ji 2020-08-11 15:04:55 +08:00
1G 多，啥子需求，告辞
|
 |
2
gz911122 2020-08-11 15:06:50 +08:00  1
不入库啊
为什么这种东西要入库? 存到对象存储不行么? |
 |
3
summerwar 2020-08-11 15:09:16 +08:00
1G 多的 excel 文件吗
|
 |
4
wakzz 2020-08-11 15:20:42 +08:00
大文件传到文件存储服务中（ FastDFS 、阿里 OSS 之类的）生成一个访问链接，然后把链接存到 mysql 中。
|
 |
5
lscexpress 2020-08-11 15:56:27 +08:00
没看文档吗
mysql 就不适合大文件存储 |
 |
6
killergun 2020-08-11 16:17:04 +08:00
1G 的 excel 这得有千万行数据了吧
|
 |
7
blackmirror 2020-08-11 17:30:33 +08:00
这不是伪需求吗
|
 |
8
realpg 2020-08-11 18:29:21 +08:00
java 开发商业软件的一贯脑回路清奇
|
 |
9
xuanbg 2020-08-11 18:57:05 +08:00
文件存 7 牛什么的，url 入库就行了
|
|
10
xuanbg 2020-08-11 18:59:03 +08:00
或者把数据解析出来批量写入也行，整个文件入库怕是不太行。
|
 |
11
securityCoding 2020-08-11 19:14:27 +08:00
@xuanbg 楼主应该不是这个意思的,应该是解析文件然后存储
|
 |
14
ccxml OP @lscexpress 这里是把大文件转换成表数据入库
|
|
17
ccxml OP @securityCoding 我搜到 loda data 这个命令可以实现我的需求
|
|
18
summerwar 2020-08-12 13:55:27 +08:00
@ccxml 只是很少见到 1G 的 excel 文件，不会 java，只会 python，用 python 的话可以直接读取，然后第一行作为表头，每行数据与数据库进行对比，该覆盖覆盖，该新建了新建数据就是了
|
 |
19
robot1 2020-08-12 16:14:20 +08:00
果然什么样的工程都有 脑回路清奇算是夸人了
|
 |
21
tibazq929 2020-08-12 16:51:56 +08:00
用 oracle，lob 性能比文件系统还强
|
 |
22
b2byco 2020-08-21 17:22:07 +08:00
kettle ？
|
Select Language