V2EX › watsy0007 的所有回复 › 第 8 页 / 共 17 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9 10 ... 17

❮

❯

2018-10-19 11:59:47 +08:00

回复了 AllOfMe 创建的主题 › PostgreSQL › 有人在业务上使用过 PostgreSQL 吗？感觉体验如何？

https://item.jd.com/11684063.html
不能修改, 换一个链接

2018-10-19 11:58:55 +08:00

回复了 AllOfMe 创建的主题 › PostgreSQL › 有人在业务上使用过 PostgreSQL 吗？感觉体验如何？

https://item.jd.com/24868416248.html?jd_pop=cdebc412-3a63-41c1-9749-d9070086fc5e&abt=0
推荐看下目录...
看完目录你就考虑换了

2018-10-17 11:07:12 +08:00

回复了 kirinzer 创建的主题 › 程序员 › MacBook Pro 外接 27 寸 2k 显示器

上 4k 吧.

2018-10-16 11:34:46 +08:00

回复了 eeljiang 创建的主题 › 奇思妙想 › 有没有多人共用的牙膏或者挤牙膏装置？

私人物品最好不要公用.可以买次洗漱时候自带好了.

2018-10-15 20:50:12 +08:00

回复了 yo0o0o0 创建的主题 › 奇思妙想 › 求个自动倒水的设备

买个 2L 的瓶子, 满足你一天的用水量

2018-10-15 19:45:14 +08:00

回复了 martifact 创建的主题 › 北京 › [北京] 后端程序员求合租

1. 图片挂了
2. 主卧合租是什么意思? 2 个人一间屋?

2018-10-09 17:26:50 +08:00

回复了 jamfer 创建的主题 › 分享发现 › 感觉「公园盒子（智能健身舱）」这个创意真的蛮好的

不能洗澡的健身房没啥性价比.

2018-10-09 16:24:07 +08:00

回复了 Ewig 创建的主题 › Python › mongodb 在 scrapy 如何去重，然后下载管道如何管理

v2ex 不支持 markdown...

https://gist.github.com/watsy0007/779c27fb0ceab283cc434b5eec10b7c4

封装了针对数据处理的公共方法.

2018-10-09 16:22:08 +08:00

回复了 Ewig 创建的主题 › Python › mongodb 在 scrapy 如何去重，然后下载管道如何管理

```python

class MongoCache:
db = None

def __init__(self):
if not hasattr(MongoCache, 'pool'):
MongoCache.create_instance()

@staticmethod
def create_instance():
client = MongoClient(config.MONGO_URL)
MongoCache.db = client['spider']

def create(self, table, unique_key, origin_data):
if self.exists(table, unique_key):
return None

summaries = {k: generator_summary(v) for (k, v) in origin_data.items()}

return self.db[table].insert({
'unique_key': unique_key,
'data': origin_data,
'summaries': summaries
})

def get(self, table, unique_key):
data = self.db[table].find_one({'unique_key': unique_key})
if data is None:
return None
return data['data']

def exists(self, table, unique_key):
data = self.db[table].find_one({'unique_key': unique_key})
return data is not None

def is_changed(self, table, unique_key, origin_data):
if not self.exists(table, unique_key):
return True

last_summaries = self.db[table].find_one({'unique_key': unique_key})['summaries']
for (k, v) in origin_data.items():
summary = generator_summary(v)
last_summary = last_summaries.get(k, None)
# print('{} -> {} | {} -> {}'.format(k, v, summary, last_summary))
if last_summary is None or last_summary != summary:
return True
return False

def change_fields(self, table, unique_key, origin_data):
if not self.exists(table, unique_key):
return origin_data
changes = {}
last_summaries = self.db[table].find_one({'unique_key': unique_key})['summaries']
for (k, v) in origin_data.items():
last_summary = last_summaries.get(k, None)
# print('{} -> {} | {} -> {}'.format(k, v, summary, last_summary))
if last_summary is None or last_summary != generator_summary(v):
changes[k] = v
return changes

def update(self, table, unique_key, origin_data):
if not self.exists(table, unique_key):
return origin_data
new_summaries = {k: generator_summary(v) for (k, v) in origin_data.items()}
self.db[table].update_one({'unique_key': unique_key},
{'$set': {'data': origin_data, 'summaries': new_summaries}})
return origin_data
```

2018-10-09 14:55:30 +08:00

回复了 Giethoorn 创建的主题 › 职场话题 › 本周我是这样安排工作的，有木有跟我一样的？

手动帮你 @你们公司领导

2018-10-09 14:43:17 +08:00

回复了 pandaaa 创建的主题 › 程序员 › 现在使用 Python 的公司是用 2 还是 3？

3.7

2018-10-07 00:10:40 +08:00

回复了 duvalier 创建的主题 › 生活 › 话说我一个学医的整天逛 V2EX 是不是太乱入了？

360 行, 行行转 it

2018-07-23 00:34:01 +08:00

回复了 1800x 创建的主题 › 旅行 › 如何运送一台显示器

顺丰和德邦都用过. 完好无损