fantix 最近的时间轴更新 fantix 最近的时间轴更新fantix's repos on GitHub
Cython · 222 人关注
kloop
An asyncio event loop using Linux io_uring and kTLS.
Python · 74 人关注
gevent
Coroutine-based concurrency library for Python
Python · 55 人关注
aiocontextvars
Asyncio support for PEP-567 contextvars backport.
Shell · 6 人关注
ArchLinux-x32
This repo is migrated to repos under https://github.com/archlinux-x32
Python · 4 人关注
gen4
Gen3 Data Commons (EdgeDB PoC)
JavaScript · 4 人关注
pie
Python · 3 人关注
ArchRepo
Powers the Arch Linux unofficial user repositories
3 人关注
cookiecutter-fastapi-edgedb
Cookiecutter template for a FastAPI server using EdgeDB.
C · 3 人关注
guvcview
1 人关注
authlib-gino
OpenID Connect provider implemented with Authlib and GINO.
Python · 1 人关注
flask-admin
Simple and extensible administrative interface framework for Flask
1 人关注
hishel
An elegant HTTP Cache implementation for HTTPX and HTTP Core.
1 人关注
release-demo
Python · 1 人关注
sanic
Async Python 3.5+ web server that's written to go fast
0 人关注
.github
EdgeDB: The post-SQL database
Python · 0 人关注
aiohttp
HTTP client/server framework for asyncio
0 人关注
aiomysql
aiomysql is a library for accessing a MySQL database from the asyncio
Python · 0 人关注
aiozmq_router_to_router
0 人关注
anyio
High level compatibility layer for multiple asynchronous event loop implementations on Python
0 人关注
async-listen
A rust crate with various helpers for writing production-ready servers in rust using async-std
Rust · 0 人关注
async-tls
A TLS implementation over AsyncRead and AsyncWrite
Python · 0 人关注
asyncpg
A fast PostgreSQL Database Client Library for Python/asyncio.
Python · 0 人关注
asyncpgsa
A wrapper around asyncpg for use with sqlalchemy
Python · 0 人关注
authub
The hub software for user authentication.
0 人关注
awesome-asyncio
A curated list of awesome Python asyncio frameworks, libraries, software and resources
Python · 0 人关注
awesome-sqlalchemy
A curated list of awesome tools for SQLAlchemy
Shell · 0 人关注
boot2docker
Lightweight Linux for Docker
Python · 0 人关注
bulletbot
Slack/IRC bot for logging, aggregating, and emailing daily tasks.
Python · 0 人关注
cdis-python-utils
utilities to ease python code development
Python · 0 人关注
cdiserrors
Error types to be shared between other systems
Python · 0 人关注
cdislogging
Python · 0 人关注
cdisutils
Utility modules for GDC functionality
Python · 0 人关注
cdisutils-test
Test data and reusable non-specific test code
Python · 0 人关注
cii
Shell · 0 人关注
cloud-automation
Automation for standing up Gen3 commons on AWS, GCP, Azure, and on-prem
HCL · 0 人关注
cloud-scripts
PowerShell · 0 人关注
configure-pagefile-action
Set PageFileSize on GitHub Windows Hosted Agents
Python · 0 人关注
contextvars
PEP 567 Backport
0 人关注
core
MoonBit's standard library
Python · 0 人关注
cpython
The Python programming language
Python · 0 人关注
datamodelutils
wrapper utils to initialize datamodel from remote dictionary
0 人关注
easy-edgedb
Python · 0 人关注
edgedb
The next generation object-relational database.
Shell · 0 人关注
edgedb-action
0 人关注
edgedb-cli
Command-line tools for edgedb
0 人关注
edgedb-docker
Official Docker Image packaging for EdgeDB
Python · 0 人关注
edgedb-docs
此仓已过时，请移步下面的链接：
Python · 0 人关注
edgedb-pkg
EdgeDB Release Packaging Toolkit
Python · 0 人关注
edgedb-python
EdgeDB Python Driver
0 人关注
edgedb-rust
EdgeDB Rust binding. WIP.
0 人关注
emoji
emoji terminal output for Python
0 人关注
emoji-cheat-sheet
A markdown version emoji cheat sheet
JavaScript · 0 人关注
essential-react
A minimal skeleton for building testable React apps using Babel
HTML · 0 人关注
fantix.github.io
0 人关注
fastapi
FastAPI framework, high performance, easy to learn, fast to code, ready for production
Python · 0 人关注
flask
The Python micro framework for building web applications.
Python · 0 人关注
flask-sqlalchemy
Adds SQLAlchemy support to Flask
Python · 0 人关注
gen3
Gen3 is how data commons are made.
HTML · 0 人关注
gino.fantix.pro
Rust · 0 人关注
green-rs
Green Tasks for Rust
C · 0 人关注
greenlet
Lightweight in-process concurrent programming
0 人关注
gulip
0 人关注
httptools
Fast HTTP parser
Python · 0 人关注
imdbench
IMDBench — Realistic ORM benchmarking
0 人关注
immutables
A high-performance immutable mapping type for Python.
Python · 0 人关注
indexd
Index service server
0 人关注
libpg_query
C library for accessing the PostgreSQL parser outside of the server environment
0 人关注
liburing
0 人关注
libuv
Cross-platform asynchronous I/O
0 人关注
llurl
Port of http_parser to llparse
Python · 0 人关注
metapkg
Multi-platform native package builder toolkit
Rust · 0 人关注
mio
Mini IO library for Rust
0 人关注
moon
The build system and package manager for MoonBit
Rust · 0 人关注
nix-rust
Rust friendly bindings to Posix APIs
Python · 0 人关注
pgbench
PostgreSQL Client Driver Performance Benchmarking Toolbench
Python · 0 人关注
pidgin
key value metadata service
0 人关注
poetry
Python dependency management and packaging made easy.
Python · 0 人关注
poetry-release-action
Dockerfile · 0 人关注
postgres-ssl-docker
Python · 0 人关注
psqlgraph
Library for graph-like storage in postgresql using sqlalchemy
Python · 0 人关注
psycopg2cffi
Port to cffi with some speed improvements
JavaScript · 0 人关注
pwa-module
⚡ Supercharge Nuxt with a heavily tested, updated and stable PWA solution
Python · 0 人关注
py-arcgis-ex1
Adopt Arcgis's python modules to do experiment for extracting the boundary cells
0 人关注
py-pgproto
Low-level IO utilities for PosgtreSQL drivers.
Python · 0 人关注
pyczmq
Python CZMQ bindings
Python · 0 人关注
pylint
It's not just a linter that annoys you!
Python · 0 人关注
python-beginners
Workshop material for "Introduction to Programming with Python"
Python · 0 人关注
pyzmq
PyZMQ: Python bindings for zeromq
Shell · 0 人关注
qemu-arm-image-builder
Shell scripts to build Linux images for QEMU ARM emulator
Dockerfile · 0 人关注
quay-test
0 人关注
rbac-client
Python · 0 人关注
release-helper
Python CLI to generate release notes by scanning a repo's pull requests descriptions
Shell · 0 人关注
repo
Arch Linux CN Repository
0 人关注
rfcs
RFCs for major changes to EdgeDB
Rust · 0 人关注
rust
a safe, concurrent, practical language
0 人关注
rust-tls-api
TLS API for Rust, and API implementations over native-tls and openssl in separate crates
0 人关注
rust-zmq
Rust zeromq bindings.
0 人关注
setup-edgedb
Set up your GitHub Actions workflow with a version of EdgeDB
Python · 0 人关注
sheepdog
API for herding data submissions
0 人关注
simutrans-extended
Sources for the Experimental branch of the popular game Simutrans
 |
fantix🏢 EdgeDB Inc. / Senior Software Engineer V2EX 第 56284 号会员，加入于 2014-02-19 14:47:17 +08:00 |
fantix
about.me/fantix
Toronto
fantix
| 请问可以申请创建新节点吗？ 反馈 • fantix • 2022-08-18 23:47:12 PM |
| 新项目再轮 asyncio 实现： kLoop Python • fantix • 2022-06-15 17:22:56 PM • 最后回复来自 zepc007 | 18 |
| graph-relational model 怎么翻译最合适？ 数据库 • fantix • 2022-02-23 10:13:33 AM • 最后回复来自 fantix | 4 |
| EdgeDB 1.0 正式发布 数据库 • fantix • 2022-02-16 06:37:59 AM • 最后回复来自 fantix | 45 |
| 浏览了数据库节点所有 39 页的主题，为什么没见有人吐槽 SQL？
4 数据库 • fantix • 2022-02-11 20:39:25 PM • 最后回复来自 zoharSoul
|
40 |
fantix 最近回复了
2022-06-15 06:40:12 +08:00 回复了 fantix 创建的主题 › Python › 新项目再轮 asyncio 实现： kLoop |
@mayli 我大概明白了，正如你说的，我也觉得应该是可以优化的[1]，或者将来可以[2]，就是可能写起来比较费劲。另外，作为抽象化的库，kLoop 我认为可以从两方面做批量优化：1 、单次主循环内批量操作：当 I/O 请求比较密集的时候，一次循环有机会批量提交处理几十上百个请求，每个请求可能都是由多个 SQE 链接实现，这样一次循环就能省几百 syscall ； 2 、提高抽象层级，直接做 HTTP 静态文件服务器[狗头]。以上还都是臆想，有待实现验证测评。
[1]: https://lwn.net/Articles/863071/
[2]: https://lwn.net/Articles/847951/
[1]: https://lwn.net/Articles/863071/
[2]: https://lwn.net/Articles/847951/
2022-06-13 07:00:26 +08:00 回复了 fantix 创建的主题 › Python › 新项目再轮 asyncio 实现： kLoop |
@mayli 好像可以创建一对 pipe ，先把 header 写进去，然后提交两个 splice(2) 任务（无须 link ？），一个连文件另一个连 socket 。这个不是 asyncio 层面的，但类似于计划中 kLoop 的 `loop.sendfile()` 实现，我还没试过，希望能帮上忙。
2022-06-12 03:53:56 +08:00 回复了 fantix 创建的主题 › Python › 新项目再轮 asyncio 实现： kLoop |
2022-06-12 03:38:31 +08:00 回复了 fantix 创建的主题 › Python › 新项目再轮 asyncio 实现： kLoop |
@mayli 感谢分享！我赞同您提到的三点：1 、直接使用 io_uring 或者甚至是包装过的 liburing 来做业务逻辑，编程体验并不直观； 2 、深度利用队列需要一定技巧，比如可能需要在 SQ 提交之前修改顺序，才能将需要链接的元素排在一起，因为目前链接功能只能把挨在一起的几个元素连起来； 3 、io_uring 并不提供流量控制功能，需要调用者自己搞。
需要为其他读到这里的同学澄清的是，这些在 kLoop 中属于实现细节，参与开发的同学确实需要面对底层接口的复杂性，以及处理好各种接口异常，比如用发送队列做重试以提供高阶流量控制等等；然而，对于 kLoop 使用者而言，这些复杂性应该是封装在统一的 asyncio 接口之下的，比如用户只需调用 `loop.sendfile()`，而不需要考虑这个操作实际上可能链接了多个 io_uring 任务，包括创建管道、两次 splice 来连接文件和网络，以及流量控制所需要的重试（还没实现，大致猜测），以最高效的方式利用 io_uring 来完成任务。
需要为其他读到这里的同学澄清的是，这些在 kLoop 中属于实现细节，参与开发的同学确实需要面对底层接口的复杂性，以及处理好各种接口异常，比如用发送队列做重试以提供高阶流量控制等等；然而，对于 kLoop 使用者而言，这些复杂性应该是封装在统一的 asyncio 接口之下的，比如用户只需调用 `loop.sendfile()`，而不需要考虑这个操作实际上可能链接了多个 io_uring 任务，包括创建管道、两次 splice 来连接文件和网络，以及流量控制所需要的重试（还没实现，大致猜测），以最高效的方式利用 io_uring 来完成任务。
2022-06-11 10:15:48 +08:00 回复了 fantix 创建的主题 › Python › 新项目再轮 asyncio 实现： kLoop |
2022-06-11 05:51:57 +08:00 回复了 piglei 创建的主题 › Python › 推荐一本中文 Python 新书《 Python 工匠：案例、技巧与工程实践》 |
有幸在本书成书后的开发阶段抢先阅读过，非常认同“基础编程素养”和“编程理念”的部分，结合案例讲技巧，非常值得收藏。
Select Language