 Aleksandr Borzunov
|
020c068344
Log collaboration step to Wandb, store metrics only if peer is synchronized (#267)
|
4 ani în urmă |
 foksly
|
e58f65db33
Support auxiliary participants in AllReduceProtocol (#260)
|
4 ani în urmă |
 Vsevolod-pl
|
8673071bc0
Fixed nan when compressing the tensor of zeros (#266)
|
4 ani în urmă |
|
Aleksandr Borzunov
|
9bb775fe04
Log correct loss in examples/albert/run_first_peer.py (#265)
|
4 ani în urmă |
 justheuristic
|
f0c5627139
Improve error handling, remove deprecated functionality (#261)
|
4 ani în urmă |
|
Aleksandr Borzunov
|
971c142628
Implement authorization for a moderated Hivemind network (#255)
|
4 ani în urmă |
 Michael Diskin
|
afc59d2a6b
Log more stats for user, move performance stats to examples (#257)
|
4 ani în urmă |
 Max Ryabinin
|
2328ba9262
Fix device in Switch-MoE, overhaul Server architecture (#256)
|
4 ani în urmă |
|
justheuristic
|
94b9db0d37
Fix random freezes in averager.step, improve error handling (#254)
|
4 ani în urmă |
 Alexey Bukhtiyarov
|
01103cf991
Add state checkpointing and uploading in coordinator (#241)
|
4 ani în urmă |
|
Aleksandr Borzunov
|
3bde6188fe
Protect training progress and metrics with signatures and DHT schema validation (#250)
|
4 ani în urmă |
|
Aleksandr Borzunov
|
08ee017f0f
Add nltk to ALBERT example's requirements (#251)
|
4 ani în urmă |
 Roman Zhytar
|
e833a7efb9
Decentralized adaptive optimizers (#243)
|
4 ani în urmă |
|
Aleksandr Borzunov
|
18add2c04b
Implement combining validators (#249)
|
4 ani în urmă |
|
Max Ryabinin
|
0a1fdb172f
Fix incorrect data types/values in RemoteSwitchMixtureOfExperts (#246)
|
4 ani în urmă |
|
Max Ryabinin
|
dfbc401196
Add Dockerfile, refactor tests (#245)
|
4 ani în urmă |
|
justheuristic
|
ddb5389e66
Fix server hanging in certain cases when connection is lost (#247)
|
4 ani în urmă |
|
Aleksandr Borzunov
|
a3feafa907
Add DHT schema validator (#227)
|
4 ani în urmă |
|
Michael Diskin
|
2314e7ebd5
fix metrics (#240)
|
4 ani în urmă |
|
Alexey Bukhtiyarov
|
27ea94e3f9
Add example for collaborative ALBERT training (#226)
|
4 ani în urmă |
|
Max Ryabinin
|
62652e1717
Add Switch Transformers-like RemoteMixtureOfExperts (#228)
|
4 ani în urmă |
|
justheuristic
|
3d6a242e30
Ensure version-consistent result rounding in load_balance_peers (#230)
|
4 ani în urmă |
|
Roman Zhytar
|
8c3bd93e87
Statistics averaging (#229)
|
4 ani în urmă |
|
Vsevolod-pl
|
91d17a4ebc
Delta gradients transmission (#225)
|
4 ani în urmă |
 romakail
|
ca5c7610ae
Add tool for custom user experts (#189)
|
4 ani în urmă |
|
justheuristic
|
32b87bf3fe
Reset gradient buffers when synchronizing with peers (#222)
|
4 ani în urmă |
|
justheuristic
|
b906ae94ed
better zero_grad behavior in CollaborativeOptimizer (#221)
|
4 ani în urmă |
|
justheuristic
|
2359906253
Add gradient buffers to CollaborativeOptimizer (#220)
|
4 ani în urmă |
 mponty
|
0080028e25
Add uniform compression (#202)
|
4 ani în urmă |
 ploshkin
|
9d2a40714c
Prevent DecentralizedSGD from accidentally skipping a fraction of training batches (#218)
|
4 ani în urmă |
