Q-Pot の場合、ラグは以下３つの要素の掛け算で現れてくるものなので、どれかひとつの要素で遅延が大きくなると、それがボトルネックとなって全体に影響が出ます。
(1) 入室者がお使いの回線に起因する遅延（特に有線か無線か）
(2) Q-Pot のアプリそのものの処理遅延
(3) Q-Pot が使用しているサーバーの遅延
このうち、(2) については当方である程度考慮して作成されており、早押しボタンにかかわる処理は、なるべく遅延を起こさず、高優先度で処理される設計です。
(3) については、Q-Pot が使用している音声通話PFの仕様に依存するところですが、こちらで計測したところ、20-30ms 程度のレスポンスが得られています。この程度であれば、ほとんどラグを感じないレベルだと思われます。ただし、この音声通話PFは、クイズだけでなく日本全国色々なオンラインツールで使用されているPFのため、接続者数が多くなればレスポンスも遅くなるリスクはあります。
(1) は、当方の経験上、特にWi-Fiなど無線環境の人に遅延が起こりやすいようです。他の入室者との接続状態の乖離が大きくなると Q-Pot から自動退室という挙動になることもあります。どんなに高速な無線環境であっても、無線の特性上、どうしても通信速度の粗密が発生するものですから、開発者としては、有線環境でクイズされることを推奨しています。オンラインクイズにおいては、普通速度の有線環境は高速な無線環境に勝ります。
入室者のうち特定の人のみラグを感じるようであれば、(1) が原因の可能性が高く、全員に等しくラグを感じるようであれば、(3) が原因の可能性が高い、と切り分けできます。
上記情報が参考になればと思います。