非法聚集关于人数没有明确界定，构成非法聚集的主因是扰乱公共秩序等行为。非法聚集是举行集会、游行、示威未依照法律规定申请或者申请未获许可,或者未按照主管机关许可的起止时间、地点、路线进行,又拒不服从解散命令,严重破坏社会秩序的行为是非法集会、游行、示威罪。

一、多少人算非法聚众

一般在三人以上最高人民法院研究室对聚众斗殴犯罪行为人被要求承担民事赔偿责任是否应该支持的答复法研〔2004〕179号根据《刑法》第二百九十二条第一款的规定，聚众斗殴的参加者，无论是否首要分子，均明知自己的行为有可能产生伤害他人以及自己被他人的行为伤害的后果，其仍然参加聚众斗殴的，应当自行承担相应的刑事和民事责任。

根据《刑法》第二百九十二条第二款的规定，对于参加聚众斗殴，造成他人重伤或者死亡的，行为性质发生变化，应认定为故意伤害罪或者故意杀人罪。聚众斗殴中受重伤或者死亡的人，既是故意伤害罪或者故意杀人罪的受害人，又是聚众斗殴犯罪的行为人。对于参加聚众斗殴受重伤或者死亡的人或其家属提出的民事赔偿请求，依法应予支持，并适用混合过错责任原则。江苏省高级人民法院、江苏省人民检察院、江苏省公安厅苏高法[2009]56号关于办理聚众斗殴案件适用法律若干问题的意见各市、县(市、区)人民法院、人民检察院、公安(分)局：为依法惩治聚众斗殴犯罪，根据《中华人民共和国刑法》和有关司法解释的规定，结合司法实践，现对办理聚众斗殴案件适用法律的若干问题提出如下意见：

1、聚众斗殴罪的认定(一)聚众斗殴罪是指拉帮结伙，人数一般达三人以上，有聚众斗殴故意的互相殴斗的行为。要严格掌握聚众斗殴行为的定罪标准，防止把一些情节显著轻微危害不大的行为以犯罪论处。根据中华人民共和国集会游行示威法，并没有限定具体的集会人数

但第十二条 申请举行的集会、游行、示威，有下列情形之一的，不予许可：

(一)反对宪法所确定的基本原则的;

(二)危害国家统一、主权和领土完整的;

(三)煽动民族分裂的;

(四)有充分根据认定申请举行的集会、游行、示威将直接危害公共安全或者严重破坏社会秩序的。

多少人算非法聚众，一般三人以上的团伙行为都是属于聚众的行为，但是看行为人主观上的行为是否有违法的意图，如果只是聚在一起聊天吃饭什么的，自然不属于聚众的行为，三人以上聚在一起比如游行，赌博等等