大小当然与人数有关，大陪审团就是指其人数较多，通常为23人，而小陪审团通常为12人。
但最重要的是性质上的区别：大陪审团决定是否起诉，而小陪审团则决定被告是否有罪。美国宪法《权利法案》（即前十条宪法修正案）中，有两条直接提到陪审团：第五修正案说，“无论何人，除非根据大陪审团的报告或起诉书，不受死罪或其他重罪的审判……”第六修正案说，“在一切刑事诉讼中，被告有权由犯罪行为发生地的州和地区的公正陪审团予以迅速和公开的审判……”在这里，第五修正案说的是大陪审团，而第六修正案说的是小陪审团。如果就保护个人自由的角度看，大陪审团可能比小陪审团更为重要。在英国，历史上的大陪审团通常用于对叛逆罪、重罪、包庇叛逆罪、包庇重罪等重大刑事诉讼；在美国，大陪审团也主要用于刑事诉讼程序中。在这里，提出指控的是由检察官代表的、力量强大的国王或政府，遭到指控的则是个人，指控的罪名通常是冒犯国王的权威或国家的权威。面对国家，个人的力量是非常弱小的，大陪审团则可以对国家的力量形成某种制约。检察官要起诉被指控的个人，首先得说服由普通民众组成的大陪审团。比起检察官来，这些民众更有可能同情起被指控人，因而也就有可能驳回检察官的要求，不予起诉。不过，由于种种复杂原因，到20世纪上半叶，大陪审团制度在英国还是被废除了。但在美国，陪审团制度却完整地保留下来。根据美国宪法，只有大陪审团才有权直接对个人提出刑事诉讼。
