Bilyenin atası sayılabilecek aşık oyunudur. Aşık kemikleri Yakındoğuda da aynı amaçla kullanılmıştır. Bilyelerin de büyükler ve çocuklar tarafından kutsal amaçlarla, büyü ve oyuncak olarak kullanıldığı arkeolojik bulgulardan anlaşılmakta, tapınak ve çocuk mezarlarında bilye bulunmaktadır.
Giritte bulunan akik ve yeşim bilyeler M.Ö. 1400lü yıllara aittir. İngilizce bilye demek olan marble eski Yunanca marmaros (mermer) sözcüğünden gelmekte, İngilizce ve Fransızca agate akik anlamının yanı sıra bilyeyi, dolayısıyla bu taştan bilye yapıldığını da ifade etmektedir. Bilardonun kökü de Fransızca bille, yani bilyedir.
Batı Avrupada halen çeşitli büyüklükte toplarla bilye oyununun türevlerinin büyükler arasında sevilerek oynandığı bilinmektedir.
Türkçede bilye İtalyanca bigliadan gelirken, mile, miras gibi adlar da alır ve ceviz başta olmak üzere, bütün dünya kültürlerinde, yerli malzeme neyse onunla oynanır.
Cam bilyelerin 1800lerde ABD de yaygınlaştığı bilinmektedir. Çocuk oyunlarında bir oyunun ve oyuncağın uzun aralarla tekrar moda olduğu görülür; bilye de herhalde böyle bir dönem geçiriyor. Bilyenin çeşitli oyunları olduğu gibi, hangi dilde olduğu bilinemeyen çok zengin terminolojisi de vardı. Değişik renkleriyle hareli Japon bilyeleri en değerli taşlar olmuştu, ancak oyunun modası bundan sonra fazla sürmedi.