Bogens forfatter Jacob Buurgaard Pedersen må bruge tolk for at kommunikere med mennesker, der ikke kender ham. I Rytmer uden takt får han sagt mange af de ord, han gerne vil sige. Jacob fortæller om sin barndom og de psykiske nedture som teenager, da han opdagede, hvor meget han skiller sig ud fra mængden. Han deler ud af sine erfaringer om det at være et barn, ikke alle leger med, og hvordan det er at være i aflastning sammen med ligestillede børn og unge. Han fortæller om en hverdag fyldt med interesser og om noget så irriterende som at vente på, at et andet menneske har tid til at hjælpe én.

Jacob synes, hans hverdag på mange måder ligner mange andres. Han er afhængig af sine hjælpere og fortæller åbent, hvad der gør en forskel. Et af hans ønsker med bogen er at fortælle, hvor meget det betyder for ham og hans ligestillede, at hjælperen er bevidst om sin rolle og har en positiv og humoristisk tilgang til sit arbejde.