在内地会全不知悉的情况下，扬州城内的土坤和一些军土将领召开了一次会议。 他们决定鼓动民众，散播有关传教士的谣言，希望把他们逐出扬州。

从那时开始，常常有人用石子投掷戴德生屋子的窗户，又在街道上张贴了许多匿名海报，指控他们许多荒谬的罪名。 他们称传教士为「耶稣教之匪众」，借行医为名把人挖眼取心，以童为食，又音剖开孕妇肚腹，制炼丹药等等。

不久之后，就有一大群愤怒的民众结集在内地会的房子外面。 传教士和他们理论了一整天，否认那些硬加诸他们身上的罪名。 戴德生于是致函当地的知府孙大人，并附上一份攻击他们的海报，请他制止这种行为。 但孙知府的答复只是含糊其辞，不置可否。

8月15日星期六，内地会听到谣言，说民众要发起暴动，所以他们在房子出入口要搭防御围障，以防万一。 不久，即有一二百名群众聚集屋外。 当天晚上，童跟福恰巧由别的地方回来，他好不容易才挤过群众，得以进入宅门。 本来他只打算停留一会，就赶返自己的工场。 但见到这种情况，便决定留下来帮忙。 所以，屋内有四名男教士〔戴德生、童跟福。 路惠理和李德（Reid）〕、五名妇女、四个孩子和十九名华人。

戴德生为安全起见，想先把妇孺遣走，但众妇女都请求留下。 星期日，暴民有好几次想破门而入，可是都没有成功。 他们传发一张可怕的海报，说要放火烧屋，把屋内众人烧死。

星期一，情况稍为平静下来，教士也分发一些传单，说其中的指责乃属无稽之谈，又说房子修理完竣后，将会邀请民众入内参观，让他们亲自看个究竟。 这样才暂时将事情缓和下来。

星期三，戴德生再次修函给孙知府，提醒他条约内写明「英国人民可以在内地买地建屋，而且任其随处走动，不得拘留、侮辱或拦阻。 如有需要，可随时请求保护和帮助。」

孙知府回函说：「那些煽动群众和书写匿名海报的人都是在暗中行事，既没有名，也没有姓，短期内是很难把他们捉拿归案的。」

8月22日星期六，一名美国政府派驻浙江的官员辛德士上校（Captain　Sands）和另一位外国人刚巧来到扬州，参观此地的寺院和古刹。 他们都穿着洋服，发觉全城寂静。 有人开始在茶馆和街道中散布谣言，说有更多的洋人到扬州，拐走了二十四名小童。 群众又结集在内地会的房子外，并且冲破两度闸门，来到天井和花园中。 戴德生把守着通道的进口处，同时叫木匠立即修补那破坏了的闸门。 可是，群情汹涌，情势愈来愈危急了。