实际上，烟客翁师承大痴法灯，对他来说，什么都可以舍弃，唯独这幅《秋山图》，一心想要弄到手。再说，烟客翁是收藏家。家藏的墨宝中，那幅李营丘的《山阴泛雪图》，据说花了二十镒黄金才求得，但较之《秋山图》的神趣，就不免相形见绌。所以，烟客翁身为收藏家，看到黄一峰这幅稀世之作，就志在必得。
为此，烟客翁在润州逗留期间，几次托人去同张家商量，望能出让那幅《秋山图》。但张氏无论如何也不肯答应。听所托的人讲，那位脸色苍白的主人说：“既然先生那么中意这幅画，可以借予，但要出让，碍难从命。”这让心高气傲的烟客翁多少有些郁郁不快。此何言哉！现在且不找你借，但等来日，定入我掌中。翁心里这样盘算着，终于没去借《秋山图》，便离开了润州。
过了一年，烟客翁又去润州，重访张家。墙上的藤蔓和院里的青草，都一如往昔。可是，听应客的小厮说，主人不在家。翁说，不见主人不妨，只求再看一眼《秋山图》。求了几次，小厮一味以主人不在挡驾，不让进院，最后竟关上大门，理都不理了。烟客翁也无可奈何，心里只管想着这荒宅所藏的名画，怅然而回。