正因为如此日本政府对此条约感到“很高兴”，近卫首相迅速地取得天皇的批准，近卫文磨在给日本外相松冈洋右的信件中是这样陈述的：“因为这一条约缓和了陆军长期以来想与俄国作战的冲动，带来了使蒋政权屈服的希望，并使南进的道路更安全些，或许甚至美国政府也会变得较宽和一些。”

其实按照日本政府的想法，最好是签订《苏日互不侵犯条约》，事实上他们也是向着这个方向努力的。

一开始日本驻苏大使东乡茂德在同苏联外交人民委员莫洛托夫会谈时提出了第一份日苏中立协定草案，内容包括:“第一条1.缔约双方确认，两国相互关系的基础是1925年1月20日签订的关于日苏相互关系基本原则的条约。2.缔约双方应维持和平与友好关系，相互尊重领土完整。第二条如缔约一方，尽管是爱好和平的行动，遭到第三国或其他几个国家的攻击，另一方在整个冲突期间将保持中立。”

随后东乡大使在拜会苏联外交人员委员时，声称以近卫为首的日本新内阁希望尽快缔结日苏中立协定，请求迅速研究他转交的协定草案并给予答复。

但是苏联人分析了日本提出的内容之后，认为就其内容而言，协定将不仅是一个中立条约，而实际上将是一个互不侵犯与不参加敌对联盟的条约。

此外，苏联政府认为有必要声明，苏联与日本的利益，包括中立协定的利益，首先要求解决苏日关系中某些非常重要的问题;这些问题如得不到解决，无论是现在或者将来都会成为改善两国相互关系的严重障碍。

随后，苏联政府在复文中详细分析了日本政府提出的中立协定草案的具体条文，指出苏联在同日本缔结中立条约时，可能在一定程度上恶化它同中国及在太平洋与南海地区有重大利益的一系列国家的关系，从而可能给苏联造成严重的、不仅是经济上的损失。苏联希望减少损失，所以东乡大使的议案被搁置了。

1940年3月底，新任日本驻苏大使建川美次再同莫洛托夫进行会谈，建川美次表示，日本政府希望同苏联缔结与《苏德互不侵犯条约》类似的《苏日互不侵犯条约》。两国之间的所有争议问题应在缔结互不侵犯条约之后解决。建川美次认为，中立条约是不够充分的，因为它对互不侵犯问题说得不够清楚。

同时建川美次送交苏方一份《日苏互不侵犯条约草案》，但是苏联政府对这份草案并不满意，因此莫洛托夫在答复建川美次大使时指出:“如果日本政府不准备提出归还苏联早先丧失的领土——南库页岛与千岛群岛问题，那适宜于讨论的是缔结中立条约，而不是缔结互不侵犯条约，因为缔结中立条约时可以不涉及领土问题，只需取消日本在北库页岛的租让权达成协议。”

为此，莫洛托夫向日本大使递交了苏日中立条约草案，并提出取消日本在北库页岛的租让权的议定书草案。

苏联提出的苏日中立条约草案包括以下三个条款:“第一条缔约双方声明维持和平与友好关系，相互尊重领土完整。第二条缔约一方成为一个或几个第三国的攻击对象时，缔约另一方在整个冲突期间保持中立。第三条本中立条约自签字之日起立即生效，有效期5年。如缔约任何一方在条约期满前一年未声明废止，本条约将自动延长5年。”

由于在取消日本在北库页岛的租让权问题以及渔业协定问题上苏日之间的严重分歧，最终致使苏日中立条约的谈判受阻。但是，日本既然准备向南方采取侵略行动，便必须保证其北面的安全，使苏联保持中立。

因此，日本不得不采取主动，提出了调整日苏邦交的条件，包括:“通过德国调停，促使苏联出卖库页岛北半部。如果苏联不同意，则作为有偿地放弃库页岛北半部权利的补偿，使苏联答应在今后5年内供应日本250万吨石油。”

“帝国承认苏联在中国新疆、外蒙的地位，苏联承认帝国在华北、蒙疆的地位。”，当然这一切必须是在“苏联放弃援蒋活动”的前提下进行。

德国已准备对苏作战自然不会支持日本的方案，但日本决心单独调整与苏联的关系，因此日本外相松冈五月初从东京前往莫斯科，与斯大林与莫洛托夫再次进行会面，表示日本政府渴望改善日苏关系，并再次建议同苏联缔结互不侵犯条约。