نیمه فروردین روسای جمهور آذربایجان و ارمنستان برای اولین بار در تهران با یکدیگر دیدار می کنند؛ آیت الله هاشمی در جلسه بین این دو می نشیند. او می نویسد: «ابتدا در کلیات مانند ضرر نزاع و مصالح صلح و سپس درباره متن سند تنظیم شده برای امضای دو طرف صحبت کردم. درمورد کلیات اتحاد نظر بود، اما در بعضی مضامین و عبارات سند، اختلاف پیش آمد. هیئت ارمنی منسجم و مطیع رئیسشان بودند، اما هیئت آذری اختلاف داشتند و بعضی ها مرموزانه عمل می کردند که رئیسشان موفق نشود یا ایران در میانجیگری اش موفق نباشد؛ وزیر امور خارجه اش چنین بود. بعد از توافق کارشکنی می کردند. بالاخره ناچار خلوت و توافقی نیم بند درست کردیم».

۱۹ اردیبهشت، او دوباره با رئیس جمهور آذربایجان و رئیس جمهور ارمنستان تلفنی صحبت می کند.

اوضاع دو کشور تا سال بعد همچنان نابسامان ادامه پیدا می کند. هاشمی در خاطره ۱۷ شهریور سال ۷۲ می نویسد: «عصر رئیس جمهور ارمنستان تلفنی تماس گرفت. از تجاوز ارامنه به آذربایجان انتقاد کردم و او گفت از قبادلی عقب نشینی کرده اند و دیگر پیشرفت نخواهند داشت و تدریجا از قره باغ بیرون می روند و به زودی در مذاکرات روسیه، تصمیم های خوبی اعلان خواهد شد. تاکید کردم که پس از نشست تهران که ارامنه برخلاف تفاهمات عمل کردند، آن قول ها عملی شود. بارها می خواست تلفنی تماس بگیرد، نپذیرفته بودم».

آبان همان سال آیت الله به باکو سفر می کند؛ او می نویسد: «برای مذاکرات خصوصی به مقر ریاست جمهوری رفتیم... به محض نشستن، تلفن زنگ زد و صحبت کرد و معلوم شد که مربوط به جنگ است. آقای علی اف گفت خبر می دهند ارس طرف منطقه زنگلان، زیر آتش انبوه ارامنه است و مردم برای فرار به ایران از رود ارس عبور می کنند و تلفات می دهند. عاجزانه استمداد کرد. احتمال می دادیم که مقداری هم جوسازی و مقدمه چینی برای مطلب اصلی مذاکرات خصوصی است، ولی خالی از حقیقت هم نیست. نقشه آوردند و توضیح دادند. معلوم شد که اگر زنگلان سقوط کند، از مرز ارمنستان تا نزدیک پارس آباد، ارامنه به مرز ما در شمال ارس می چسبند. پیشنهاد مشخص با اصرار این است که ما در جنگ به نفع آنها شرکت کنیم. صریحا می گویند ما همه آذربایجان را در اختیار شما می گذاریم و آماده ایم جمهوری اسلامی در آذربایجان تشکیل شود و بدون کمک ایران، نمی توانیم دفاع کنیم و امکان پیشرفت ارامنه تا باکو هم وجود دارد. نقشه ارمنستان بزرگ را که گویا ارامنه در سال ۱۹۸۰ منتشر کرده اند، نشان دادند که در آنجا از دریای سیاه تا دریای خزر و از جنوب تا ارومیه و از غرب، خاک ترکیه تا سوریه را شامل شده است. گفتم این تصمیم بسیار بزرگی است که آثار فراوان منطقه ای و جهانی دارد و باید عواقب آن در هر جهت بررسی شود و باید در تهران بررسی کنیم و جواب بدهیم، ولی کار فوری این است که تلاش کنیم فعلا آتش بس برقرار شود و شما باید مقاومت کنید که زنگلان از دست نرود. برای این منظور، دکتر ولایتی در همان جلسه با معاون وزیر امور خارجه ارمنستان تماس گرفت و پیام مرا برای رئیس جمهور ارمنستان منتقل کرد که گفتم در تلفن قبلی مان قرار شد ارامنه از حدود فعلی دیگر پیشرفت نکنند و عملیات چند روز اخیر، نقض آن قرار است و با لحنی آرام، نوعی تهدید کردیم. اجازه خواست که رئیس جمهور ارمنستان با شخص من تلفنی صحبت کند؛ موافقت کردم».

هاشمی همچنین در خاطرات آن روز نوشت: «آقایان روحانی، ولایتی و واعظی آمدند. در رابطه با موضع مان درخصوص جنگ قره باغ مذاکره کردیم. باز هم جلسه خصوصی با علی اف درباره حمایت از آنها در جنگ با ارامنه داشتیم و نهایتا جمع بندی به این صورت شد که برای تحقق آتش بس و حفظ زنگلان و عقب نشینی، تلاش سیاسی کنیم و راه هایمان را برای کمک به محاصره شدگان زنگلان باز بگذاریم و مانوری در مرز داشته باشیم تا نظامیان ما درباره کیفیت دفاع مذاکره کنند و پیشنهاد اتحاد دفاعی را در تهران بررسی کنیم و سپس جواب دهیم».

تیر ماه سال ۷۳، این بار رئیس جمهور آذربایجان به تهران می آید. هشتم تیر، هاشمی درخصوص مذاکرات صورت گرفته می نویسد: «آقای [حیدر] علی اف، وقت خصوصی خواست و توضیح داد که روس ها اصرار دارند در مرزهای جنوبی آنها، هم مرز با ایران حضور داشته باشند و نیز پیشنهاد دادند که در خط فاصل بین نیروهای آذربایجان و ارمنستان، حائل شوند و به تدریج ارامنه را وادار به عقب نشینی کنند؛ به جز منطقه قره باغ و بخشی از کلبجر. در این خصوص با من مشورت کرد. در مورد اول مخالفت کردم و در مورد دوم گفتم بیشتر بررسی شود و بستگی به قدرت شما و ارامنه و پیش بینی شما دارد. قرار شد بعدا جواب بدهیم».

مرحوم هاشمی چند روز بعد این گونه پاسخ می دهد: «جواب سوال و مشورت او در مورد پیشنهاد روس ها را دادم که با استقرار نیروهای روسی در مرز خودمان مخالفیم و در مورد حائل شدن هم باید تلاش کرد نیروهای چندملیتی باشند. اگر روس ها اصرار دارند که تنهایی باشند، با مذاکرات تصمیم را به عقب بیندازند و زمان بخرند. گفت نظر خودشان همین است».

نیمه اردیبهشت سال بعد، نخست وزیر ارمنستان به تهران می آید و آیت الله بر ضرورت ختم جنگ قره باغ تاکید می کند. ششم بهمن سال ۷۵، این بار وزیر خارجه ارمنستان به تهران می آید؛ هاشمی در خاطره آن روز نوشته: «نامه رئیس جمهور را آورد؛ صحبت ها، تشریفاتی و در جهت توسعه همکاری بود. توقع دارند ایران در نزاع شان با آذربایجان دخالت کند. گویا تحت فشار اروپا و آمریکا هستند. تاکنون دو نامه از رئیس جمهور خودخوانده قره باغ رسیده که همین را از ایران خواسته، ولی ما صلاح نمی دانیم اقدامی بکنیم».