fix crash issue in tsim backend (#4527)

vta/src/tsim/tsim_driver.cc

@@ -188,25 +188,23 @@ TVM_REGISTER_GLOBAL("vta.tsim.profiler_status")
 }  // namespace vta
 
 void* VTAMemAlloc(size_t size, int cached) {
-  void * addr = vta::vmem::VirtualMemoryManager::Global()->Alloc(size);
-  return reinterpret_cast<void*>(vta::vmem::VirtualMemoryManager::Global()->GetPhyAddr(addr));
+  return vta::vmem::VirtualMemoryManager::Global()->Alloc(size);
 }
 
 void VTAMemFree(void* buf) {
-  void * addr = vta::vmem::VirtualMemoryManager::Global()->GetAddr(reinterpret_cast<uint64_t>(buf));
-  vta::vmem::VirtualMemoryManager::Global()->Free(addr);
+  vta::vmem::VirtualMemoryManager::Global()->Free(buf);
 }
 
 vta_phy_addr_t VTAMemGetPhyAddr(void* buf) {
-  return reinterpret_cast<uint64_t>(reinterpret_cast<uint64_t*>(buf));
+  return vta::vmem::VirtualMemoryManager::Global()->GetPhyAddr(buf);
 }
 
 void VTAMemCopyFromHost(void* dst, const void* src, size_t size) {
-  vta::vmem::VirtualMemoryManager::Global()->MemCopyFromHost(dst, src, size);
+  memcpy(dst, src, size);
 }
 
 void VTAMemCopyToHost(void* dst, const void* src, size_t size) {
-  vta::vmem::VirtualMemoryManager::Global()->MemCopyToHost(dst, src, size);
+  memcpy(dst, src, size);
 }
 
 void VTAFlushCache(void* vir_addr, vta_phy_addr_t phy_addr, int size) {